Недавнее развитие в AI-индустрии некоторыми людьми рассматривается как четвертая промышленная революция. Появление больших моделей значительно повысило эффективность в различных отраслях, Бостонская консультационная группа считает, что GPT увеличил рабочую эффективность в США примерно на 20%. В то же время, универсальность, которую принесли большие модели, называется новой парадигмой проектирования программного обеспечения; в прошлом проектирование программного обеспечения основывалось на точном коде, сейчас же это более универсальные большие модели, встроенные в программное обеспечение, которое может демонстрировать лучшие показатели и поддерживать более широкий спектр входных и выходных модальностей. Технологии глубокого обучения действительно принесли четвертое процветание в AI-индустрию, и этот бум также распространился на индустрию криптовалют.
В этом отчете будет подробно рассмотрена история развития AI-индустрии, классификация технологий, а также влияние изобретения технологий глубокого обучения на отрасль. Затем будет проведен глубокий анализ цепочки поставок, включая GPU, облачные вычисления, источники данных и крайние устройства в области глубокого обучения, а также их текущее состояние и тенденции. Далее мы подробно обсудим суть взаимосвязи между криптовалютой и AI-индустрией, проанализировав структуру AI-цепочки поставок, связанной с криптовалютой.
История развития AI-индустрии
Сфера искусственного интеллекта начала развиваться с 50-х годов XX века. Для реализации видения искусственного интеллекта академическое и промышленное сообщество в разные эпохи и при различных научных условиях разработали множество направлений, реализующих искусственный интеллект.
Современные технологии искусственного интеллекта в основном используют термин "машинное обучение". Идея этой технологии заключается в том, чтобы позволить машинам на основе данных многократно итеративно улучшать производительность системы в задачах. Основные шаги включают в себя передачу данных алгоритму, использование этих данных для обучения модели, тестирование и развертывание модели, а также использование модели для выполнения автоматизированных предсказательных задач.
В настоящее время существует три основных направления машинного обучения: соединительная, символическая и бихевиористская, которые имитируют человеческую нервную систему, мышление и поведение соответственно.
В настоящее время соединительный подход, представляемый нейронными сетями, занимает лидирующие позиции (, также известный как глубокое обучение ). Основная причина заключается в том, что такая архитектура имеет один входной слой, один выходной слой, но несколько скрытых слоев. Если количество слоев и нейронов (, а также параметры ) становятся достаточным, то появляется возможность подгонять сложные обобщенные задачи. Путем ввода данных можно постоянно настраивать параметры нейронов, и в итоге, пройдя через множество данных, этот нейрон достигнет оптимального состояния (, параметров ), что мы называем "ударной силой в чудо", и это также является причиной появления слова "глубокий" — достаточное количество слоев и нейронов.
Например, можно просто понять это как создание функции, где при вводе X=2, Y=3; при X=3, Y=5. Если мы хотим, чтобы эта функция справлялась со всеми значениями X, необходимо постоянно добавлять степень этой функции и её параметры. Например, в данный момент я могу создать функцию, которая удовлетворяет этому условию, как Y = 2X - 1, но если у нас есть данные X=2, Y=11, то нужно пересоздать функцию, подходящую для этих трех точек данных. Используя GPU для брутфорса, мы находим, что Y = X² - 3X + 5 подходит довольно хорошо, но не обязательно полностью совпадать с данными, важно лишь соблюдать баланс и примерно схожий вывод. Здесь X², X и X₀ представляют разные нейроны, а 1, -3, 5 — это их параметры.
В это время, если мы вводим большое количество данных в нейронную сеть, мы можем увеличить количество нейронов и итерационные параметры для подгонки новых данных. Таким образом, мы сможем подогнать все данные.
На основе технологий глубокого обучения, основанных на нейронных сетях, также произошло несколько итераций и эволюций технологий, таких как самые ранние нейронные сети, сети прямого распространения, RNN, CNN и GAN, которые в конечном итоге эволюционировали в современные крупные модели, такие как GPT, использующие технологию Transformer. Технология Transformer является лишь одним из направлений эволюции нейронных сетей, добавляя преобразователь ( Transformer ), который служит для кодирования всех модальностей (, таких как аудио, видео, изображения и т.д. ) в соответствующие числовые значения для представления. Затем эти данные вводятся в нейронную сеть, что позволяет нейронной сети подстраиваться под любой тип данных, достигая мультимодальности.
Развитие ИИ прошло через три технологические волны. Первая волна пришлась на 60-е годы XX века, через десять лет после появления технологий ИИ. Эта волна была вызвана развитием символистских технологий, которые решили проблемы общего обработки естественного языка и взаимодействия между человеком и машиной. В это же время были созданы экспертные системы, среди которых DENRAL, завершенная под руководством Стэнфордского университета для Национального управления по воздухоплаванию и исследованию космического пространства США. Эта система обладает очень сильными знаниями в области химии и делает выводы на основе вопросов, чтобы генерировать ответы, аналогичные тем, что дает химический эксперт. Эта система можно рассматривать как сочетание химической базы знаний и системы вывода.
После экспертных систем, в 1990-х годах израильско-американский ученый и философ Джудея Перл(Judea Pearl) предложил байесовские сети, которые также известны как сети веры. В то же время Брукс предложил поведенческую робототехнику, что стало началом поведения.
В 1997 году IBM Deep Blue"Blue" победил чемпиона мира по шахматам Гарри Каспарова со счетом 3.5:2.5 (Kasparov), эта победа считается вехой в области искусственного интеллекта, и технологии ИИ пережили второй пик своего развития.
Третья волна технологий ИИ произошла в 2006 году. Три гиганта глубокого обучения Ян ЛеКун, Джеффри Хинтон и Ёсуа Бенжио предложили концепцию глубокого обучения, алгоритма, основанного на искусственных нейронных сетях, для обучения представлениям данных. После этого алгоритмы глубокого обучения постепенно эволюционировали, от RNN, GAN до Transformer и Stable Diffusion, эти два алгоритма совместно сформировали эту третью технологическую волну, и это также был расцвет коннекционизма.
Многие знаковые события также постепенно возникают на фоне исследований и развития технологий глубокого обучения, в том числе:
В 2011 году IBM Watson( одержал победу над человеком и стал чемпионом в викторине "Опасная граница").
В 2014 году Гудфеллоу предложил GAN( генеративные состязательные сети, Generative Adversarial Network), которые учатся, заставляя две нейронные сети соревноваться друг с другом, что позволяет генерировать фотографии, не отличимые от настоящих. В то же время Гудфеллоу написал книгу «Deep Learning», известную как «цветная книга», которая является одной из важных вводных книг в области глубокого обучения.
В 2015 году Хинтон и др. в журнале «Природа» предложили алгоритм глубокого обучения, который сразу же вызвал огромный резонанс в академических кругах и промышленности.
В 2015 году OpenAI был создан, Илон Маск, президент YC Альтман, ангел-инвестор Питер Тиль ( и другие объявили о совместных инвестициях в размере 1 миллиарда долларов.
В 2016 году AlphaGo, основанный на технологиях глубокого обучения, одержал победу в битве человека с машиной по игре в го против чемпиона мира и профессионального игрока девятого даня Ли Сидо с общим счетом 4:1.
В 2017 году гонконгская компания Hanson Robotics, разработавшая гуманоидного робота Софию, была названа первым роботом в истории, получившим статус полноценного гражданина. Она обладает богатым набором лицевых выражений и способностью понимать человеческий язык.
В 2017 году Google, обладая богатым кадровым и технологическим запасом в области искусственного интеллекта, опубликовал статью «Внимание — это все, что вам нужно», в которой был представлен алгоритм Transformer, и началось появление крупных языковых моделей.
В 2018 году OpenAI выпустила GPT) Генеративный предобученный трансформер(, построенный на алгоритме Transformer, который был одной из крупнейших языковых моделей на тот момент.
В 2018 году команда Google Deepmind выпустила AlphaGo на основе глубокого обучения, способную прогнозировать структуру белков, что считается огромным прогрессивным достижением в области искусственного интеллекта.
В 2019 году OpenAI выпустила GPT-2, модель с 1,5 миллиарда параметров.
В 2020 году OpenAI разработала GPT-3, который имеет 175 миллиардов параметров, что в 100 раз больше, чем у предыдущей версии GPT-2. Эта модель использовала 570 ГБ текста для обучения и может достигать передовых результатов в различных задачах обработки естественного языка), таких как ответ на вопросы, перевод и написание статей(.
В 2021 году OpenAI выпустила GPT-4, эта модель имеет 1,76 триллиона параметров, что в 10 раз больше, чем у GPT-3.
В январе 2023 года было запущено приложение ChatGPT на основе модели GPT-4, в марте ChatGPT достиг ста миллионов пользователей, став приложением, которое быстрее всего достигло ста миллионов пользователей в истории.
В 2024 году OpenAI выпустит GPT-4 omni.
Примечание: Поскольку существует множество работ по искусственному интеллекту, множество направлений и различные технологии, здесь в основном будет следоваться истории развития глубинного обучения или коннекционизма, другие направления и технологии все еще находятся на стадии быстрого развития.
! [Newcomer Science丨AI x Crypto: от нуля до пика])https://img-cdn.gateio.im/webp-social/moments-609c5dd6ee0abcec6bf9c118d7741867.webp(
Цепочка ценностей в области глубокого обучения
В настоящее время все крупные языковые модели основаны на методах глубокого обучения с использованием нейронных сетей. Во главе с GPT крупные модели породили волну интереса к искусственному интеллекту, и множество игроков хлынули в эту область. Мы также обнаружили, что на рынке резко возрос спрос на данные и вычислительные мощности. Поэтому в этой части отчета мы в основном исследуем цепочку поставок алгоритмов глубокого обучения, в AI-индустрии, где доминируют алгоритмы глубокого обучения, как формируются ее верхние и нижние звенья, а также каковы текущие условия и соотношение спроса и предложения, и каковы перспективы развития.
Прежде всего, нам нужно уточнить, что при обучении крупных моделей LLMs, таких как GPT, основанных на технологии Transformer, всего есть три этапа.
Перед обучением, поскольку он основан на Transformer, преобразователь должен преобразовать текстовый ввод в числовые значения, этот процесс называется "Токенизация", после чего эти числовые значения называются токенами. В общем правиле, одно английское слово или символ можно грубо считать одним токеном, в то время как каждый китайский иероглиф можно грубо считать двумя токенами. Это также базовая единица, используемая для оценки GPT.
Первый шаг, предобучение. Путем предоставления достаточного количества пар данных на входном слое, подобно примеру, приведенному в первой части отчета )X,Y(, мы ищем оптимальные параметры для каждого нейрона в модели. В это время требуется большое количество данных, и этот процесс также является самым затратным по вычислительной мощности, так как нейроны должны многократно итеративно пробовать различные параметры. После завершения обучения на одной партии данных, обычно используется та же партия данных для повторного обучения с целью итерации параметров.
Шаг второй, дообучение. Дообучение — это процесс, при котором модели предоставляется небольшое, но очень качественное количество данных для обучения. Такие изменения позволят повысить качество вывода модели, поскольку предварительное обучение требует большого объема данных, однако многие из них могут содержать ошибки или быть низкого качества. Этап дообучения может улучшить качество модели за счет использования высококачественных данных.
Шаг 3. Укрепляющее обучение. Сначала будет создана совершенно новая модель, которую мы называем "модель вознаграждения". Цель этой модели очень проста: сортировать выходные результаты, поэтому реализация этой модели будет относительно простой, поскольку бизнес-сценарий довольно вертикален. Затем эта модель будет использоваться для оценки, является ли вывод нашей большой модели высококачественным, так что мы можем использовать модель вознаграждения для автоматической итерации параметров большой модели. ) Однако иногда также требуется человеческое участие для оценки качества вывода модели (.
Короче говоря, в процессе обучения больших моделей, предобучение требует очень большого объема данных, а мощность GPU, необходимая для этого, также максимальна. В то время как дообучение требует более качественных данных для улучшения параметров, обучение с подкреплением может повторно итеративно изменять параметры с помощью модели вознаграждения для получения более качественных результатов.
В процессе обучения, чем больше параметров, тем выше потолок обобщающей способности. Например, в нашем примере с функцией Y = aX + b на самом деле есть два нейрона X и X0, поэтому, как бы ни изменялись параметры, количество данных, которые они могут аппроксимировать, крайне ограничено, поскольку по своей сути это все еще прямая линия. Если нейронов больше, то можно итеративно обрабатывать больше параметров, что позволяет аппроксимировать больше данных. Именно поэтому большие модели творят чудеса, и это также объясняет, почему они называются большими моделями: по сути, это огромное количество нейронов и параметров, а также огромное количество данных, при этом требуется огромная вычислительная мощность.
Таким образом, производительность больших моделей в основном определяется тремя аспектами: количеством параметров, объемом и качеством данных, вычислительной мощностью, эти три фактора взаимосвязаны.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
18 Лайков
Награда
18
5
Репост
Поделиться
комментарий
0/400
WalletDetective
· 08-16 23:55
Сделай и всё, а то запутаемся.
Посмотреть ОригиналОтветить0
CoconutWaterBoy
· 08-16 23:54
Как же я не ощутил увеличение производительности на 20?
Посмотреть ОригиналОтветить0
UnluckyMiner
· 08-16 23:45
Заработать на майнинге сложно, майнинг очень труден.
Слияние ИИ и криптоактивов: как технологии глубокого обучения влияют на отрасль Блокчейн
AI x Crypto: от нуля до вершины
Введение
Недавнее развитие в AI-индустрии некоторыми людьми рассматривается как четвертая промышленная революция. Появление больших моделей значительно повысило эффективность в различных отраслях, Бостонская консультационная группа считает, что GPT увеличил рабочую эффективность в США примерно на 20%. В то же время, универсальность, которую принесли большие модели, называется новой парадигмой проектирования программного обеспечения; в прошлом проектирование программного обеспечения основывалось на точном коде, сейчас же это более универсальные большие модели, встроенные в программное обеспечение, которое может демонстрировать лучшие показатели и поддерживать более широкий спектр входных и выходных модальностей. Технологии глубокого обучения действительно принесли четвертое процветание в AI-индустрию, и этот бум также распространился на индустрию криптовалют.
В этом отчете будет подробно рассмотрена история развития AI-индустрии, классификация технологий, а также влияние изобретения технологий глубокого обучения на отрасль. Затем будет проведен глубокий анализ цепочки поставок, включая GPU, облачные вычисления, источники данных и крайние устройства в области глубокого обучения, а также их текущее состояние и тенденции. Далее мы подробно обсудим суть взаимосвязи между криптовалютой и AI-индустрией, проанализировав структуру AI-цепочки поставок, связанной с криптовалютой.
История развития AI-индустрии
Сфера искусственного интеллекта начала развиваться с 50-х годов XX века. Для реализации видения искусственного интеллекта академическое и промышленное сообщество в разные эпохи и при различных научных условиях разработали множество направлений, реализующих искусственный интеллект.
Современные технологии искусственного интеллекта в основном используют термин "машинное обучение". Идея этой технологии заключается в том, чтобы позволить машинам на основе данных многократно итеративно улучшать производительность системы в задачах. Основные шаги включают в себя передачу данных алгоритму, использование этих данных для обучения модели, тестирование и развертывание модели, а также использование модели для выполнения автоматизированных предсказательных задач.
В настоящее время существует три основных направления машинного обучения: соединительная, символическая и бихевиористская, которые имитируют человеческую нервную систему, мышление и поведение соответственно.
! Новичок в популярной науке丨AI x Crypto: от нуля до пика
В настоящее время соединительный подход, представляемый нейронными сетями, занимает лидирующие позиции (, также известный как глубокое обучение ). Основная причина заключается в том, что такая архитектура имеет один входной слой, один выходной слой, но несколько скрытых слоев. Если количество слоев и нейронов (, а также параметры ) становятся достаточным, то появляется возможность подгонять сложные обобщенные задачи. Путем ввода данных можно постоянно настраивать параметры нейронов, и в итоге, пройдя через множество данных, этот нейрон достигнет оптимального состояния (, параметров ), что мы называем "ударной силой в чудо", и это также является причиной появления слова "глубокий" — достаточное количество слоев и нейронов.
Например, можно просто понять это как создание функции, где при вводе X=2, Y=3; при X=3, Y=5. Если мы хотим, чтобы эта функция справлялась со всеми значениями X, необходимо постоянно добавлять степень этой функции и её параметры. Например, в данный момент я могу создать функцию, которая удовлетворяет этому условию, как Y = 2X - 1, но если у нас есть данные X=2, Y=11, то нужно пересоздать функцию, подходящую для этих трех точек данных. Используя GPU для брутфорса, мы находим, что Y = X² - 3X + 5 подходит довольно хорошо, но не обязательно полностью совпадать с данными, важно лишь соблюдать баланс и примерно схожий вывод. Здесь X², X и X₀ представляют разные нейроны, а 1, -3, 5 — это их параметры.
В это время, если мы вводим большое количество данных в нейронную сеть, мы можем увеличить количество нейронов и итерационные параметры для подгонки новых данных. Таким образом, мы сможем подогнать все данные.
На основе технологий глубокого обучения, основанных на нейронных сетях, также произошло несколько итераций и эволюций технологий, таких как самые ранние нейронные сети, сети прямого распространения, RNN, CNN и GAN, которые в конечном итоге эволюционировали в современные крупные модели, такие как GPT, использующие технологию Transformer. Технология Transformer является лишь одним из направлений эволюции нейронных сетей, добавляя преобразователь ( Transformer ), который служит для кодирования всех модальностей (, таких как аудио, видео, изображения и т.д. ) в соответствующие числовые значения для представления. Затем эти данные вводятся в нейронную сеть, что позволяет нейронной сети подстраиваться под любой тип данных, достигая мультимодальности.
! Newcomer Science丨AI x Crypto: от нуля до пика
Развитие ИИ прошло через три технологические волны. Первая волна пришлась на 60-е годы XX века, через десять лет после появления технологий ИИ. Эта волна была вызвана развитием символистских технологий, которые решили проблемы общего обработки естественного языка и взаимодействия между человеком и машиной. В это же время были созданы экспертные системы, среди которых DENRAL, завершенная под руководством Стэнфордского университета для Национального управления по воздухоплаванию и исследованию космического пространства США. Эта система обладает очень сильными знаниями в области химии и делает выводы на основе вопросов, чтобы генерировать ответы, аналогичные тем, что дает химический эксперт. Эта система можно рассматривать как сочетание химической базы знаний и системы вывода.
После экспертных систем, в 1990-х годах израильско-американский ученый и философ Джудея Перл(Judea Pearl) предложил байесовские сети, которые также известны как сети веры. В то же время Брукс предложил поведенческую робототехнику, что стало началом поведения.
В 1997 году IBM Deep Blue"Blue" победил чемпиона мира по шахматам Гарри Каспарова со счетом 3.5:2.5 (Kasparov), эта победа считается вехой в области искусственного интеллекта, и технологии ИИ пережили второй пик своего развития.
Третья волна технологий ИИ произошла в 2006 году. Три гиганта глубокого обучения Ян ЛеКун, Джеффри Хинтон и Ёсуа Бенжио предложили концепцию глубокого обучения, алгоритма, основанного на искусственных нейронных сетях, для обучения представлениям данных. После этого алгоритмы глубокого обучения постепенно эволюционировали, от RNN, GAN до Transformer и Stable Diffusion, эти два алгоритма совместно сформировали эту третью технологическую волну, и это также был расцвет коннекционизма.
Многие знаковые события также постепенно возникают на фоне исследований и развития технологий глубокого обучения, в том числе:
В 2011 году IBM Watson( одержал победу над человеком и стал чемпионом в викторине "Опасная граница").
В 2014 году Гудфеллоу предложил GAN( генеративные состязательные сети, Generative Adversarial Network), которые учатся, заставляя две нейронные сети соревноваться друг с другом, что позволяет генерировать фотографии, не отличимые от настоящих. В то же время Гудфеллоу написал книгу «Deep Learning», известную как «цветная книга», которая является одной из важных вводных книг в области глубокого обучения.
В 2015 году Хинтон и др. в журнале «Природа» предложили алгоритм глубокого обучения, который сразу же вызвал огромный резонанс в академических кругах и промышленности.
В 2015 году OpenAI был создан, Илон Маск, президент YC Альтман, ангел-инвестор Питер Тиль ( и другие объявили о совместных инвестициях в размере 1 миллиарда долларов.
В 2016 году AlphaGo, основанный на технологиях глубокого обучения, одержал победу в битве человека с машиной по игре в го против чемпиона мира и профессионального игрока девятого даня Ли Сидо с общим счетом 4:1.
В 2017 году гонконгская компания Hanson Robotics, разработавшая гуманоидного робота Софию, была названа первым роботом в истории, получившим статус полноценного гражданина. Она обладает богатым набором лицевых выражений и способностью понимать человеческий язык.
В 2017 году Google, обладая богатым кадровым и технологическим запасом в области искусственного интеллекта, опубликовал статью «Внимание — это все, что вам нужно», в которой был представлен алгоритм Transformer, и началось появление крупных языковых моделей.
В 2018 году OpenAI выпустила GPT) Генеративный предобученный трансформер(, построенный на алгоритме Transformer, который был одной из крупнейших языковых моделей на тот момент.
В 2018 году команда Google Deepmind выпустила AlphaGo на основе глубокого обучения, способную прогнозировать структуру белков, что считается огромным прогрессивным достижением в области искусственного интеллекта.
В 2019 году OpenAI выпустила GPT-2, модель с 1,5 миллиарда параметров.
В 2020 году OpenAI разработала GPT-3, который имеет 175 миллиардов параметров, что в 100 раз больше, чем у предыдущей версии GPT-2. Эта модель использовала 570 ГБ текста для обучения и может достигать передовых результатов в различных задачах обработки естественного языка), таких как ответ на вопросы, перевод и написание статей(.
В 2021 году OpenAI выпустила GPT-4, эта модель имеет 1,76 триллиона параметров, что в 10 раз больше, чем у GPT-3.
В январе 2023 года было запущено приложение ChatGPT на основе модели GPT-4, в марте ChatGPT достиг ста миллионов пользователей, став приложением, которое быстрее всего достигло ста миллионов пользователей в истории.
В 2024 году OpenAI выпустит GPT-4 omni.
Примечание: Поскольку существует множество работ по искусственному интеллекту, множество направлений и различные технологии, здесь в основном будет следоваться истории развития глубинного обучения или коннекционизма, другие направления и технологии все еще находятся на стадии быстрого развития.
! [Newcomer Science丨AI x Crypto: от нуля до пика])https://img-cdn.gateio.im/webp-social/moments-609c5dd6ee0abcec6bf9c118d7741867.webp(
Цепочка ценностей в области глубокого обучения
В настоящее время все крупные языковые модели основаны на методах глубокого обучения с использованием нейронных сетей. Во главе с GPT крупные модели породили волну интереса к искусственному интеллекту, и множество игроков хлынули в эту область. Мы также обнаружили, что на рынке резко возрос спрос на данные и вычислительные мощности. Поэтому в этой части отчета мы в основном исследуем цепочку поставок алгоритмов глубокого обучения, в AI-индустрии, где доминируют алгоритмы глубокого обучения, как формируются ее верхние и нижние звенья, а также каковы текущие условия и соотношение спроса и предложения, и каковы перспективы развития.
Прежде всего, нам нужно уточнить, что при обучении крупных моделей LLMs, таких как GPT, основанных на технологии Transformer, всего есть три этапа.
Перед обучением, поскольку он основан на Transformer, преобразователь должен преобразовать текстовый ввод в числовые значения, этот процесс называется "Токенизация", после чего эти числовые значения называются токенами. В общем правиле, одно английское слово или символ можно грубо считать одним токеном, в то время как каждый китайский иероглиф можно грубо считать двумя токенами. Это также базовая единица, используемая для оценки GPT.
Первый шаг, предобучение. Путем предоставления достаточного количества пар данных на входном слое, подобно примеру, приведенному в первой части отчета )X,Y(, мы ищем оптимальные параметры для каждого нейрона в модели. В это время требуется большое количество данных, и этот процесс также является самым затратным по вычислительной мощности, так как нейроны должны многократно итеративно пробовать различные параметры. После завершения обучения на одной партии данных, обычно используется та же партия данных для повторного обучения с целью итерации параметров.
Шаг второй, дообучение. Дообучение — это процесс, при котором модели предоставляется небольшое, но очень качественное количество данных для обучения. Такие изменения позволят повысить качество вывода модели, поскольку предварительное обучение требует большого объема данных, однако многие из них могут содержать ошибки или быть низкого качества. Этап дообучения может улучшить качество модели за счет использования высококачественных данных.
Шаг 3. Укрепляющее обучение. Сначала будет создана совершенно новая модель, которую мы называем "модель вознаграждения". Цель этой модели очень проста: сортировать выходные результаты, поэтому реализация этой модели будет относительно простой, поскольку бизнес-сценарий довольно вертикален. Затем эта модель будет использоваться для оценки, является ли вывод нашей большой модели высококачественным, так что мы можем использовать модель вознаграждения для автоматической итерации параметров большой модели. ) Однако иногда также требуется человеческое участие для оценки качества вывода модели (.
Короче говоря, в процессе обучения больших моделей, предобучение требует очень большого объема данных, а мощность GPU, необходимая для этого, также максимальна. В то время как дообучение требует более качественных данных для улучшения параметров, обучение с подкреплением может повторно итеративно изменять параметры с помощью модели вознаграждения для получения более качественных результатов.
В процессе обучения, чем больше параметров, тем выше потолок обобщающей способности. Например, в нашем примере с функцией Y = aX + b на самом деле есть два нейрона X и X0, поэтому, как бы ни изменялись параметры, количество данных, которые они могут аппроксимировать, крайне ограничено, поскольку по своей сути это все еще прямая линия. Если нейронов больше, то можно итеративно обрабатывать больше параметров, что позволяет аппроксимировать больше данных. Именно поэтому большие модели творят чудеса, и это также объясняет, почему они называются большими моделями: по сути, это огромное количество нейронов и параметров, а также огромное количество данных, при этом требуется огромная вычислительная мощность.
Таким образом, производительность больших моделей в основном определяется тремя аспектами: количеством параметров, объемом и качеством данных, вычислительной мощностью, эти три фактора взаимосвязаны.