AI x Crypto:від нуля до вершин

Вступ

Розвиток AI-індустрії останнім часом деякі люди вважають четвертою промисловою революцією. Поява великих моделей значно підвищила ефективність у різних галузях, Boston Consulting Group вважає, що GPT підвищив робочу ефективність у США приблизно на 20%. Водночас, здатність великих моделей до генералізації називається новою парадигмою програмного дизайну; раніше програмний дизайн полягав у точному коді, тепер же це більш узагальнена структура великих моделей, вбудованих у програмне забезпечення, яке може забезпечувати кращу продуктивність і підтримувати більш широкий спектр вхідних та вихідних модальностей. Технології глибокого навчання дійсно принесли четверте процвітання в AI-індустрію, і ця хвиля також поширилася на індустрію криптовалют.

Цей звіт докладно розгляне історію розвитку AI-індустрії, класифікацію технологій, а також вплив винаходу технології глибокого навчання на цю галузь. Потім буде проведений глибокий аналіз ланцюга постачання в глибокому навчанні, включаючи GPU, хмарні обчислення, джерела даних, периферійні пристрої тощо, а також їхній стан і тенденції розвитку. Після цього ми детально розглянемо суть взаємозв'язку між криптовалютами та AI-індустрією, а також проведемо аналіз структури AI-ланцюга постачання, що стосується криптовалют.

Історія розвитку AI-індустрії

Індустрія штучного інтелекту почала свій шлях у 50-х роках XX століття. Для досягнення бачення штучного інтелекту академічні та промислові кола в різні епохи та на різних наукових фондах розвинули багато напрямків для реалізації штучного інтелекту.

Сучасні технології штучного інтелекту в основному використовують термін "машинне навчання", ідея цієї технології полягає в тому, щоб дозволити машинам покладатися на дані для повторних ітерацій у завданнях з метою покращення продуктивності системи. Основні етапи полягають у передачі даних алгоритму, використанні цих даних для навчання моделі, тестуванні та розгортанні моделі, використанні моделі для виконання автоматизованих завдань прогнозування.

В даний час машинне навчання має три основні напрямки: коннекціонізм, символізм та поведінковийism, які імітують людську нервову систему, мислення та поведінку.

! Newcomer Science Popular丨AI x Crypto: від нуля до піку

А наразі перевага на боці зв'язкового підходу, представленого нейронними мережами, який також називають глибоким навчанням, головна причина цього полягає в тому, що така архітектура має один вхідний шар, один вихідний шар, але має кілька прихованих шарів. Як тільки кількість шарів та нейронів стає достатньо великою, з'являється достатня можливість для адаптації до складних загальних завдань. Завдяки введенню даних можна постійно налаштовувати параметри нейронів, і в результаті, пройшовши через багато даних, цей нейрон досягне оптимального стану, що також є підтвердженням того, що "велика сила приносить диво", а це також є причиною терміна "глибина" - достатня кількість шарів і нейронів.

Наприклад, можна просто зрозуміти це як побудову функції, де ми вводимо X=2, тоді Y=3; X=3, тоді Y=5. Якщо ми хочемо, щоб ця функція відповідала всім значенням X, потрібно постійно додавати ступінь цієї функції та її параметри. Наприклад, на даний момент я можу побудувати функцію, яка задовольняє цим умовам, у вигляді Y = 2X -1, але якщо є дані X=2, Y=11, потрібно перебудувати функцію, яка підходить для цих трьох точок даних. Використавши GPU для брутфорс-атак, ми знаходимо, що Y = X2 -3X +5 є досить підходящою, але не обов'язково має повністю збігатися з даними, головне дотримуватися балансу, достатньо схожий вихід. Тут X2, X і X0 представляють різні нейрони, а 1, -3, 5 - це їхні параметри.

У цей момент, якщо ми введемо в нейронну мережу велику кількість даних, ми можемо збільшити кількість нейронів, ітераційні параметри, щоб підлаштувати нові дані. Так ми зможемо підлаштувати всі дані.

А технологія глибокого навчання, що базується на нейронних мережах, також має кілька технічних ітерацій та еволюцій, зокрема, як на малюнку, найраніші нейронні мережі, мережі прямого поширення, RNN, CNN, GAN, зрештою еволюціонували до сучасних великих моделей, таких як GPT, які використовують технологію Transformer. Технологія Transformer є лише одним з напрямків еволюції нейронних мереж, що додала перетворювач ( Transformer ), щоб кодувати всі модальності (, такі як аудіо, відео, зображення тощо, у відповідні числові значення. Потім ці дані вводяться в нейронну мережу, що дозволяє нейронній мережі моделювати будь-який тип даних, реалізуючи мульти-модальність.

![Новачки інформують丨AI x Crypto: від нуля до вершини])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(

Розвиток ШІ пройшов через три технологічні хвилі. Перша хвиля відбулася в 60-х роках XX століття, через десять років після пропозиції технології ШІ. Ця хвиля спричинена розвитком символістських технологій, які вирішили проблеми загального оброблення природної мови та діалогу між людиною і машиною. У той же час виникли експертні системи, зокрема експертна система DENRAL, створена за сприяння Стенфордського університету та Національного управління аеронавтики і дослідження космічного простору США. Ця система має дуже глибокі знання з хімії, роблячи висновки на основі запитань, щоб генерувати відповіді, подібні до тих, що надають хімічні експерти. Цю хімічну експертну систему можна розглядати як поєднання хімічної бази знань та системи висновків.

Після експертних систем у 90-х роках XX століття ізраїльський американський учений і філософ Джудея Перл ) Judea Pearl ( запропонував байесівські мережі, які також називають мережами віри. В той же період Брукс запропонував поведінкову робототехніку, що стало ознакою народження біхевіоризму.

1997 року IBM Deep Blue з рахунком 3.5:2.5 переміг чемпіона світу з шахів Гарі Каспарова)Kasparov(, ця перемога вважається важливою віхою в галузі штучного інтелекту, AI технології пережили другий сплеск розвитку.

Третя хвиля технологій ШІ відбулася в 2006 році. Три великі фахівці з глибокого навчання Яна Лекуна, Джеффрі Хінтона та Йошуа Бенджіо запропонували концепцію глибокого навчання, алгоритму, що використовує штучні нейронні мережі для навчання представлення даних. Після цього алгоритми глибокого навчання поступово еволюціонували, від RNN, GAN до Transformer та Stable Diffusion, ці два алгоритми спільно сформували цю третю хвилю технологій, а також це був розквіт коннекціонізму.

Багато знакових подій також супроводжувалися дослідженнями та еволюцією технологій глибокого навчання, зокрема:

• У 2011 році IBM Watson) переміг людину та здобув чемпіонство в телевізійній вікторині «Jeopardy(».

• У 2014 році Goodfellow запропонував GAN) генеративну змагальну мережу, Generative Adversarial Network(, яка навчається шляхом суперництва двох нейронних мереж, здатну генерувати фальшиві фотографії, що важко відрізнити від справжніх. Одночасно Goodfellow написав книгу "Deep Learning", відому як "квіткова книга", яка є однією з важливих вступних книг у галузі глибокого навчання.

• У 2015 році Хінтон та інші у журналі «Природа» представили алгоритм глибокого навчання, що викликало величезний резонанс у науковому світі та промисловості.

• У 2015 році OpenAI було засновано, Муск, президент YC Олтман, ангельський інвестор Пітер Тіль ) Peter Thiel ( та інші оголосили про спільні інвестиції в розмірі 1 мільярда доларів.

• У 2016 році, на основі технології глибокого навчання, AlphaGo провела бій між людиною та комп'ютером у грі го з чемпіоном світу з го та професійним гравцем дев'ятого дану Лі Сіши, вигравши з рахунком 4:1.

• У 2017 році компанія Hanson Robotics, розташована в Гонконзі, розробила гуманоїдного робота Софію, яка стала першим у світі роботом, що отримав статус першого громадянина. Вона має багатий арсенал виразів обличчя та здатність розуміти людську мову.

• У 2017 році компанія Google, яка має значні резерви кадрів та технологій у сфері штучного інтелекту, опублікувала статтю «Увага — це все, що вам потрібно», в якій було представлено алгоритм Transformer, і з'явилися великомасштабні мовні моделі.

• У 2018 році OpenAI випустила GPT) Генеративний попередньо навчений трансформер(, побудований на основі алгоритму Transformer, що став одним із найбільших мовних моделей на той час.

• У 2018 році команда Google Deepmind випустила AlphaGo на основі глибокого навчання, яка здатна здійснювати прогнозування структури білків, що вважається великим прогресом у галузі штучного інтелекту.

• У 2019 році OpenAI випустила GPT-2, модель з 1,5 мільярда параметрів.

• У 2020 році OpenAI розробила GPT-3, яка має 175 мільярдів параметрів, що в 100 разів більше, ніж у попередньої версії GPT-2. Ця модель використовувала 570 ГБ тексту для навчання і може досягати передових результатів у виконанні численних завдань обробки природної мови ), таких як відповіді на запитання, переклад, написання статей (.

• У 2021 році OpenAI випустила GPT-4, ця модель має 1,76 трильйона параметрів, що в 10 разів більше, ніж у GPT-3.

• У січні 2023 року був запущений додаток ChatGPT на базі моделі GPT-4, в березні ChatGPT досягнув 100 мільйонів користувачів, ставши додатком, який найшвидше досяг 100 мільйонів користувачів в історії.

• У 2024 році OpenAI випустить GPT-4 omni.

Примітка: Оскільки існує багато робіт з штучного інтелекту, багато шкіл та різні еволюції технологій, тут ми в основному слідуємо історії розвитку глибокого навчання або коннекціонізму, інші школи та технології все ще перебувають у процесі швидкого розвитку.

! [Newcomer Science丨AI x Crypto: від нуля до піку])https://img-cdn.gateio.im/webp-social/moments-609c5dd6ee0abcec6bf9c118d7741867.webp(

Ланцюг промисловості глибокого навчання

Сучасні великі мовні моделі використовують методи глибокого навчання на основі нейронних мереж. На чолі з GPT великі моделі спричинили бум штучного інтелекту, багато гравців увійшли в цю сферу, і ми також виявили, що ринок має величезний попит на дані та обчислювальні потужності. Тому в цій частині звіту ми в основному досліджуємо виробничий ланцюг алгоритмів глибокого навчання, як складаються їх верхні та нижні ланки в індустрії штучного інтелекту, що домінує алгоритмами глибокого навчання, а також як виглядає нинішня ситуація, відносини попиту та пропозиції та майбутній розвиток.

По-перше, нам потрібно чітко зрозуміти, що при навчанні великих моделей LLM, очолюваних GPT на основі технології Transformer, процес ділиться на три етапи.

Перед навчанням, оскільки воно базується на Transformer, перетворювач повинен перетворити текстовий ввід у числові значення, цей процес називається "Tokenization". Після цього ці числові значення називаються Token. Згідно загальних правил, одне англійське слово або символ можна грубо вважати одним Token, а кожен китайський ієрогліф можна грубо вважати двома Token. Це також є основною одиницею, що використовується для оцінки GPT.

Перший крок - попереднє навчання. Шляхом надання вхідному шару достатньої кількості пар даних, подібних до прикладу, наведеного в першій частині звіту )X,Y(, для пошуку оптимальних параметрів кожного нейрона в цій моделі, в цей момент потрібно багато даних, і цей процес є найбільш ресурсомістким, оскільки потрібно багаторазово ітеративно пробувати різні параметри нейронів. Після завершення навчання однієї партії пар даних зазвичай використовується та ж сама партія даних для повторного навчання з метою ітерації параметрів.

Другий крок, доопрацювання. Доопрацювання - це надання невеликої, але дуже якісної партії даних для навчання, таке зміна дозволить моделі генерувати вихідні дані вищої якості, оскільки попереднє навчання потребує великої кількості даних, але багато з них можуть містити помилки або бути низької якості. Крок доопрацювання може підвищити якість моделі за рахунок якісних даних.

Третій крок, посилене навчання. Спочатку буде створено абсолютно нову модель, яку ми називаємо "модель винагороди", мета якої дуже проста - це впорядкування вихідних результатів, тому реалізація цієї моделі буде досить простою, оскільки бізнес-сцена є досить вертикальною. Потім за допомогою цієї моделі ми будемо визначати, чи є вихід нашої великої моделі високоякісним, таким чином ми можемо використовувати модель винагороди для автоматичної ітерації параметрів великої моделі. ) Але іноді також потрібна людська участь для оцінки якості виходу моделі (.

Коротко кажучи, під час навчання великих моделей попереднє навчання має дуже високі вимоги до обсягу даних, а також вимагає найбільших витрат обчислювальної потужності GPU. Налаштування вимагає даних вищої якості для вдосконалення параметрів, а підкріплювальне навчання може повторно ітерувати параметри через модель винагороди для отримання результатів вищої якості.

У процесі навчання, чим більше параметрів, тим вищий стеля його узагальнюючої здатності. Наприклад, якщо взяти приклад з функцією Y = aX + b, то насправді є два нейрони X і X0. Отже, як би не змінювалися параметри, дані, які можна апроксимувати, є вкрай обмеженими, адже їхня суть – це все ще пряма. Якщо нейронів більше, то можна ітеративно обробити більше параметрів, що дозволяє апроксимувати більше даних. Ось чому великі моделі роблять дива, і саме тому їх називають великими моделями: суть полягає в величезній кількості нейронів і параметрів, а також величезній кількості даних, які потребують величезних обчислювальних потужностей.

Отже, на ефективність великих моделей впливають три основні фактори: кількість параметрів, обсяг та якість даних, а також обчислювальна потужність; ці три фактори взаємодіють.