AI x Crypto: Dari Nol ke Puncak

Industri AI baru-baru ini berkembang pesat dan dianggap oleh sebagian orang sebagai revolusi industri keempat. Kemunculan model besar secara signifikan meningkatkan efisiensi di berbagai sektor, diperkirakan GPT meningkatkan efisiensi kerja di Amerika Serikat sebesar sekitar 20%. Sementara itu, kemampuan generalisasi yang dibawa oleh model besar dianggap sebagai paradigma desain perangkat lunak yang baru, di mana desain perangkat lunak di masa lalu adalah kode yang tepat, sekarang lebih banyak mengintegrasikan kerangka model besar yang digeneralisasi ke dalam perangkat lunak, yang memungkinkan perangkat lunak memiliki kinerja yang lebih baik dan dukungan modalitas yang lebih luas. Teknologi pembelajaran mendalam memang membawa putaran baru kemakmuran bagi industri AI, dan gelombang ini juga menyebar ke industri cryptocurrency.

Laporan ini akan membahas secara rinci tentang perjalanan perkembangan industri AI, klasifikasi teknologi, serta pengaruh teknologi pembelajaran mendalam terhadap industri. Selanjutnya, kami akan menganalisis secara mendalam kondisi dan tren pengembangan hulu dan hilir rantai industri seperti GPU, komputasi awan, sumber data, dan perangkat tepi dalam pembelajaran mendalam. Akhirnya, kami akan secara esensial membahas hubungan antara cryptocurrency dan industri AI, serta menyusun pola rantai industri AI yang terkait dengan cryptocurrency.

Sejarah perkembangan industri AI

Industri AI dimulai sejak tahun 1950-an, untuk mewujudkan visi kecerdasan buatan, akademisi dan industri telah mengembangkan berbagai aliran untuk mewujudkan kecerdasan buatan di berbagai zaman dan latar belakang disiplin ilmu yang berbeda.

Teknologi kecerdasan buatan modern terutama menggunakan istilah "pembelajaran mesin", yang ide dasarnya adalah membuat mesin bergantung pada data untuk berulang kali mengiterasi dalam tugas untuk meningkatkan kinerja sistem. Langkah-langkah utama adalah memasukkan data ke dalam algoritma, melatih model dengan data, menguji model yang diterapkan, dan menggunakan model untuk menyelesaikan tugas prediksi otomatis.

Saat ini, ada tiga aliran utama dalam pembelajaran mesin, yaitu koneksionisme, simbolisme, dan behaviorisme, yang masing-masing meniru sistem saraf, pemikiran, dan perilaku manusia.

Saat ini, konektivisme yang diwakili oleh jaringan saraf mendominasi ( juga dikenal sebagai pembelajaran mendalam ), alasan utamanya adalah karena arsitektur ini memiliki satu lapisan input, satu lapisan output, tetapi memiliki beberapa lapisan tersembunyi. Begitu jumlah lapisan dan neuron ( parameter ) cukup banyak, ada cukup peluang untuk menyesuaikan tugas umum yang kompleks. Melalui input data, parameter neuron dapat terus disesuaikan, setelah melalui beberapa data, neuron tersebut akan mencapai kondisi optimal ( parameter ), inilah juga asal usul istilah "dalam" - jumlah lapisan dan neuron yang cukup banyak.

Sebagai contoh, dapat dipahami dengan sederhana sebagai membangun sebuah fungsi, yang memasukkan X=2 menghasilkan Y=3; X=3 menghasilkan Y=5. Jika ingin fungsi ini berlaku untuk semua X, maka perlu terus menambahkan derajat fungsi dan parameternya, misalnya dapat dibangun fungsi yang memenuhi kondisi ini sebagai Y = 2X -1, tetapi jika ada satu data dengan X=2, Y=11, maka perlu membangun kembali fungsi yang sesuai untuk ketiga titik data ini. Menggunakan GPU untuk brute force menemukan Y = X² -3X +5 lebih cocok, tetapi tidak perlu sepenuhnya cocok dengan data, hanya perlu mematuhi keseimbangan, output yang serupa secara kasar sudah cukup. Di sini, X², X, dan X0 mewakili neuron yang berbeda, sedangkan 1, -3, 5 adalah parameternya.

Pada saat ini, jika kita memasukkan sejumlah besar data ke dalam jaringan saraf, kita dapat menambah neuron dan mengiterasi parameter untuk menyesuaikan data baru. Dengan cara ini, kita dapat menyesuaikan semua data.

Dan teknologi pembelajaran mendalam berbasis jaringan saraf juga mengalami beberapa iterasi dan evolusi teknis, seperti jaringan saraf awal, jaringan saraf feedforward, RNN, CNN, GAN, yang akhirnya berevolusi menjadi model besar modern seperti teknologi Transformer yang digunakan oleh GPT, teknologi Transformer hanyalah salah satu arah evolusi jaringan saraf, menambahkan sebuah konverter ( Transformer ), untuk mengkodekan semua modal ( seperti audio, video, gambar, dll ) menjadi nilai yang sesuai untuk diwakili. Kemudian, nilai tersebut dimasukkan ke dalam jaringan saraf, sehingga jaringan saraf dapat menyesuaikan diri dengan jenis data apa pun, yaitu mewujudkan multimodal.

Perkembangan AI telah melalui tiga gelombang teknologi. Gelombang pertama terjadi pada tahun 1960-an, satu dekade setelah teknologi AI diperkenalkan. Gelombang ini dipicu oleh perkembangan teknologi simbolisme, yang menyelesaikan masalah pemrosesan bahasa alami yang umum dan dialog manusia-mesin. Pada waktu yang sama, sistem pakar lahir, yaitu sistem pakar DENRAL yang diselesaikan oleh beberapa lembaga, yang memiliki pengetahuan kimia yang sangat kuat, melakukan inferensi melalui pertanyaan untuk menghasilkan jawaban yang sama dengan ahli kimia. Sistem pakar kimia ini dapat dianggap sebagai gabungan dari basis pengetahuan kimia dan sistem inferensi.

Setelah sistem pakar, pada tahun 1990-an, ilmuwan mengusulkan jaringan Bayesian, yang juga dikenal sebagai jaringan keyakinan. Pada waktu yang sama, Brooks mengusulkan robotika berbasis perilaku, menandai lahirnya behaviorisme.

Pada tahun 1997, sebuah perusahaan teknologi bernama Deep Blue mengalahkan juara catur Garry Kasparov dengan skor 3.5:2.5, kemenangan ini dianggap sebagai tonggak sejarah dalam kecerdasan buatan, teknologi AI memasuki puncak perkembangan kedua.

Gelombang ketiga teknologi AI terjadi pada tahun 2006. Tiga raja deep learning, Yann LeCun, Geoffrey Hinton, dan Yoshua Bengio, mengemukakan konsep deep learning, sebuah algoritma yang menggunakan jaringan saraf buatan sebagai arsitektur untuk belajar representasi data. Setelah itu, algoritma deep learning secara bertahap berkembang, dari RNN, GAN hingga Transformer dan Stable Diffusion, algoritma-algoritma ini bersama-sama membentuk gelombang teknologi ketiga ini, dan ini juga merupakan masa kejayaan konektivisme.

Banyak peristiwa ikonik juga muncul seiring dengan eksplorasi dan evolusi teknologi pembelajaran mendalam, termasuk:

• Pada tahun 2011, sistem dari sebuah perusahaan teknologi mengalahkan manusia dan meraih juara dalam acara kuis "Dangerous Edge" (Jeopardy).

• Pada tahun 2014, Goodfellow mengusulkan GAN( Jaringan Generatif Adversarial, Generative Adversarial Network), yang belajar dengan cara memungkinkan dua jaringan saraf berkompetisi satu sama lain, dapat menghasilkan foto yang sangat realistis. Selain itu, Goodfellow juga menulis sebuah buku berjudul "Deep Learning", yang dikenal sebagai buku bunga, adalah salah satu buku pengantar penting di bidang pembelajaran mendalam.

• Pada tahun 2015, Hinton dan rekan-rekannya mengusulkan algoritma pembelajaran mendalam dalam jurnal "Nature", yang segera menarik perhatian besar di kalangan akademis dan industri.

• Pada tahun 2015, sebuah perusahaan kecerdasan buatan didirikan, beberapa tokoh terkenal mengumumkan untuk bersama-sama menginvestasikan 1 miliar dolar.

• Pada tahun 2016, AlphaGo yang berbasis teknologi pembelajaran mendalam bertanding melawan juara dunia Go dan pemain profesional sembilan段 Li Shishi, dengan skor total 4-1.

• Pada tahun 2017, sebuah perusahaan mengembangkan robot humanoid bernama Sophia, yang disebut sebagai robot pertama dalam sejarah yang memperoleh status warga negara, dengan kemampuan ekspresi wajah yang kaya dan pemahaman bahasa manusia.

• Pada tahun 2017, sebuah perusahaan yang memiliki banyak bakat dan cadangan teknologi di bidang kecerdasan buatan menerbitkan makalah berjudul "Attention is all you need" yang mengusulkan algoritma Transformer, dan model bahasa berskala besar mulai muncul.

• Pada tahun 2018, sebuah perusahaan merilis GPT(Generative Pre-trained Transformer) yang dibangun berdasarkan algoritma Transformer, yang merupakan salah satu model bahasa terbesar pada saat itu.

• Pada tahun 2018, tim sebuah perusahaan meluncurkan AlphaGo yang berbasis pada pembelajaran mendalam, mampu memprediksi struktur protein, dianggap sebagai tonggak kemajuan besar dalam bidang kecerdasan buatan.

• Pada tahun 2019, sebuah perusahaan merilis GPT-2, model ini memiliki 1,5 miliar parameter.

• Pada tahun 2020, sebuah perusahaan mengembangkan GPT-3, yang memiliki 175 miliar parameter, 100 kali lebih tinggi dari versi sebelumnya GPT-2. Model ini dilatih menggunakan 570GB teks dan dapat mencapai kinerja terdepan dalam berbagai tugas NLP( seperti menjawab pertanyaan, terjemahan, dan penulisan artikel).

• Pada tahun 2021, sebuah perusahaan merilis GPT-4, model ini memiliki 1,76 triliun parameter, 10 kali lipat dari GPT-3.

• Aplikasi ChatGPT berbasis model GPT-4 diluncurkan pada Januari 2023, dan pada bulan Maret ChatGPT mencapai seratus juta pengguna, menjadi aplikasi yang paling cepat mencapai seratus juta pengguna dalam sejarah.

• Pada tahun 2024, sebuah perusahaan meluncurkan GPT-4 omni.

Rantai industri pembelajaran mendalam

Model bahasa besar saat ini semuanya menggunakan metode pembelajaran mendalam berbasis jaringan saraf. Dengan GPT sebagai pemimpin, model besar ini telah menciptakan gelombang antusiasme untuk kecerdasan buatan, banyak pemain memasuki jalur ini, dan kami juga menemukan bahwa permintaan pasar untuk data dan daya komputasi meledak secara besar-besaran. Oleh karena itu, dalam bagian laporan ini, kami terutama mengeksplorasi rantai industri dari algoritma pembelajaran mendalam, bagaimana hulu dan hilir terbentuk di industri AI yang didominasi oleh algoritma pembelajaran mendalam, dan bagaimana kondisi hulu dan hilir serta hubungan penawaran dan permintaan, serta perkembangan di masa depan.

Pertama-tama, kita perlu memperjelas bahwa dalam melakukan pelatihan model besar LLMs yang dipimpin oleh GPT berbasis teknologi Transformer, ada tiga langkah yang harus diikuti.

Sebelum pelatihan, karena didasarkan pada Transformer, maka konverter perlu mengubah input teks menjadi nilai, proses ini disebut "Tokenization", setelah itu nilai-nilai ini disebut Token. Dalam aturan praktis umum, satu kata atau karakter dalam bahasa Inggris dapat dianggap sebagai satu Token, sementara setiap karakter Tionghoa dapat dianggap sebagai dua Token. Ini juga merupakan unit dasar yang digunakan dalam penilaian GPT.

Langkah pertama, pra-pelatihan. Dengan memberikan cukup banyak pasangan data ke lapisan input, seperti yang dicontohkan di bagian pertama laporan (X,Y), untuk mencari parameter terbaik dari setiap neuron di bawah model tersebut, pada saat ini dibutuhkan banyak data, dan proses ini juga merupakan proses yang paling memakan daya komputasi, karena harus mengulangi iterasi neuron mencoba berbagai parameter. Setelah satu batch pasangan data selesai dilatih, biasanya akan menggunakan batch data yang sama untuk pelatihan kedua untuk mengiterasi parameter.

Langkah kedua, fine-tuning. Fine-tuning adalah memberikan sejumlah kecil data yang sangat berkualitas untuk melatih, perubahan seperti ini akan membuat keluaran model memiliki kualitas yang lebih tinggi, karena pra-pelatihan membutuhkan banyak data, tetapi banyak data mungkin mengandung kesalahan atau kualitas yang rendah. Langkah fine-tuning dapat meningkatkan kualitas model melalui data berkualitas tinggi.

Langkah ketiga, pembelajaran penguatan. Pertama, akan dibangun sebuah model baru yang kita sebut "model penghargaan", tujuan dari model ini sangat sederhana, yaitu untuk mengurutkan hasil keluaran, sehingga pembuatan model ini akan cukup mudah, karena skenario bisnisnya cukup vertikal. Setelah itu, model ini digunakan untuk menentukan apakah keluaran dari model besar kita berkualitas tinggi, sehingga kita dapat menggunakan model penghargaan untuk secara otomatis mengiterasi parameter model besar. ( Namun, terkadang juga diperlukan keterlibatan manusia untuk menilai kualitas keluaran model ).

Singkatnya, dalam proses pelatihan model besar, pra-pelatihan memiliki tuntutan yang sangat tinggi terhadap jumlah data, dan kekuatan komputasi GPU yang dibutuhkan juga paling banyak, sementara penyetelan memerlukan data berkualitas lebih tinggi untuk memperbaiki parameter. Pembelajaran penguatan dapat mengiterasi parameter berulang kali melalui model penghargaan untuk menghasilkan hasil yang lebih berkualitas.

Dalam proses pelatihan, semakin banyak parameter, semakin tinggi batas kemampuan generalisasi, misalnya dalam contoh fungsi Y = aX + b, sebenarnya ada dua neuron X dan X0, sehingga bagaimana perubahan parameter, data yang dapat diusulkan sangat terbatas, karena pada dasarnya itu masih merupakan garis lurus. Jika jumlah neuron semakin banyak, maka lebih banyak parameter bisa diiterasi, sehingga dapat mengusulkan lebih banyak data, inilah mengapa model besar menghasilkan keajaiban, dan inilah juga mengapa disebut model besar, pada dasarnya adalah jumlah neuron dan parameter yang sangat besar, serta jumlah data yang sangat besar, sementara juga memerlukan daya komputasi yang sangat besar.

Oleh karena itu, kinerja model besar terutama ditentukan oleh tiga aspek, yaitu jumlah parameter, jumlah dan kualitas data, serta daya komputasi, ketiga faktor ini secara bersama-sama mempengaruhi kualitas hasil dan kemampuan generalisasi model besar. Kita anggap jumlah parameter adalah p, jumlah data adalah n( dihitung berdasarkan jumlah Token), maka kita dapat menghitung jumlah komputasi yang diperlukan menggunakan aturan pengalaman umum, sehingga kita dapat memperkirakan kebutuhan daya komputasi yang harus dibeli serta waktu pelatihan.

Kekuatan komputasi umumnya diukur dalam Flops sebagai satuan dasar, yang mewakili satu operasi floating-point. Operasi floating-point adalah istilah umum untuk penjumlahan, pengurangan, perkalian, dan pembagian nilai non-integer, seperti 2.5+3.557, di mana floating-point menunjukkan kemampuan untuk menyertakan angka desimal, dan FP16 mewakili tingkat presisi yang mendukung angka desimal, sedangkan FP32 adalah tingkat presisi yang lebih umum. Berdasarkan aturan praktis dari pengalaman, pra-pelatihan (Pre-traning) biasanya akan dilakukan berulang kali untuk ( model besar, yang kira-kira membutuhkan 6np Flops, di mana 6 dikenal sebagai konstanta industri. Sedangkan inferensi )Inference, adalah proses di mana kita memasukkan satu data dan menunggu keluaran dari model besar (, dibagi menjadi dua bagian, memasukkan n token, dan keluaran.