AI x Crypto: dari nol ke puncak

Pendahuluan

Perkembangan industri AI baru-baru ini dianggap oleh beberapa orang sebagai revolusi industri keempat. Munculnya model besar secara signifikan meningkatkan efisiensi di berbagai sektor, Boston Consulting Group memperkirakan GPT telah meningkatkan efisiensi kerja di AS sekitar 20%. Pada saat yang sama, kemampuan generalisasi yang dibawa oleh model besar disebut sebagai paradigma desain perangkat lunak baru, di mana desain perangkat lunak di masa lalu adalah kode yang tepat, sekarang adalah kerangka model besar yang lebih umum dimasukkan ke dalam perangkat lunak, yang dapat memberikan kinerja yang lebih baik dan mendukung input dan output modal yang lebih luas. Teknologi pembelajaran mendalam memang telah membawa kemakmuran keempat bagi industri AI, dan gelombang ini juga telah menjalar ke industri cryptocurrency.

Laporan ini akan membahas secara rinci sejarah perkembangan industri AI, klasifikasi teknologi, serta dampak penemuan teknologi pembelajaran mendalam terhadap industri. Kemudian, kami akan menganalisis secara mendalam rantai industri hulu dan hilir dalam pembelajaran mendalam seperti GPU, komputasi awan, sumber data, dan perangkat tepi, serta keadaan dan tren perkembangannya. Setelah itu, kami akan membahas secara mendalam hubungan antara cryptocurrency dan industri AI, serta merangkum pola rantai industri AI yang terkait dengan cryptocurrency.

Sejarah perkembangan industri AI

Industri AI dimulai pada tahun 1950-an, untuk mewujudkan visi kecerdasan buatan, kalangan akademis dan industri mengembangkan banyak aliran yang mewujudkan kecerdasan buatan dalam konteks latar belakang disiplin ilmu yang berbeda di berbagai era.

Teknologi kecerdasan buatan modern terutama menggunakan istilah "pembelajaran mesin", konsep dari teknologi ini adalah membuat mesin bergantung pada data untuk melakukan iterasi berulang dalam tugas guna meningkatkan kinerja sistem. Langkah utama adalah mengirimkan data ke algoritma, menggunakan data ini untuk melatih model, menguji dan menerapkan model, serta menggunakan model untuk menyelesaikan tugas prediksi otomatis.

Saat ini, ada tiga aliran utama dalam pembelajaran mesin, yaitu koneksionisme, simbolisme, dan behaviorisme, yang masing-masing meniru sistem saraf, pemikiran, dan perilaku manusia.

Saat ini, pendekatan koneksionisme yang diwakili oleh jaringan saraf mendominasi, yang juga dikenal sebagai pembelajaran mendalam, (. Alasan utamanya adalah bahwa arsitektur ini memiliki satu lapisan input dan satu lapisan output, tetapi memiliki beberapa lapisan tersembunyi. Begitu jumlah lapisan dan neuron serta parameter menjadi cukup banyak, maka akan ada cukup peluang untuk mencocokkan tugas-tugas umum yang kompleks. Dengan input data, parameter neuron dapat terus disesuaikan, sehingga setelah melalui banyak data, neuron tersebut akan mencapai keadaan optimal ) parameter (. Inilah yang kita sebut sebagai "keajaiban dari upaya besar", dan inilah asal usul kata "dalam" - cukup banyak lapisan dan neuron.

Sebagai contoh, dapat dipahami dengan sederhana bahwa kita membangun sebuah fungsi, di mana jika kita memasukkan X=2, maka Y=3; jika X=3, maka Y=5. Jika kita ingin fungsi ini berlaku untuk semua X, maka kita perlu terus menambahkan derajat fungsi ini dan parameternya. Misalnya, saat ini saya dapat membangun fungsi yang memenuhi syarat ini sebagai Y = 2X -1, tetapi jika ada data dengan X=2, Y=11, maka perlu dibangun kembali fungsi yang sesuai untuk ketiga titik data ini. Menggunakan GPU untuk brute force, ditemukan Y = X2 -3X +5, yang cukup cocok, tetapi tidak perlu sepenuhnya cocok dengan data, hanya perlu mematuhi keseimbangan, dan hasilnya harus kira-kira mirip. Di sini, X2, X, dan X0 masing-masing mewakili neuron yang berbeda, sedangkan 1, -3, dan 5 adalah parameternya.

Pada saat ini, jika kita memasukkan sejumlah besar data ke dalam jaringan saraf, kita dapat menambahkan neuron dan mengiterasi parameter untuk menyesuaikan data baru. Dengan cara ini, kita dapat menyesuaikan semua data.

Dan teknologi pembelajaran mendalam berbasis jaringan saraf juga memiliki beberapa iterasi dan evolusi teknis, seperti jaringan saraf awal yang ditunjukkan pada gambar di atas, jaringan saraf feedforward, RNN, CNN, GAN, yang akhirnya berevolusi menjadi model besar modern seperti teknologi Transformer yang digunakan oleh GPT, teknologi Transformer hanyalah satu arah evolusi dari jaringan saraf, menambahkan satu konverter ) Transformer (, digunakan untuk mengkodekan semua modalitas ) seperti audio, video, gambar, dll ( menjadi nilai yang sesuai untuk mewakili. Kemudian, nilai-nilai tersebut dimasukkan ke dalam jaringan saraf, sehingga jaringan saraf dapat menyesuaikan dengan jenis data apa pun, yaitu mewujudkan multimodal.

![Pengenalan untuk Pendatang Baru丨AI x Crypto: Dari Nol ke Puncak])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(

Perkembangan AI telah melalui tiga gelombang teknologi. Gelombang pertama terjadi pada tahun 1960-an, satu dekade setelah teknologi AI diperkenalkan. Gelombang ini disebabkan oleh perkembangan teknologi simbolisme yang menyelesaikan masalah pemrosesan bahasa alami dan interaksi manusia-komputer. Pada periode yang sama, sistem pakar lahir, yaitu sistem pakar DENRAL yang diselesaikan di bawah pengawasan NASA oleh Universitas Stanford. Sistem ini memiliki pengetahuan kimia yang sangat kuat, melakukan inferensi melalui pertanyaan untuk menghasilkan jawaban yang sama seperti pakar kimia. Sistem pakar kimia ini dapat dianggap sebagai kombinasi dari basis pengetahuan kimia dan sistem inferensi.

Setelah sistem pakar, pada tahun 1990-an, ilmuwan dan filsuf Amerika keturunan Israel, Judea Pearl ), mengajukan jaringan Bayesian, yang juga dikenal sebagai jaringan keyakinan. Pada periode yang sama, Brooks mengusulkan robotika berbasis perilaku, menandai kelahiran behaviorisme.

Pada tahun 1997, IBM Deep Blue mengalahkan juara catur Kasparov dengan skor 3.5:2.5, kemenangan ini dianggap sebagai tonggak penting dalam kecerdasan buatan, dan teknologi AI memasuki puncak perkembangan kedua.

Gelombang ketiga teknologi AI terjadi pada tahun 2006. Tiga raja deep learning, Yann LeCun, Geoffrey Hinton, dan Yoshua Bengio, mengajukan konsep deep learning, sebuah algoritma yang menggunakan jaringan saraf buatan sebagai arsitektur untuk pembelajaran representasi data. Setelah itu, algoritma deep learning terus berkembang, dari RNN, GAN hingga Transformer dan Stable Diffusion, kedua algoritma ini bersama-sama membentuk gelombang teknologi ketiga ini, dan ini juga merupakan masa kejayaan koneksionisme.

Banyak peristiwa ikonik juga muncul seiring dengan eksplorasi dan evolusi teknologi pembelajaran mendalam, termasuk:

• Pada tahun 2011, IBM Watson( mengalahkan manusia dan menjadi juara dalam acara kuis "Jeopardy)".

• Pada tahun 2014, Goodfellow mengusulkan GAN( Jaringan Adversarial Generatif, Generative Adversarial Network), yang dapat menghasilkan foto yang tampak nyata melalui pembelajaran dengan membiarkan dua jaringan saraf saling berkompetisi. Pada saat yang sama, Goodfellow juga menulis sebuah buku berjudul "Deep Learning", yang dikenal sebagai buku bunga, adalah salah satu buku pengantar penting di bidang pembelajaran mendalam.

• Pada tahun 2015, Hinton dan kawan-kawan mengajukan algoritma pembelajaran mendalam dalam jurnal "Nature", dan pengajuan metode pembelajaran mendalam ini segera memicu reaksi besar di kalangan akademisi dan industri.

• Pada tahun 2015, OpenAI didirikan, Musk, Presiden YC Altman, dan investor malaikat Peter Thiel ( mengumumkan bersama-sama menginvestasikan 1 miliar dolar.

• Pada tahun 2016, AlphaGo yang berbasis teknologi pembelajaran mendalam bertanding melawan juara dunia Go, pemain profesional sembilan dan Li Shishi, dan menang dengan skor total 4-1.

• Pada tahun 2017, perusahaan teknologi robotik Hanson Robotics di Hong Kong, Cina, mengembangkan robot humanoid bernama Sophia, yang disebut sebagai robot pertama dalam sejarah yang mendapatkan status warga negara. Sophia memiliki ekspresi wajah yang kaya serta kemampuan pemahaman bahasa manusia.

• Pada tahun 2017, Google yang memiliki banyak bakat dan cadangan teknologi di bidang kecerdasan buatan menerbitkan makalah "Attention is all you need" yang memperkenalkan algoritma Transformer, model bahasa berskala besar mulai muncul.

• Pada tahun 2018, OpenAI merilis GPT)Generative Pre-trained Transformer( yang dibangun berdasarkan algoritma Transformer, yang merupakan salah satu model bahasa terbesar pada saat itu.

• Pada tahun 2018, tim Google Deepmind merilis AlphaGo yang berbasis pembelajaran mendalam, mampu memprediksi struktur protein, dianggap sebagai tanda kemajuan besar di bidang kecerdasan buatan.

• Pada tahun 2019, OpenAI merilis GPT-2, model ini memiliki 1,5 miliar parameter.

• Pada tahun 2020, OpenAI mengembangkan GPT-3, yang memiliki 175 miliar parameter, 100 kali lebih banyak dibandingkan versi sebelumnya, GPT-2. Model ini dilatih menggunakan 570GB teks dan dapat mencapai kinerja terbaik dalam berbagai tugas NLP) seperti menjawab pertanyaan, menerjemahkan, dan menulis artikel(.

• Pada tahun 2021, OpenAI merilis GPT-4, model ini memiliki 1,76 triliun parameter, 10 kali lipat dari GPT-3.

• Aplikasi ChatGPT berbasis model GPT-4 diluncurkan pada Januari 2023, dan pada Maret ChatGPT mencapai seratus juta pengguna, menjadi aplikasi yang tercepat dalam sejarah untuk mencapai seratus juta pengguna.

• Pada tahun 2024, OpenAI meluncurkan GPT-4 omni.

Catatan: Karena ada banyak makalah tentang kecerdasan buatan, banyak aliran, dan evolusi teknologi yang beragam, maka di sini kami terutama mengikuti sejarah perkembangan pembelajaran mendalam atau koneksionisme, sementara aliran dan teknologi lainnya masih dalam proses perkembangan yang cepat.

![Pengetahuan Dasar untuk Pemula丨AI x Crypto: Dari Nol ke Puncak])https://img-cdn.gateio.im/webp-social/moments-609c5dd6ee0abcec6bf9c118d7741867.webp(

Rantai Industri Pembelajaran Mendalam

Model bahasa besar saat ini menggunakan metode pembelajaran mendalam berbasis jaringan saraf. Model besar yang dipimpin oleh GPT telah menciptakan gelombang baru dalam kecerdasan buatan, dengan banyak pemain yang memasuki arena ini. Kami juga telah menemukan bahwa permintaan pasar untuk data dan daya komputasi telah melonjak secara signifikan. Oleh karena itu, dalam bagian laporan ini, kami terutama menjelajahi rantai industri algoritma pembelajaran mendalam, bagaimana hulu dan hilir di industri AI yang didominasi algoritma pembelajaran mendalam terbentuk, serta bagaimana kondisi dan hubungan penawaran dan permintaan hulu dan hilir, serta perkembangan di masa depan.

Pertama-tama, kita perlu memperjelas bahwa dalam melatih model besar LLMs yang dipimpin oleh GPT berbasis teknologi Transformer ), ada total tiga langkah.

Sebelum pelatihan, karena didasarkan pada Transformer, maka konverter perlu mengubah input teks menjadi nilai, proses ini disebut "Tokenization", setelah itu nilai-nilai ini disebut Token. Berdasarkan aturan umum, satu kata atau karakter dalam bahasa Inggris dapat secara kasar dianggap sebagai satu Token, sementara setiap karakter Han dapat secara kasar dianggap sebagai dua Token. Ini juga merupakan satuan dasar yang digunakan dalam penilaian GPT.

Langkah pertama, pra-pelatihan. Dengan memberikan lapisan input cukup banyak pasangan data, mirip dengan contoh yang diberikan di bagian pertama laporan (X,Y), untuk mencari parameter terbaik dari setiap neuron di bawah model tersebut, pada saat ini diperlukan banyak data, dan proses ini juga merupakan proses yang paling memakan daya komputasi, karena harus berulang kali mengiterasi neuron mencoba berbagai parameter. Setelah satu batch pasangan data selesai dilatih, biasanya akan menggunakan batch data yang sama untuk pelatihan kedua untuk mengiterasi parameter.

Langkah kedua, fine-tuning. Fine-tuning adalah memberikan sejumlah kecil data, tetapi dengan kualitas yang sangat tinggi, untuk pelatihan. Perubahan semacam ini akan menghasilkan keluaran model yang lebih berkualitas, karena pre-training memerlukan banyak data, tetapi banyak data mungkin mengandung kesalahan atau kualitas rendah. Langkah fine-tuning dapat meningkatkan kualitas model melalui data berkualitas tinggi.

Langkah ketiga, pembelajaran penguatan. Pertama-tama, akan dibangun sebuah model baru yang kita sebut "model penghargaan", tujuan model ini sangat sederhana, yaitu untuk mengurutkan hasil keluaran, sehingga implementasi model ini cukup mudah, karena skenario bisnisnya cukup vertikal. Setelah itu, model ini digunakan untuk menentukan apakah keluaran model besar kita berkualitas tinggi, sehingga kita dapat menggunakan model penghargaan untuk secara otomatis mengiterasi parameter model besar. ( Namun terkadang juga diperlukan keterlibatan manusia untuk menilai kualitas keluaran model ).

Singkatnya, selama proses pelatihan model besar, pra-pelatihan memiliki permintaan yang sangat tinggi terhadap jumlah data, dan daya komputasi GPU yang dibutuhkan juga paling banyak, sedangkan penyesuaian halus memerlukan data yang lebih berkualitas tinggi untuk meningkatkan parameter, dan pembelajaran penguatan dapat mengulangi parameter melalui model penghargaan untuk menghasilkan hasil yang lebih berkualitas tinggi.

Dalam proses pelatihan, semakin banyak parameter, maka batas kemampuan generalisasi akan semakin tinggi. Misalnya, dalam contoh fungsi Y = aX + b, sebenarnya ada dua neuron X dan X0. Oleh karena itu, variasi parameter sangat terbatas dalam kemampuan mereka untuk memodelkan data, karena pada dasarnya tetap merupakan garis lurus. Jika jumlah neuron semakin banyak, maka lebih banyak parameter dapat diiterasi, sehingga lebih banyak data dapat dipodelkan. Inilah alasan mengapa model besar dapat menghasilkan keajaiban, dan juga mengapa istilah model besar digunakan. Intinya adalah jumlah neuron dan parameter yang sangat besar, serta jumlah data yang sangat besar, yang juga memerlukan daya komputasi yang sangat besar.

Oleh karena itu, kinerja model besar terutama ditentukan oleh tiga aspek, jumlah parameter, jumlah dan kualitas data, serta daya komputasi, ketiga aspek ini saling memengaruhi.