"Pertarungan Seratus Model" di Bidang AI: Masalah Rekayasa atau Tantangan Ilmiah?
Bulan lalu, industri AI memicu "Perang Hewan".
Satu sisi adalah model Llama yang diluncurkan oleh Meta, yang sangat disukai oleh pengembang karena sifatnya yang open source. Setelah sebuah perusahaan di Jepang mempelajari makalah dan kode sumber Llama, mereka dengan cepat mengembangkan versi bahasa Jepang dari ChatGPT, yang menyelesaikan masalah bottleneck AI di Jepang.
Pihak lain adalah model besar bernama Falcon. Pada bulan Mei tahun ini, Falcon-40B diluncurkan, mengalahkan Llama dan menduduki peringkat teratas dalam daftar LLM sumber terbuka. Daftar ini dibuat oleh komunitas model sumber terbuka dan menyediakan standar untuk mengevaluasi kemampuan LLM. Peringkat ini pada dasarnya diisi secara bergantian oleh Llama dan Falcon.
Setelah peluncuran Llama 2, seri Llama sementara memimpin; tetapi pada awal September, Falcon meluncurkan versi 180B, kembali meraih peringkat lebih tinggi.
Menariknya, pengembang Falcon adalah Institut Penelitian Inovasi Teknologi di ibu kota UEA, Abu Dhabi. Pemerintah UEA menyatakan, "Kami terlibat di bidang ini untuk mengguncang para pemain inti."
Pada hari kedua peluncuran Falcon 180B, Menteri Kecerdasan Buatan Uni Emirat Arab terpilih dalam daftar "100 Orang Paling Berpengaruh di Bidang AI" versi Majalah Time; bersama beliau, juga terpilih "Bapak AI" Hinton, dan Altman dari OpenAI.
Saat ini, bidang AI telah memasuki tahap persaingan banyak pihak: selagi ada kekuatan finansial tertentu, negara dan perusahaan mana pun sedang membangun model bahasa besar mereka sendiri. Hanya di kalangan negara-negara Teluk, sudah ada lebih dari satu peserta — pada bulan Agustus, Arab Saudi baru saja membeli lebih dari 3000 chip H100 untuk pelatihan LLM di universitas domestik.
Seorang investor pernah mengeluh: "Dulu meremehkan inovasi model bisnis internet, merasa tidak ada batasan: Pertarungan seratus grup, pertarungan seratus mobil, pertarungan seratus siaran; tidak menyangka bahwa kewirausahaan model besar teknologi keras, tetap merupakan pertarungan seratus model..."
Seharusnya itu adalah teknologi keras yang sangat sulit, bagaimana bisa berubah menjadi situasi di mana setiap negara memiliki pola yang sama dan menghasilkan seribu kilogram per hektar?
Transformer Menghancurkan Dunia
Perusahaan rintisan Amerika, raksasa teknologi China, dan taipan minyak Timur Tengah dapat mengejar model besar, semua berkat makalah terkenal itu: "Attention Is All You Need."
Pada tahun 2017, delapan ilmuwan komputer dari Google mempublikasikan algoritma Transformer kepada dunia dalam makalah ini. Ini adalah makalah yang paling banyak dikutip ketiga dalam sejarah kecerdasan buatan, kemunculan Transformer telah memicu gelombang panas AI saat ini.
Saat ini semua model besar, termasuk seri GPT yang mengguncang dunia, dibangun di atas dasar Transformer.
Sebelumnya, "mengajarkan mesin membaca" selalu menjadi tantangan akademis yang diakui. Berbeda dengan pengenalan gambar, saat manusia membaca, mereka tidak hanya memperhatikan kata atau kalimat saat ini, tetapi juga menggabungkannya dengan konteks untuk memahami.
Jaringan saraf awal memiliki input yang independen satu sama lain, sehingga tidak dapat memahami teks panjang bahkan seluruh artikel, yang mengakibatkan masalah seperti menerjemahkan "开水间" menjadi "open water room".
Pada tahun 2014, ilmuwan komputer Ilya yang pindah dari Google ke OpenAI memperoleh terobosan pertama. Dia menggunakan jaringan saraf berulang (RNN) untuk memproses bahasa alami, sehingga kinerja Google Translate dengan cepat unggul atas pesaing.
RNN mengusulkan "desain siklik", yang memungkinkan setiap neuron menerima input saat ini dan input dari waktu sebelumnya secara bersamaan, memberikan kemampuan "menggabungkan konteks" pada jaringan saraf.
Kemunculan RNN memicu semangat penelitian di kalangan akademis, dan penulis makalah Transformer, Vaswani, juga pernah melakukan penelitian mendalam. Namun para pengembang dengan cepat menemukan bahwa RNN memiliki kekurangan serius:
Algoritma ini menggunakan perhitungan berurutan, meskipun telah menyelesaikan masalah konteks, namun efisiensi operasionalnya tidak tinggi dan sulit untuk menangani banyak parameter.
Desain RNN yang rumit segera membuat Shazelle merasa bosan. Oleh karena itu, sejak 2015, Shazelle dan 7 rekan yang sevisi mulai mengembangkan alternatif untuk RNN, yang akhirnya menghasilkan Transformer.
Dibandingkan dengan RNN, Transformer memiliki dua perubahan besar:
Pertama, menggunakan encoding posisi sebagai pengganti desain loop RNN, untuk mencapai perhitungan paralel—ini secara signifikan meningkatkan efisiensi pelatihan Transformer, memungkinkannya untuk menangani data dalam jumlah besar, dan mendorong AI menuju era model besar; kedua, lebih lanjut memperkuat kemampuan konteks.
Transformer secara bertahap menjadi solusi dominan dalam NLP( setelah mengatasi banyak kekurangan, dengan perasaan bahwa "jika tidak ada Transformer yang lahir, NLP akan tetap dalam kegelapan selamanya". Bahkan Ilya pun meninggalkan RNN yang ia ciptakan, dan beralih ke Transformer.
Dengan kata lain, Transformer adalah nenek moyang dari semua model besar saat ini, yang mengubah model besar dari penelitian teoritis menjadi masalah rekayasa murni.
Pada tahun 2019, OpenAI mengembangkan GPT-2 berdasarkan Transformer, yang mengejutkan dunia akademis. Sebagai respons, Google dengan cepat meluncurkan model AI Meena yang lebih kuat.
Dibandingkan dengan GPT-2, Meena tidak memiliki inovasi algoritma dasar, hanya meningkatkan parameter pelatihan sebanyak 8,5 kali dan kekuatan komputasi sebanyak 14 kali. Penulis makalah Transformer, Shazeer, sangat terkejut dengan "penumpukan kekerasan" ini dan segera menulis memo berjudul "Meena Menghancurkan Dunia."
Setelah munculnya Transformer, kecepatan inovasi algoritma dasar di kalangan akademisi mengalami perlambatan yang signifikan. Elemen-elemen rekayasa seperti rekayasa data, skala komputasi, dan arsitektur model semakin menjadi kunci dalam kompetisi AI, dan perusahaan teknologi dengan kemampuan teknis yang sedikit dapat mengembangkan model besar secara mandiri.
Oleh karena itu, ilmuwan komputer Andrew Ng mengemukakan saat berpidato di Universitas Stanford: "AI adalah kumpulan alat, termasuk pembelajaran terawasi, pembelajaran tidak terawasi, pembelajaran penguatan, dan sekarang kecerdasan buatan generatif. Semua ini adalah teknologi umum, mirip dengan teknologi umum lainnya seperti listrik dan internet."
OpenAI memang masih menjadi patokan LLM, tetapi lembaga analisis semikonduktor berpendapat bahwa daya saing GPT-4 berasal dari solusi rekayasa - jika open source, pesaing mana pun dapat dengan cepat menyalinnya.
Analis tersebut memperkirakan bahwa perusahaan teknologi besar lainnya mungkin segera dapat membangun model besar yang setara dengan kinerja GPT-4.
Benteng yang Dibangun di Atas Kaca
Saat ini, "perang seratus model" tidak lagi sekadar kiasan, tetapi merupakan kenyataan objektif.
Laporan terkait menunjukkan, hingga Juli tahun ini, jumlah model besar di dalam negeri telah mencapai 130, melebihi 114 di Amerika Serikat, berhasil melakukan 'supercar' di jalan yang berbelok, berbagai mitos dan legenda hampir tidak cukup lagi untuk digunakan sebagai nama oleh perusahaan teknologi domestik.
Di luar Tiongkok dan Amerika, beberapa negara yang lebih kaya juga telah secara awal mewujudkan "satu negara satu model": selain Jepang dan Uni Emirat Arab, ada juga Bhashini yang dipimpin oleh pemerintah India, serta HyperClova X yang dikembangkan oleh perusahaan internet Korea.
Situasi di depan mata ini, seolah-olah kembali ke era penjelajahan internet yang dipenuhi gelembung dan kapital yang merajalela.
Seperti yang telah disebutkan sebelumnya, Transformer menjadikan model besar sebagai masalah rekayasa murni, selama ada orang dengan uang dan kartu grafis, sisanya diserahkan kepada parameter. Namun, meskipun ambang masuknya tidak tinggi, bukan berarti semua orang memiliki kesempatan untuk menjadi raksasa di era AI.
Contoh tipikal yang disebutkan di awal "Perang Hewan" adalah: meskipun Falcon mengungguli Llama dalam peringkat, sulit untuk mengatakan seberapa besar dampaknya terhadap Meta.
Seperti yang kita ketahui, perusahaan yang membuka sumber hasil penelitian mereka, tidak hanya untuk berbagi manfaat teknologi dengan masyarakat, tetapi juga berharap untuk menggerakkan kecerdasan kolektif. Seiring dengan semakin banyaknya profesor universitas, lembaga penelitian, dan usaha kecil dan menengah yang terus menggunakan dan memperbaiki Llama, Meta dapat menerapkan hasil ini ke dalam produk mereka.
Untuk model besar sumber terbuka, komunitas pengembang yang aktif adalah kekuatan pendorong utama.
Dan sejak mendirikan laboratorium AI pada tahun 2015, Meta telah menetapkan nada open-source; Zuckerberg yang memulai kariernya di media sosial, lebih memahami pentingnya "menjaga hubungan baik dengan publik".
Misalnya, pada bulan Oktober, Meta secara khusus menyelenggarakan acara "Insentif Kreator AI": pengembang yang menggunakan Llama 2 untuk menyelesaikan masalah sosial seperti pendidikan dan lingkungan, memiliki kesempatan untuk mendapatkan dana sebesar 500.000 dolar.
Saat ini, seri Llama dari Meta telah menjadi acuan untuk LLM sumber terbuka.
Hingga awal Oktober, ada 8 dari 10 besar peringkat LLM sumber terbuka yang dibangun berdasarkan Llama 2, semuanya menggunakan lisensi sumber terbuka. Hanya di platform tersebut, LLM yang menggunakan lisensi sumber terbuka Llama 2 telah melebihi 1500.
Tentu saja, meningkatkan kinerja seperti Falcon juga bukan hal yang tidak mungkin, tetapi saat ini sebagian besar LLM di pasar masih memiliki jarak yang jelas dibandingkan dengan GPT-4.
Misalnya, baru-baru ini, GPT-4 meraih skor 4,41 dan menduduki puncak daftar tes AgentBench. AgentBench diluncurkan oleh Universitas Tsinghua bersama dengan Universitas Negeri Ohio dan Universitas California, Berkeley, untuk mengevaluasi kemampuan penalaran dan pengambilan keputusan LLM dalam lingkungan generasi terbuka multidimensi. Konten tes mencakup tugas di 8 lingkungan berbeda seperti sistem operasi, basis data, grafik pengetahuan, dan pertempuran kartu.
Hasil tes menunjukkan, peringkat kedua Claude hanya mendapatkan 2,77 poin, selisihnya masih cukup besar. Adapun LLM sumber terbuka yang ramai dibicarakan, hasil tesnya sebagian besar berada di sekitar 1 poin, bahkan belum mencapai 1/4 dari GPT-4.
Perlu diketahui, GPT-4 diluncurkan pada bulan Maret tahun ini, ini adalah hasil setelah rekan-rekan di seluruh dunia mengejar selama lebih dari enam bulan. Penyebab perbedaan ini adalah tim ilmuwan OpenAI yang memiliki "kepadatan IQ" yang sangat tinggi dan pengalaman yang terakumulasi dari penelitian LLM jangka panjang, sehingga mereka dapat selalu unggul jauh.
Dengan kata lain, kemampuan inti dari model besar bukanlah parameter, melainkan pembangunan ekosistem ) sumber terbuka ( atau kemampuan inferensi murni ) tertutup (.
Seiring dengan semakin aktifnya komunitas sumber terbuka, kinerja masing-masing LLM mungkin akan menjadi serupa, karena semua orang menggunakan arsitektur model dan dataset yang mirip.
Masalah lain yang lebih jelas adalah: selain Midjourney, tampaknya tidak ada model besar lain yang dapat menghasilkan keuntungan.
Titik Pijakan Nilai
Pada bulan Agustus tahun ini, sebuah artikel berjudul "OpenAI mungkin akan bangkrut pada akhir 2024" menarik perhatian. Inti dari artikel tersebut dapat diringkas dalam satu kalimat: OpenAI membakar uang terlalu cepat.
Dalam teks tersebut disebutkan, sejak pengembangan ChatGPT, kerugian OpenAI telah cepat meluas, hanya pada tahun 2022 mengalami kerugian sekitar 540 juta dolar AS, hanya bisa menunggu pihak investor untuk membayar.
Judul artikel mungkin terdengar mengerikan, tetapi menggambarkan situasi banyak penyedia model besar: ketidakseimbangan serius antara biaya dan pendapatan.
Biaya yang terlalu tinggi menyebabkan saat ini hanya Nvidia yang dapat menghasilkan uang besar dari kecerdasan buatan, paling tidak ditambah Broadcom.
Menurut perkiraan perusahaan konsultan, Nvidia menjual lebih dari 300.000 unit H100 pada kuartal kedua tahun ini. Ini adalah chip AI yang sangat efisien untuk melatih AI, dan perusahaan teknologi serta lembaga penelitian di seluruh dunia sedang berebut untuk membelinya. 300.000 unit H100 jika ditumpuk bersama-sama, beratnya setara dengan 4,5 pesawat Boeing 747.
Kinerja Nvidia melonjak, dengan pendapatan tahunan meningkat 854%, yang mengejutkan Wall Street. Perlu dicatat bahwa saat ini harga jual H100 di pasar barang bekas telah melambung hingga 40-50 ribu dolar, padahal biaya materialnya hanya sekitar 3000 dolar.
Biaya komputasi yang tinggi telah menjadi hambatan bagi perkembangan industri dalam beberapa aspek. Sebuah lembaga pernah memperkirakan: perusahaan teknologi global diperkirakan akan menghabiskan 200 miliar dolar AS per tahun untuk pembangunan infrastruktur model besar; dibandingkan dengan itu, model besar hanya dapat menghasilkan pendapatan maksimal 75 miliar dolar AS per tahun, sehingga terdapat celah setidaknya 125 miliar dolar AS.
Selain itu, kecuali untuk beberapa kasus seperti Midjourney, sebagian besar perusahaan perangkat lunak belum menemukan model bisnis yang menguntungkan setelah mengeluarkan biaya besar. Terutama, kinerja dua pemimpin industri - Microsoft dan Adobe - tidak begitu memuaskan.
Alat penghasil kode AI GitHub Copilot yang dikembangkan oleh Microsoft dan OpenAI, meskipun menarik biaya 10 dolar per bulan, malah membuat Microsoft rugi 20 dolar per bulan karena biaya fasilitas, pengguna berat bahkan bisa membuat Microsoft rugi 80 dolar per bulan. Berdasarkan ini, diperkirakan bahwa Microsoft 365 Copilot yang dipatok seharga 30 dolar mungkin mengalami kerugian yang lebih besar.
Begitu juga, Adobe yang baru saja meluncurkan alat Firefly AI juga dengan cepat meluncurkan sistem poin pendukung, untuk mencegah pengguna dari penggunaan berlebihan yang dapat menyebabkan kerugian bagi perusahaan. Begitu pengguna melebihi alokasi poin bulanan, Adobe akan mengurangi kecepatan layanan.
Perlu diketahui bahwa Microsoft dan Adobe telah menjadi raksasa perangkat lunak dengan skenario bisnis yang jelas dan memiliki banyak pengguna berbayar. Sementara itu, model besar yang memiliki banyak parameter masih memiliki aplikasi terbesar dalam hal obrolan.
Tidak dapat disangkal, jika tidak ada OpenAI dan ChatGPT yang muncul, revolusi AI ini mungkin tidak akan terjadi sama sekali; tetapi saat ini, nilai yang dibawa oleh pelatihan model besar mungkin perlu dipertanyakan.
Selain itu, seiring dengan meningkatnya persaingan homogenitas dan semakin banyaknya model sumber terbuka, ruang lingkup keberadaan penyedia model besar mungkin akan semakin menyusut.
Kepopuleran iPhone 4 bukan karena prosesor A4 yang menggunakan proses 45nm, tetapi karena dapat memainkan Plants vs Zombies dan Angry Birds.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
10 Suka
Hadiah
10
7
Bagikan
Komentar
0/400
StableGeniusDegen
· 07-26 11:35
Zik beberapa model besar bermain cukup ramai
Lihat AsliBalas0
consensus_whisperer
· 07-26 01:46
Bersaing di papan peringkat seperti bermain.
Lihat AsliBalas0
FallingLeaf
· 07-25 11:47
Siapa yang menang masih belum pasti.
Lihat AsliBalas0
OnChain_Detective
· 07-23 15:02
analisis pola menunjukkan persaingan llama vs falcon memiliki risiko keamanan klasik... tetap waspada fam
Lihat AsliBalas0
SnapshotStriker
· 07-23 14:59
Ayo main bareng di jalur.
Lihat AsliBalas0
PrivateKeyParanoia
· 07-23 14:57
Siapa sebenarnya bos di kebun binatang?
Lihat AsliBalas0
LightningPacketLoss
· 07-23 14:43
Model besar kamu mainkan milikmu, aku mainkan milikku.
Perang seratus model di tengah gelombang besar model AI: tantangan teknik atau tantangan penelitian
"Pertarungan Seratus Model" di Bidang AI: Masalah Rekayasa atau Tantangan Ilmiah?
Bulan lalu, industri AI memicu "Perang Hewan".
Satu sisi adalah model Llama yang diluncurkan oleh Meta, yang sangat disukai oleh pengembang karena sifatnya yang open source. Setelah sebuah perusahaan di Jepang mempelajari makalah dan kode sumber Llama, mereka dengan cepat mengembangkan versi bahasa Jepang dari ChatGPT, yang menyelesaikan masalah bottleneck AI di Jepang.
Pihak lain adalah model besar bernama Falcon. Pada bulan Mei tahun ini, Falcon-40B diluncurkan, mengalahkan Llama dan menduduki peringkat teratas dalam daftar LLM sumber terbuka. Daftar ini dibuat oleh komunitas model sumber terbuka dan menyediakan standar untuk mengevaluasi kemampuan LLM. Peringkat ini pada dasarnya diisi secara bergantian oleh Llama dan Falcon.
Setelah peluncuran Llama 2, seri Llama sementara memimpin; tetapi pada awal September, Falcon meluncurkan versi 180B, kembali meraih peringkat lebih tinggi.
Menariknya, pengembang Falcon adalah Institut Penelitian Inovasi Teknologi di ibu kota UEA, Abu Dhabi. Pemerintah UEA menyatakan, "Kami terlibat di bidang ini untuk mengguncang para pemain inti."
Pada hari kedua peluncuran Falcon 180B, Menteri Kecerdasan Buatan Uni Emirat Arab terpilih dalam daftar "100 Orang Paling Berpengaruh di Bidang AI" versi Majalah Time; bersama beliau, juga terpilih "Bapak AI" Hinton, dan Altman dari OpenAI.
Saat ini, bidang AI telah memasuki tahap persaingan banyak pihak: selagi ada kekuatan finansial tertentu, negara dan perusahaan mana pun sedang membangun model bahasa besar mereka sendiri. Hanya di kalangan negara-negara Teluk, sudah ada lebih dari satu peserta — pada bulan Agustus, Arab Saudi baru saja membeli lebih dari 3000 chip H100 untuk pelatihan LLM di universitas domestik.
Seorang investor pernah mengeluh: "Dulu meremehkan inovasi model bisnis internet, merasa tidak ada batasan: Pertarungan seratus grup, pertarungan seratus mobil, pertarungan seratus siaran; tidak menyangka bahwa kewirausahaan model besar teknologi keras, tetap merupakan pertarungan seratus model..."
Seharusnya itu adalah teknologi keras yang sangat sulit, bagaimana bisa berubah menjadi situasi di mana setiap negara memiliki pola yang sama dan menghasilkan seribu kilogram per hektar?
Transformer Menghancurkan Dunia
Perusahaan rintisan Amerika, raksasa teknologi China, dan taipan minyak Timur Tengah dapat mengejar model besar, semua berkat makalah terkenal itu: "Attention Is All You Need."
Pada tahun 2017, delapan ilmuwan komputer dari Google mempublikasikan algoritma Transformer kepada dunia dalam makalah ini. Ini adalah makalah yang paling banyak dikutip ketiga dalam sejarah kecerdasan buatan, kemunculan Transformer telah memicu gelombang panas AI saat ini.
Saat ini semua model besar, termasuk seri GPT yang mengguncang dunia, dibangun di atas dasar Transformer.
Sebelumnya, "mengajarkan mesin membaca" selalu menjadi tantangan akademis yang diakui. Berbeda dengan pengenalan gambar, saat manusia membaca, mereka tidak hanya memperhatikan kata atau kalimat saat ini, tetapi juga menggabungkannya dengan konteks untuk memahami.
Jaringan saraf awal memiliki input yang independen satu sama lain, sehingga tidak dapat memahami teks panjang bahkan seluruh artikel, yang mengakibatkan masalah seperti menerjemahkan "开水间" menjadi "open water room".
Pada tahun 2014, ilmuwan komputer Ilya yang pindah dari Google ke OpenAI memperoleh terobosan pertama. Dia menggunakan jaringan saraf berulang (RNN) untuk memproses bahasa alami, sehingga kinerja Google Translate dengan cepat unggul atas pesaing.
RNN mengusulkan "desain siklik", yang memungkinkan setiap neuron menerima input saat ini dan input dari waktu sebelumnya secara bersamaan, memberikan kemampuan "menggabungkan konteks" pada jaringan saraf.
Kemunculan RNN memicu semangat penelitian di kalangan akademis, dan penulis makalah Transformer, Vaswani, juga pernah melakukan penelitian mendalam. Namun para pengembang dengan cepat menemukan bahwa RNN memiliki kekurangan serius:
Algoritma ini menggunakan perhitungan berurutan, meskipun telah menyelesaikan masalah konteks, namun efisiensi operasionalnya tidak tinggi dan sulit untuk menangani banyak parameter.
Desain RNN yang rumit segera membuat Shazelle merasa bosan. Oleh karena itu, sejak 2015, Shazelle dan 7 rekan yang sevisi mulai mengembangkan alternatif untuk RNN, yang akhirnya menghasilkan Transformer.
Dibandingkan dengan RNN, Transformer memiliki dua perubahan besar:
Pertama, menggunakan encoding posisi sebagai pengganti desain loop RNN, untuk mencapai perhitungan paralel—ini secara signifikan meningkatkan efisiensi pelatihan Transformer, memungkinkannya untuk menangani data dalam jumlah besar, dan mendorong AI menuju era model besar; kedua, lebih lanjut memperkuat kemampuan konteks.
Transformer secara bertahap menjadi solusi dominan dalam NLP( setelah mengatasi banyak kekurangan, dengan perasaan bahwa "jika tidak ada Transformer yang lahir, NLP akan tetap dalam kegelapan selamanya". Bahkan Ilya pun meninggalkan RNN yang ia ciptakan, dan beralih ke Transformer.
Dengan kata lain, Transformer adalah nenek moyang dari semua model besar saat ini, yang mengubah model besar dari penelitian teoritis menjadi masalah rekayasa murni.
Pada tahun 2019, OpenAI mengembangkan GPT-2 berdasarkan Transformer, yang mengejutkan dunia akademis. Sebagai respons, Google dengan cepat meluncurkan model AI Meena yang lebih kuat.
Dibandingkan dengan GPT-2, Meena tidak memiliki inovasi algoritma dasar, hanya meningkatkan parameter pelatihan sebanyak 8,5 kali dan kekuatan komputasi sebanyak 14 kali. Penulis makalah Transformer, Shazeer, sangat terkejut dengan "penumpukan kekerasan" ini dan segera menulis memo berjudul "Meena Menghancurkan Dunia."
Setelah munculnya Transformer, kecepatan inovasi algoritma dasar di kalangan akademisi mengalami perlambatan yang signifikan. Elemen-elemen rekayasa seperti rekayasa data, skala komputasi, dan arsitektur model semakin menjadi kunci dalam kompetisi AI, dan perusahaan teknologi dengan kemampuan teknis yang sedikit dapat mengembangkan model besar secara mandiri.
Oleh karena itu, ilmuwan komputer Andrew Ng mengemukakan saat berpidato di Universitas Stanford: "AI adalah kumpulan alat, termasuk pembelajaran terawasi, pembelajaran tidak terawasi, pembelajaran penguatan, dan sekarang kecerdasan buatan generatif. Semua ini adalah teknologi umum, mirip dengan teknologi umum lainnya seperti listrik dan internet."
OpenAI memang masih menjadi patokan LLM, tetapi lembaga analisis semikonduktor berpendapat bahwa daya saing GPT-4 berasal dari solusi rekayasa - jika open source, pesaing mana pun dapat dengan cepat menyalinnya.
Analis tersebut memperkirakan bahwa perusahaan teknologi besar lainnya mungkin segera dapat membangun model besar yang setara dengan kinerja GPT-4.
Benteng yang Dibangun di Atas Kaca
Saat ini, "perang seratus model" tidak lagi sekadar kiasan, tetapi merupakan kenyataan objektif.
Laporan terkait menunjukkan, hingga Juli tahun ini, jumlah model besar di dalam negeri telah mencapai 130, melebihi 114 di Amerika Serikat, berhasil melakukan 'supercar' di jalan yang berbelok, berbagai mitos dan legenda hampir tidak cukup lagi untuk digunakan sebagai nama oleh perusahaan teknologi domestik.
Di luar Tiongkok dan Amerika, beberapa negara yang lebih kaya juga telah secara awal mewujudkan "satu negara satu model": selain Jepang dan Uni Emirat Arab, ada juga Bhashini yang dipimpin oleh pemerintah India, serta HyperClova X yang dikembangkan oleh perusahaan internet Korea.
Situasi di depan mata ini, seolah-olah kembali ke era penjelajahan internet yang dipenuhi gelembung dan kapital yang merajalela.
Seperti yang telah disebutkan sebelumnya, Transformer menjadikan model besar sebagai masalah rekayasa murni, selama ada orang dengan uang dan kartu grafis, sisanya diserahkan kepada parameter. Namun, meskipun ambang masuknya tidak tinggi, bukan berarti semua orang memiliki kesempatan untuk menjadi raksasa di era AI.
Contoh tipikal yang disebutkan di awal "Perang Hewan" adalah: meskipun Falcon mengungguli Llama dalam peringkat, sulit untuk mengatakan seberapa besar dampaknya terhadap Meta.
Seperti yang kita ketahui, perusahaan yang membuka sumber hasil penelitian mereka, tidak hanya untuk berbagi manfaat teknologi dengan masyarakat, tetapi juga berharap untuk menggerakkan kecerdasan kolektif. Seiring dengan semakin banyaknya profesor universitas, lembaga penelitian, dan usaha kecil dan menengah yang terus menggunakan dan memperbaiki Llama, Meta dapat menerapkan hasil ini ke dalam produk mereka.
Untuk model besar sumber terbuka, komunitas pengembang yang aktif adalah kekuatan pendorong utama.
Dan sejak mendirikan laboratorium AI pada tahun 2015, Meta telah menetapkan nada open-source; Zuckerberg yang memulai kariernya di media sosial, lebih memahami pentingnya "menjaga hubungan baik dengan publik".
Misalnya, pada bulan Oktober, Meta secara khusus menyelenggarakan acara "Insentif Kreator AI": pengembang yang menggunakan Llama 2 untuk menyelesaikan masalah sosial seperti pendidikan dan lingkungan, memiliki kesempatan untuk mendapatkan dana sebesar 500.000 dolar.
Saat ini, seri Llama dari Meta telah menjadi acuan untuk LLM sumber terbuka.
Hingga awal Oktober, ada 8 dari 10 besar peringkat LLM sumber terbuka yang dibangun berdasarkan Llama 2, semuanya menggunakan lisensi sumber terbuka. Hanya di platform tersebut, LLM yang menggunakan lisensi sumber terbuka Llama 2 telah melebihi 1500.
Tentu saja, meningkatkan kinerja seperti Falcon juga bukan hal yang tidak mungkin, tetapi saat ini sebagian besar LLM di pasar masih memiliki jarak yang jelas dibandingkan dengan GPT-4.
Misalnya, baru-baru ini, GPT-4 meraih skor 4,41 dan menduduki puncak daftar tes AgentBench. AgentBench diluncurkan oleh Universitas Tsinghua bersama dengan Universitas Negeri Ohio dan Universitas California, Berkeley, untuk mengevaluasi kemampuan penalaran dan pengambilan keputusan LLM dalam lingkungan generasi terbuka multidimensi. Konten tes mencakup tugas di 8 lingkungan berbeda seperti sistem operasi, basis data, grafik pengetahuan, dan pertempuran kartu.
Hasil tes menunjukkan, peringkat kedua Claude hanya mendapatkan 2,77 poin, selisihnya masih cukup besar. Adapun LLM sumber terbuka yang ramai dibicarakan, hasil tesnya sebagian besar berada di sekitar 1 poin, bahkan belum mencapai 1/4 dari GPT-4.
Perlu diketahui, GPT-4 diluncurkan pada bulan Maret tahun ini, ini adalah hasil setelah rekan-rekan di seluruh dunia mengejar selama lebih dari enam bulan. Penyebab perbedaan ini adalah tim ilmuwan OpenAI yang memiliki "kepadatan IQ" yang sangat tinggi dan pengalaman yang terakumulasi dari penelitian LLM jangka panjang, sehingga mereka dapat selalu unggul jauh.
Dengan kata lain, kemampuan inti dari model besar bukanlah parameter, melainkan pembangunan ekosistem ) sumber terbuka ( atau kemampuan inferensi murni ) tertutup (.
Seiring dengan semakin aktifnya komunitas sumber terbuka, kinerja masing-masing LLM mungkin akan menjadi serupa, karena semua orang menggunakan arsitektur model dan dataset yang mirip.
Masalah lain yang lebih jelas adalah: selain Midjourney, tampaknya tidak ada model besar lain yang dapat menghasilkan keuntungan.
Titik Pijakan Nilai
Pada bulan Agustus tahun ini, sebuah artikel berjudul "OpenAI mungkin akan bangkrut pada akhir 2024" menarik perhatian. Inti dari artikel tersebut dapat diringkas dalam satu kalimat: OpenAI membakar uang terlalu cepat.
Dalam teks tersebut disebutkan, sejak pengembangan ChatGPT, kerugian OpenAI telah cepat meluas, hanya pada tahun 2022 mengalami kerugian sekitar 540 juta dolar AS, hanya bisa menunggu pihak investor untuk membayar.
Judul artikel mungkin terdengar mengerikan, tetapi menggambarkan situasi banyak penyedia model besar: ketidakseimbangan serius antara biaya dan pendapatan.
Biaya yang terlalu tinggi menyebabkan saat ini hanya Nvidia yang dapat menghasilkan uang besar dari kecerdasan buatan, paling tidak ditambah Broadcom.
Menurut perkiraan perusahaan konsultan, Nvidia menjual lebih dari 300.000 unit H100 pada kuartal kedua tahun ini. Ini adalah chip AI yang sangat efisien untuk melatih AI, dan perusahaan teknologi serta lembaga penelitian di seluruh dunia sedang berebut untuk membelinya. 300.000 unit H100 jika ditumpuk bersama-sama, beratnya setara dengan 4,5 pesawat Boeing 747.
Kinerja Nvidia melonjak, dengan pendapatan tahunan meningkat 854%, yang mengejutkan Wall Street. Perlu dicatat bahwa saat ini harga jual H100 di pasar barang bekas telah melambung hingga 40-50 ribu dolar, padahal biaya materialnya hanya sekitar 3000 dolar.
Biaya komputasi yang tinggi telah menjadi hambatan bagi perkembangan industri dalam beberapa aspek. Sebuah lembaga pernah memperkirakan: perusahaan teknologi global diperkirakan akan menghabiskan 200 miliar dolar AS per tahun untuk pembangunan infrastruktur model besar; dibandingkan dengan itu, model besar hanya dapat menghasilkan pendapatan maksimal 75 miliar dolar AS per tahun, sehingga terdapat celah setidaknya 125 miliar dolar AS.
Selain itu, kecuali untuk beberapa kasus seperti Midjourney, sebagian besar perusahaan perangkat lunak belum menemukan model bisnis yang menguntungkan setelah mengeluarkan biaya besar. Terutama, kinerja dua pemimpin industri - Microsoft dan Adobe - tidak begitu memuaskan.
Alat penghasil kode AI GitHub Copilot yang dikembangkan oleh Microsoft dan OpenAI, meskipun menarik biaya 10 dolar per bulan, malah membuat Microsoft rugi 20 dolar per bulan karena biaya fasilitas, pengguna berat bahkan bisa membuat Microsoft rugi 80 dolar per bulan. Berdasarkan ini, diperkirakan bahwa Microsoft 365 Copilot yang dipatok seharga 30 dolar mungkin mengalami kerugian yang lebih besar.
Begitu juga, Adobe yang baru saja meluncurkan alat Firefly AI juga dengan cepat meluncurkan sistem poin pendukung, untuk mencegah pengguna dari penggunaan berlebihan yang dapat menyebabkan kerugian bagi perusahaan. Begitu pengguna melebihi alokasi poin bulanan, Adobe akan mengurangi kecepatan layanan.
Perlu diketahui bahwa Microsoft dan Adobe telah menjadi raksasa perangkat lunak dengan skenario bisnis yang jelas dan memiliki banyak pengguna berbayar. Sementara itu, model besar yang memiliki banyak parameter masih memiliki aplikasi terbesar dalam hal obrolan.
Tidak dapat disangkal, jika tidak ada OpenAI dan ChatGPT yang muncul, revolusi AI ini mungkin tidak akan terjadi sama sekali; tetapi saat ini, nilai yang dibawa oleh pelatihan model besar mungkin perlu dipertanyakan.
Selain itu, seiring dengan meningkatnya persaingan homogenitas dan semakin banyaknya model sumber terbuka, ruang lingkup keberadaan penyedia model besar mungkin akan semakin menyusut.
Kepopuleran iPhone 4 bukan karena prosesor A4 yang menggunakan proses 45nm, tetapi karena dapat memainkan Plants vs Zombies dan Angry Birds.