AI tersandung langit-langit: startup mencari cara untuk skalabilitas lebih lanjut

Model AI masa depan dari OpenAI akan menunjukkan peningkatan kinerja yang lebih rendah dibanding pendahulunya. The Information melaporkan hal ini dengan mengutip sumber-sumber.

Menurut laporan tersebut, Orion mencapai tingkat GPT-4 setelah menyelesaikan 20% pelatihannya. Ini menunjukkan bahwa peningkatan kinerja GPT-5 dibandingkan dengan GPT-4 akan lebih kecil daripada dari GPT-3 ke GPT-4.

"Orion tidak lebih baik dari pendahulunya dalam menyelesaikan beberapa tugas. Ini berkinerja baik dalam menangani masalah bahasa, tetapi tidak melampaui model sebelumnya dalam pengkodean," kata karyawan startup kepada media

Peningkatan yang paling signifikan pada jaringan saraf biasanya terjadi pada tahap awal pelatihan. Kemajuan melambat selama periode berikutnya. Oleh karena itu, sisa 80% waktu kemungkinan tidak akan memberikan peningkatan kinerja yang signifikan, menurut sumber The Information.

AI menabrak langit-langit

Hasil OpenAI yang tidak terlalu optimis menunjukkan masalah yang lebih mendasar yang dihadapi seluruh industri: kehabisan data berkualitas tinggi untuk pelatihan.

Dalam penelitian yang diterbitkan pada bulan Juni, sejumlah ahli menyatakan bahwa perusahaan AI akan menggunakan semua materi teks yang tersedia antara tahun 2026 dan 2032. Ini akan menjadi titik kritis bagi pendekatan tradisional dalam pengembangan kecerdasan buatan.

"Hasil kami menunjukkan bahwa tren pengembangan LLM saat ini tidak dapat didukung hanya dengan akun skalabilitas data tradisional," kata para penulis karya tersebut.

Dalam penelitian ini ditekankan perlunya pengembangan pendekatan alternatif untuk meningkatkan jaringan saraf seperti penghasilan data sintetis atau penggunaan informasi tertutup

Di The Information, diperhatikan bahwa strategi pembelajaran LLM yang digunakan hari ini pada data teks publik dari situs web, buku, dan sumber lain telah mencapai titik pengembalian yang menurun, karena 'pengembang telah memeras semua informasi yang mereka bisa dari jenis data ini'.

Ada Solusi

OpenAI dan pemain lainnya secara drastis mengubah pendekatan dalam pengembangan AI

«Dalam menghadapi perlambatan dalam peningkatan GPT, industri sepertinya bergeser dari penskalaan saat pelatihan ke optimisasi model setelah pelatihan awal. Pendekatan ini dapat mengarah pada pembentukan hukum baru tentang penskalaan», — melaporkan The Information.

Untuk mencapai keadaan peningkatan berkelanjutan, OpenAI membagi pengembangan model ke dalam dua arah yang berbeda:

• Seri O difokuskan pada kemampuan penalaran. Model-model ini bekerja dengan intensitas komputasi yang jauh lebih tinggi dan ditujukan untuk menyelesaikan tugas-tugas kompleks. Persyaratan komputasi sangat besar: biaya operasional enam kali lipat lebih tinggi dibandingkan dengan model-model saat ini. Namun, kemampuan penalaran yang diperluas membenarkan peningkatan biaya untuk aplikasi tertentu yang membutuhkan pemrosesan analitis;
• Seri GPT yang dikembangkan secara paralel, ditujukan untuk tugas-tugas komunikasi umum. Model ini menggunakan basis pengetahuan yang lebih luas.

Selama sesi AMA, Direktur Produk OpenAI Kevin Waill menyatakan bahwa di masa depan, rencananya akan menggabungkan kedua pengembangan tersebut

Penggunaan data sintetis berbahaya

Pendekatan untuk mengatasi masalah kekurangan data melalui penciptaan data buatan dapat membawa risiko terhadap kualitas informasi. Hal ini disebutkan dalam penelitian sejumlah pakar dari berbagai universitas di Inggris.

Menurut pendapat mereka, keputusan tersebut pada akhirnya dapat sepenuhnya memisahkan KI dari realitas dan menyebabkan 'kolaps model'. Masalahnya terletak pada penggunaan data yang tidak dapat dipercaya oleh jaringan saraf untuk membentuk kumpulan data pelatihan generasi berikutnya dari kecerdasan buatan

Untuk menyelesaikan masalah, OpenAI mengembangkan mekanisme filter untuk menjaga kualitas informasi, mengintegrasikan berbagai metode pemeriksaan untuk memisahkan konten berkualitas tinggi dari yang berpotensi bermasalah.

Optimisasi setelah pembelajaran - pendekatan yang relevan lainnya. Para peneliti mengembangkan metode untuk meningkatkan kinerja jaringan saraf setelah fase awal penyetelan, tanpa hanya bergantung pada perluasan kumpulan informasi.

Sebelumnya media melaporkan rencana OpenAI untuk meluncurkan model AI terdepan berikutnya dengan kode nama Orion pada bulan Desember. Kemudian, CEO perusahaan, Sam Altman, membantah informasi tersebut.

Pendekatan Perusahaan Lain

Sejumlah ilmuwan, peneliti, dan investor telah memberi tahu Reuters bahwa metode yang mendasari model AI o1 yang baru diperkenalkan 'dapat mengubah perlombaan senjata' dalam bidang kecerdasan buatan.

Pada bulan September, OpenAI memperkenalkan model bahasa besar o1 yang dilatih dengan reinforcement learning untuk melakukan penalaran kompleks. Jaringan saraf ini dapat berpikir - ia mampu menciptakan rangkaian pikiran internal yang panjang dalam menganalisis pertanyaan, kata perusahaan.

Co-founder dari startup AI Safe Superintelligence (SSI) dan OpenAI, Ilya Sutskever, mencatat bahwa hasil pembelajaran menggunakan volume data yang tidak terlabel 'mencapai puncak'.

"2010 adalah abad penskalaan, dan sekarang kita kembali ke masa keajaiban dan penemuan. Semua orang mencari sesuatu yang baru," katanya

Sutkever menolak untuk berbagi rincian tentang bagaimana perusahaan barunya SSI bekerja, hanya mencatat keberadaan pendekatan alternatif untuk memperluas skala pembelajaran awal

Sumber Reuters mencatat bahwa peneliti dari laboratorium AI besar mengalami keterlambatan dan hasil yang tidak memuaskan dalam upaya menciptakan model bahasa yang lebih besar dari GPT-4 dari OpenAI, yang dirilis hampir dua tahun yang lalu.

Mereka berusaha menerapkan teknik perbaikan jaringan saraf selama apa yang disebut sebagai fase 'output'. Misalnya, daripada memberikan satu jawaban, AI pertama-tama menghasilkan beberapa pilihan dan memilih yang terbaik

Ingat, pada bulan Oktober media melaporkan bahwa OpenAI sedang mengembangkan chip AI sendiri.