Yapay zeka tavana çarptı: start-up'lar ölçeklendirme yolları arıyor

##Yapay zeka tavana çarptı: start-up'lar büyümeyi sürdürmenin yollarını arıyor

OpenAI'nin gelecekteki AI modeli, önceki modellere kıyasla daha az performans artışı gösterecek. Bu, The Information tarafından kaynaklara dayanılarak bildiriliyor.

Yayınlara göre, ORION, %20 eğitimin tamamlanmasından sonra GPT-4 seviyesine ulaştı. Bu, GPT-5'in GPT-4'e göre performans artışının GPT-3'ten GPT-4'e olan artıştan daha az olacağını gösteriyor.

"Orion, bazı sorunların çözümünde önceki modele kıyasla daha iyi değil. Dil sorunlarıyla çalışmada iyi performans sergiliyor, ancak kodlama konusunda önceki modelleri aşamıyor", start-up çalışanları yayına aktardı.

En dikkate değer geliştirmeler genellikle yapay sinir ağı eğitiminin erken aşamalarında meydana gelir. Sonraki dönemde ilerleme yavaşlar. Bu nedenle, bilgilere göre, kalan %80 zaman önemli bir performans artışı sağlamayacaktır.

###Yapay zeka tavana çarptı

OpenAI'nin pek de iyimser olmayan sonuçları, eğitim için yüksek kaliteli verilerin tükenmesi gibi daha temel bir sorunun tüm sektörün karşısında durduğunu göstermektedir.

Haziran ayında yayınlanan bir araştırmada, AI şirketlerinin 2026 ile 2032 yılları arasındaki dönemde tüm genel metin materyallerini kullandığı belirtiliyor. Bu, yapay zeka geliştirme için geleneksel yaklaşımlar için kritik bir nokta haline gelecek.

"Sonuçlarımız, LLM'nin mevcut gelişme eğilimlerinin sadece geleneksel veri ölçeklendirme hesap hesabıyla desteklenemeyeceğini gösteriyor" diyor çalışmaların yazarları.

Araştırmada, sentetik veri oluşturma veya kapalı bilgi kullanımı gibi sinir ağlarının geliştirilmesi için alternatif yaklaşımların gerekli olduğu vurgulanmaktadır.

The Information, bugün LLM eğitim stratejisinin genel metin verileri, web siteleri, kitaplar ve diğer kaynaklardan elde edilen verilerle uygulandığına dikkat çekti ve bu stratejinin azalan getiri noktasına ulaştığını belirtti, çünkü "geliştiriciler bu tür bilgilerden elde edilebilecek her şeyi çıkardılar".

###Çözüm var

OpenAI ve diğer oyuncular yapay zeka geliştirme yaklaşımlarını temelinden değiştiriyor.

"GPT'nin gelişim hızının yavaşlamasıyla birlikte, endüstri, eğitim sırasında ölçeklendirmeyi optimize etmeye odaklanarak modellerin başlangıç eğitiminden sonra optimize edilmesine doğru bir yönelim sergiliyor gibi görünüyor. Bu yaklaşım, yeni ölçekleme yasalarının oluşmasına yol açabilir," The Information bildiriyor.

Sürekli iyileşme durumuna ulaşmak için OpenAI, model geliştirmeyi iki farklı yöne ayırır:

• Seri O, düşünme yeteneklerine odaklanmıştır. Bu modeller, önemli ölçüde daha yüksek hesaplama yoğunluğu ile çalışır ve karmaşık görevleri çözmek için tasarlanmıştır. Hesaplama gereksinimleri önemlidir: işletme giderleri mevcut modellere göre altı kat daha yüksektir. Ancak genişletilmiş düşünme yetenekleri, analitik işleme ihtiyaç duyan belirli uygulamalar için harcamaların artmasını haklı çıkarır.
• GPT serisi, iletişim genel görevlere odaklanan bir dizi paralel olarak gelişiyor. Model daha geniş bir bilgi tabanı kullanıyor.

OpenAI ürün müdürü Kevin Wail, AMA oturumu sırasında, gelecekte her iki geliştirmenin birleştirilmesinin planlandığını belirtti.

###Sentetik verilerin kullanımı tehlikelidir

Veri eksikliği sorununu yapay olarak oluşturarak çözme yaklaşımı, bilgi kalitesi için risk oluşturabilir. Bu, İngiltere'deki çeşitli üniversitelerden uzmanların araştırmasında belirtilmektedir.

Onlara göre, bu karar sonunda AI'ı gerçeklikten tamamen ayırabilir ve 'modelin çökmesine' yol açabilir. Sorun, yapay zeka'nın gelecek nesil eğitim setini oluşturmak için yanıltıcı verilerle yapılmasıdır.

OpenAI, sorunu çözmek için yüksek kaliteli içeriği potansiyel olarak sorunlu içerikten ayırmak için farklı doğrulama yöntemlerini entegre ederek bilgi kalitesini sağlamak için filtreleme mekanizmaları geliştiriyor.

Eğitim sonrası optimizasyon, başka bir önemli yaklaşımdır. Araştırmacılar, yalnızca bilgi setinin genişlemesine dayanmaksızın, sinir ağı performansını arttırma yöntemleri geliştiriyorlar, başlangıç ayarlarından sonra.

Daha önce basında, OpenAI'nin Kod adı Orion olan bir sonraki ileri AI modelini Aralık ayında piyasaya sürme planları olduğu bildirildi. Şirketin CEO'su Sam Altman daha sonra bu bilgiyi yalanladı.

###Diğer Şirket Yaklaşımları

Bir dizi bilim insanı, araştırmacı ve yatırımcı Reuters'e verdiği demeçte, yakın zamanda açıklanan o1 AI modelinin arkasındaki yöntemlerin yapay zekada "silahlanma yarışını değiştirebileceğini" söyledi

Eylül ayında OpenAI, karmaşık düşünce süreçlerini gerçekleştirmek için güçlendirme öğrenimi yöntemiyle eğitilen büyük bir dil modeli olan o1'i tanıttı. Şirket, yapay sinir ağı düşünebilme yeteneğine sahip olduğunu iddia etti ve soruyu analiz ederken uzun bir içsel düşünce zinciri oluşturabilir.

Safe Superintelligence (SSI) ve OpenAI'nin AI startuplarının ortak kurucusu Ilya Sutskever, büyük miktarda etiketlenmemiş veri kullanarak eğitim sonuçlarının 'zirveye ulaştığını' belirtti.

2010'lu yıllar ölçeklendirme çağıydı ve şimdi tekrar mucizeler ve keşiflerin zamanına döndük. Herkes yeni bir şey arıyor,

Sutkever, yeni SSI şirketinin çalışmaları hakkında ayrıntı vermek istemedi, sadece ön eğitimin genişletilmesine alternatif bir yaklaşım olduğunu belirtti.

Reuters kaynakları, büyük yapay zeka laboratuvarlarından araştırmacıların, neredeyse iki yıl önce piyasaya sürülen OpenAI'in GPT-4'ünü aşan büyük bir dil modeli oluşturma çabalarında gecikmelerle ve tatmin edici olmayan sonuçlarla karşılaştıklarını belirtti.

Onlar, 'çıkış' aşamasında sinir ağı iyileştirme tekniklerini uygulamaya çalışıyorlar. Örneğin, tek bir AI yanıtı sağlamak yerine, önce birkaç seçenek üretir ve en iyisini seçer.

Hatırlatmak isteriz ki, Ekim ayında medya, OpenAI'nin kendi AI yongası üzerinde çalıştığını bildirdi.