Штучний інтелект ударився об стелю: стартапи шукають способи подальшого масштабування

Майбутня модель ШІ від OpenAI покаже менший приріст продуктивності порівняно з попередниками. Про це пише The Information з посиланням на джерела.

За інформацією видання, Orion досягла рівня GPT-4 після проходження 20% навчання. Це свідчить про те, що зріст продуктивності GPT-5 в порівнянні з GPT-4 буде менший, ніж від GPT-3 до GPT-4

"Orion не кращий за свого попередника у вирішенні деяких завдань. Вона добре себе проявляє в роботі з мовними завданнями, але не перевершує попередні моделі у кодуванні", - розповіли працівники стартапу виданню.

Найбільш помітні покращення нейромережі зазвичай відбуваються на ранніх етапах навчання. У наступний період прогрес сповільнюється. Таким чином, залишок 80% часу малоймовірно дадуть суттєвий приріст продуктивності, зауважили джерела The Information.

Штучний інтелект зіткнувся з стелею

Не дуже оптимістичні результати OpenAI вказують на більш фундаментальну проблему, що стоїть перед всією галуззю: вичерпання високоякісних даних для навчання

У опублікованому в червні дослідженні ряду експертів стверджується, що ШІ-компанії використовують усі загальнодоступні текстові матеріали в період між 2026 і 2032 роками. Це стане критичною точкою для традиційних підходів до розвитку штучного інтелекту

«Наші результати показують, що поточні тенденції розвитку LLM не можуть бути підтримані лише за рахунок традиційного масштабування даних», — стверджують автори роботи

У дослідженні підкреслюється потреба у розробці альтернативних підходів до вдосконалення нейромереж, таких як генерація синтетичних даних або використання закритої інформації.

У The Information звернули увагу, що застосовувана сьогодні стратегія навчання LLM на загальнодоступних текстових даних з веб-сайтів, книг та інших джерел досягла точки зменшення видачі, оскільки «розробники вискільзнули з цього типу інформації все, що могли»

Рішення є

OpenAI та інші учасники радикально змінюють підходи до розробки ШІ

«На фоне замедления темпів поліпшення GPT, індустрія, здається, зміщує акцент з масштабування під час навчання на оптимізацію моделей після їх початкового навчання. Цей підхід може призвести до формування нових законів масштабування», — повідомляє The Information.

Для досягнення стану постійного поліпшення OpenAI розділяє розробку моделей на два різних напрямки:

• Серія О — спрямована на можливості міркувань. Такі моделі працюють з значно вищою інтенсивністю обчислень і призначені для вирішення складних завдань. Вимоги до обчислень значні: операційні витрати в шість разів вищі порівняно з поточними моделями. Однак розширені можливості міркувань виправдовують збільшення витрат для конкретних застосувань, що потребують аналітичної обробки;
• паралельно розвивається серія GPT, орієнтована на загальні завдання комунікації. Модель використовує більш широку базу знань.

Під час сесії AMA директор з продуктів OpenAI Кевін Вайль зазначив, що у майбутньому планується об'єднання обох розробок

Використання синтетичних даних небезпечно

Підхід до вирішення проблеми дефіциту даних шляхом їх штучного створення може становити ризик для якості інформації. Про це говориться в дослідженні ряду експертів з різних університетів Великобританії.

За їхніми словами, таке рішення у кінцевому підсумку може повністю відокремити ШІ від реальності і призвести до «колапсу моделі». Проблема полягає в використанні нейромережею неточних даних для формування навчального набору наступного покоління штучного інтелекту.

Для вирішення проблеми OpenAI розробляє механізми фільтрації для підтримки якості інформації, інтегруючи різні методи перевірки для відокремлення високоякісного контенту від потенційно проблемного

Оптимізація після навчання - ще один актуальний підхід. Дослідники розробляють методи підвищення продуктивності нейромережі після початкової фази налаштування, не обмежуючись лише розширенням набору інформації.

Раніше ЗМІ повідомили про плани OpenAI запустити наступну передову ШІ-модель під кодовою назвою Orion до грудня. Пізніше голова компанії Сем Альтман спростував цю інформацію.

Підходи інших компаній

Ряд учених, дослідників та інвесторів повідомили Reuters, що методи, що лежать в основі роботи недавно представленої ШІ-моделі o1, «можуть змінити гонку зброї» в галузі штучного інтелекту.

У вересні OpenAI представила велику мовну модель o1, навчену методом з підсиленням для виконання складних міркувань. Нейромережа вміє думати — вона здатна створити довгий внутрішній ланцюжок думок у процесі аналізу питання, заявила компанія.

Співзасновник ІШ-стартапів Safe Superintelligence (SSI) та OpenAI Ілля Суцкевер зауважив, що результати навчання з використанням великого обсягу немаркованих даних «досягли піку».

«2010 років були віком масштабування, а зараз ми знову повернулися до часів див і відкриттів. Усі шукають нове», — відзначив він

Суцкевер відмовився поділитися деталями роботи його нової компанії SSI, зазначивши лише саму наявність альтернативного підходу до розширення масштабів попереднього навчання.

Джерела Reuters зазначили, що дослідники з великих лабораторій штучного інтелекту стикаються з затримками та незадовільними результатами у спробі створити велику мовну модель, яка перевершувала б GPT-4 від OpenAI, що була випущена майже два роки тому.

Вони намагаються застосувати техніку покращення нейромереж під час так званої фази «виводу». Наприклад, замість надання однієї відповіді ШІ спочатку генерує кілька варіантів і вибирає найкращий

Нагадаємо, у жовтні ЗМІ повідомили про розробку OpenAI власного шматка штучного інтелекту.