La IA se está topando con un techo: las startups están buscando formas de escalar aún más

El futuro modelo de IA de OpenAI mostrará un menor aumento de rendimiento en comparación con sus predecesores. The Information informa de esto citando fuentes.

Según la información del medio, Orion alcanzó el nivel de GPT-4 después de completar el 20% del entrenamiento. Esto indica que el aumento en el rendimiento de GPT-5 en comparación con GPT-4 será menor que el de GPT-3 a GPT-4

"Orion is not better than its predecessor in solving some tasks. It performs well in language-related tasks, but it does not surpass previous models in coding," said the startup employees to the publication.

Las mejoras más notables en las redes neuronales suelen ocurrir en las primeras etapas del aprendizaje. El progreso se ralentiza en el período posterior. Por lo tanto, es poco probable que el 80% restante del tiempo proporcione un aumento significativo en el rendimiento, señalaron las fuentes de The Information.

El IA chocó contra el techo

Los resultados no demasiado optimistas de OpenAI señalan un problema más fundamental que enfrenta toda la industria: la escasez de datos de alta calidad para el aprendizaje.

En un estudio publicado en junio por un grupo de expertos, se afirma que las empresas de IA utilizarán todo el material de texto de acceso público entre 2026 y 2032. Esto marcará un punto crítico para los enfoques tradicionales en el desarrollo de la inteligencia artificial.

«Nuestros resultados muestran que las tendencias actuales de desarrollo de LLM no pueden ser sostenidas solo por la cuenta de escalado de datos tradicional», afirman los autores del estudio

En el estudio se destaca la necesidad de desarrollar enfoques alternativos para mejorar las redes neuronales, como la generación de datos sintéticos o el uso de información confidencial.

En The Information se señaló que la estrategia actual de entrenamiento de LLM en datos de texto públicos de sitios web, libros y otras fuentes ha alcanzado un punto de rendimientos decrecientes, ya que los desarrolladores han exprimido toda la información posible de este tipo de datos.

La solución existe

OpenAI y otros actores están cambiando radicalmente los enfoques para el desarrollo de la IA

"En el contexto de la desaceleración de la mejora de los ritmos GPT, la industria parece estar cambiando el énfasis del escalado durante el entrenamiento a la optimización de los modelos después de su entrenamiento inicial. Este enfoque puede conducir a la formación de nuevas leyes de escala", informa The Information.

Para lograr un estado de mejora continua, OpenAI divide el desarrollo de modelos en dos direcciones diferentes:

• La serie O se centra en las capacidades de razonamiento. Estos modelos trabajan con una intensidad de cálculo significativamente mayor y están diseñados para resolver problemas complejos. Los requisitos de cálculo son significativos: los gastos operativos son seis veces mayores en comparación con los modelos actuales. Sin embargo, las capacidades extendidas de razonamiento justifican el aumento de los costos para aplicaciones específicas que requieren procesamiento analítico;
• la serie GPT orientada a tareas generales de comunicación está desarrollándose simultáneamente. El modelo utiliza una base de conocimientos más amplia.

Durante la sesión de AMA, Kevin Whyle, director de productos de OpenAI, señaló que en el futuro se planea fusionar ambos desarrollos.

El uso de datos sintéticos es peligroso

El enfoque de abordar el problema de la escasez de datos a través de su creación artificial puede representar un riesgo para la calidad de la información, según un estudio de varios expertos de diferentes universidades del Reino Unido.

Según su opinión, esta decisión podría eventualmente separar por completo la IA de la realidad y llevar al 'colapso del modelo'. El problema radica en el uso de datos no confiables por parte de la red neuronal para formar el conjunto de entrenamiento de la próxima generación de inteligencia artificial.

Para resolver el problema, OpenAI está desarrollando mecanismos de filtrado para mantener la calidad de la información, integrando diferentes métodos de verificación para separar el contenido de alta calidad del potencialmente problemático.

La optimización después del entrenamiento es otro enfoque relevante. Los investigadores están desarrollando métodos para mejorar el rendimiento de la red neuronal después de la fase inicial de ajuste, sin depender únicamente de la expansión del conjunto de datos.

Anteriormente, los medios de comunicación informaron sobre los planes de OpenAI de lanzar el próximo modelo de IA líder con el nombre en clave Orion para diciembre. Más tarde, el CEO de la empresa, Sam Altman, negó esta información

Enfoques de otras empresas

Varios científicos, investigadores e inversores informaron a Reuters que los métodos subyacentes al recientemente presentado modelo de IA o1 "podrían cambiar la carrera armamentista" en el campo de la inteligencia artificial

En septiembre, OpenAI presentó o1, un gran modelo de lenguaje entrenado con refuerzo para realizar razonamientos complejos. La red neuronal puede pensar, ya que es capaz de crear una larga cadena interna de pensamientos al analizar una pregunta, según afirmó la compañía.

Ilya Sutskever, co-founder of Safe Superintelligence (SSI) and OpenAI AI startups, noted that the results of training using a large amount of unmarked data have 'peaked'.

«La década de 2010 fue una época de escala, y ahora estamos volviendo a tiempos de maravillas y descubrimientos. Todos están buscando algo nuevo», señaló.

Sutkever se negó a compartir detalles sobre el trabajo de su nueva empresa SSI, simplemente señalando la existencia de un enfoque alternativo para expandir la escala del aprendizaje previo.

Según fuentes de Reuters, los investigadores de los principales laboratorios de IA se enfrentan a retrasos y resultados insatisfactorios en su intento de crear un modelo de lenguaje más grande que el GPT-4 de OpenAI, lanzado hace casi dos años.

Intentan aplicar la técnica de mejora de redes neuronales durante la llamada fase de 'output'. Por ejemplo, en lugar de proporcionar una única respuesta, la IA genera primero varias opciones y elige la mejor.

Recordemos que en octubre, los medios informaron sobre el trabajo de OpenAI en su propio chip de inteligencia artificial.