La "bataille des cent modèles" dans le domaine de l'IA : problème d'ingénierie ou défi scientifique ?
Le mois dernier, l'industrie de l'IA a déclenché une "guerre des animaux".
D'un côté, il y a le modèle Llama lancé par Meta, qui est très apprécié des développeurs en raison de sa nature open source. Après avoir étudié le document de recherche et le code source de Llama, une entreprise japonaise a rapidement développé une version japonaise de ChatGPT, résolvant ainsi le problème de la bottleneck de l'IA au Japon.
L'autre partie est un grand modèle nommé Falcon. En mai de cette année, le Falcon-40B a été lancé, surpassant Llama pour atteindre la première place du classement des LLM open source. Ce classement est réalisé par la communauté des modèles open source et fournit des critères pour évaluer les capacités des LLM. En gros, le classement est essentiellement occupé alternativement par Llama et Falcon.
Après la sortie de Llama 2, la série Llama est temporairement en tête ; mais début septembre, Falcon a lancé la version 180B, obtenant à nouveau un meilleur classement.
Ce qui est intéressant, c'est que les développeurs de Falcon viennent de l'Institut de recherche sur l'innovation technologique d'Abou Dhabi, la capitale des Émirats arabes unis. Le gouvernement des Émirats arabes unis a déclaré : "Nous participons à ce domaine pour perturber les acteurs clés".
Le lendemain de la sortie du Falcon 180B, le ministre des Technologies de l'information des Émirats Arabes Unis a été sélectionné parmi les "100 personnes les plus influentes dans le domaine de l'IA" par le magazine Time ; il a été rejoint par des personnalités telles que Geoffrey Hinton, le "parrain de l'IA", et Sam Altman d'OpenAI.
Aujourd'hui, le domaine de l'IA est entré dans une phase de concurrence intense : tous les pays et entreprises disposant d'une certaine capacité financière s'efforcent de créer leur propre modèle de langage de grande taille. Dans le cercle des pays du Golfe, il n'y a pas qu'un seul participant - en août, l'Arabie saoudite vient d'acheter plus de 3000 puces H100 pour entraîner des LLM dans ses universités.
Un investisseur a déjà critiqué : "À l'époque, je méprisais l'innovation des modèles commerciaux d'Internet, pensant qu'il n'y avait pas de barrières : bataille des centaines de groupes, bataille des centaines de voitures, bataille des centaines de diffusions ; je ne m'attendais pas à ce que l'entrepreneuriat en hard tech et modèles de grande taille soit toujours une bataille des centaines de modèles..."
Comment une technologie difficile devrait-elle devenir une situation où chaque pays a le même modèle et produit dix mille jin par mu ?
Transformer dévore le monde
Les startups américaines, les géants technologiques chinois et les magnats du pétrole du Moyen-Orient peuvent tous poursuivre de grands modèles grâce à ce célèbre article : "Attention Is All You Need".
En 2017, huit scientifiques en informatique de Google ont rendu public l'algorithme Transformer dans cet article. C'est le troisième article le plus cité de l'histoire de l'intelligence artificielle, et l'apparition de Transformer a déclenché cette vague actuelle d'IA.
Actuellement, tous les grands modèles, y compris la série GPT qui a fait sensation dans le monde entier, sont basés sur la technologie Transformer.
Auparavant, "enseigner aux machines à lire" était un défi académique reconnu. Contrairement à la reconnaissance d'images, lorsque les humains lisent, ils ne se concentrent pas seulement sur les mots et les phrases actuels, mais comprennent également en tenant compte du contexte.
Les entrées des premiers réseaux de neurones étaient indépendantes les unes des autres, incapables de comprendre des textes longs ou même des articles entiers, ce qui entraînait des problèmes tels que la traduction de "开水间" en "open water room".
En 2014, le scientifique en informatique Ilya, qui avait quitté Google pour OpenAI, a réalisé une percée. Il a utilisé des réseaux de neurones récurrents (RNN) pour traiter le langage naturel, permettant à Google Traduction de rapidement surpasser ses concurrents.
Le RNN propose un "design cyclique", permettant à chaque neurone de recevoir simultanément l'entrée actuelle et l'entrée du moment précédent, conférant au réseau de neurones la capacité de "combiner le contexte".
L'émergence des RNN a suscité un vif intérêt dans le milieu académique, et plus tard, l'auteur du papier Transformer, Ashish Vaswani, a également approfondi ce sujet. Cependant, les développeurs ont rapidement découvert que les RNN présentent des défauts majeurs :
L'algorithme utilise un calcul séquentiel. Bien qu'il résolve le problème du contexte, son efficacité d'exécution n'est pas élevée et il est difficile de traiter un grand nombre de paramètres.
La conception compliquée des RNN a rapidement ennuyé Szahazel. Ainsi, à partir de 2015, Szahazel et sept autres personnes partageant les mêmes idées se sont attelés au développement d'alternatives aux RNN, dont le résultat final est le Transformer.
Comparé aux RNN, le Transformer a deux grandes révolutions :
Premièrement, remplacer la conception cyclique des RNN par l'encodage de position pour réaliser des calculs parallèles - cela a considérablement amélioré l'efficacité d'entraînement des Transformers, leur permettant de traiter des volumes massifs de données, propulsant l'IA vers l'ère des grands modèles ; deuxièmement, renforcer davantage la capacité contextuelle.
Après avoir résolu de nombreux défauts, le Transformer est progressivement devenu la solution dominante pour le traitement du langage naturel (NLP)(, donnant l'impression que "sans le Transformer, le NLP serait plongé dans une nuit éternelle". Même Ilia a abandonné son propre RNN pour adopter le Transformer.
En d'autres termes, le Transformer est l'ancêtre de tous les grands modèles d'aujourd'hui, il a transformé les grands modèles d'une recherche théorique en un problème purement technique.
En 2019, OpenAI a développé GPT-2 basé sur le Transformer, qui a étonné le monde académique. En réponse, Google a rapidement lancé un modèle d'IA plus performant, Meena.
Comparé à GPT-2, Meena n'apporte aucune innovation algorithme sous-jacente, il a simplement augmenté le nombre de paramètres de 8,5 fois et la puissance de calcul de 14 fois. L'auteur du papier sur les Transformateurs, Jay Alammar, a été très choqué par ce type de "pile violente" et a immédiatement écrit un mémorandum intitulé "Meena dévore le monde".
Depuis l'avènement des Transformers, la vitesse d'innovation des algorithmes fondamentaux dans le milieu académique a considérablement ralenti. Les éléments d'ingénierie tels que l'ingénierie des données, l'échelle de calcul et l'architecture des modèles sont devenus des éléments clés de la compétition en IA, permettant à toute entreprise technologique ayant un minimum de capacités techniques de développer ses propres grands modèles.
Ainsi, le scientifique en informatique Andrew Ng a déclaré lors d'une conférence à l'Université de Stanford : "L'IA est un ensemble d'outils, y compris l'apprentissage supervisé, l'apprentissage non supervisé, l'apprentissage par renforcement et maintenant l'intelligence artificielle générative. Ce sont toutes des technologies générales, similaires à l'électricité et à Internet, qui sont également des technologies générales."
OpenAI est sans aucun doute une référence dans le domaine des LLM, mais les institutions d'analyse des semi-conducteurs estiment que la compétitivité de GPT-4 provient de solutions techniques - si le code source était ouvert, n'importe quel concurrent pourrait rapidement le reproduire.
Cet analyste prévoit que d'autres grandes entreprises technologiques pourraient bientôt être en mesure de créer de grands modèles capables de rivaliser avec les performances de GPT-4.
Une douve construite sur du verre
Aujourd'hui, la "bataille des cent modèles" n'est plus une métaphore, mais une réalité objective.
Des rapports pertinents indiquent qu'à la fin de juillet de cette année, le nombre de grands modèles en Chine a atteint 130, dépassant les 114 des États-Unis, réussissant ainsi à prendre de l'avance. Les diverses légendes mythologiques ne suffisent plus aux entreprises technologiques nationales pour se nommer.
En dehors de la Chine et des États-Unis, certains pays relativement riches ont également réalisé de manière préliminaire le "un pays, un modèle" : en plus du Japon et des Émirats, il y a aussi Bhashini dirigé par le gouvernement indien, et HyperClova X développé par une entreprise Internet sud-coréenne.
La situation actuelle semble nous ramener à l'époque où les bulles étaient omniprésentes et où le capital régnait dans l'ère de l'exploration d'Internet.
Comme mentionné précédemment, le Transformer transforme les grands modèles en un simple problème d'ingénierie : tant que quelqu'un a de l'argent et des cartes graphiques, le reste est entre les mains des paramètres. Cependant, bien que le seuil d'entrée ne soit pas élevé, cela ne signifie pas que tout le monde a la chance de devenir un géant à l'ère de l'IA.
Le "Animal Battle" mentionné au début est un exemple typique : bien que Falcon soit classé au-dessus de Llama, il est difficile de dire quel impact cela a eu sur Meta.
Comme tout le monde le sait, les entreprises ouvrent leurs résultats de recherche au public, non seulement pour partager les dividendes technologiques avec la société, mais aussi pour mobiliser l'intelligence collective. Avec l'utilisation et l'amélioration continues de Llama par des professeurs d'universités, des instituts de recherche et des petites et moyennes entreprises, Meta peut appliquer ces résultats à ses propres produits.
Pour les grands modèles open source, une communauté de développeurs active est le véritable atout concurrentiel.
Et dès la création du laboratoire d'IA en 2015, Meta a établi un ton open source ; Zuckerberg, qui a fait ses débuts avec les médias sociaux, comprend mieux l'importance de "bien entretenir les relations avec le public".
Par exemple, en octobre, Meta a organisé l'événement "Incitation aux créateurs d'IA" : les développeurs utilisant Llama 2 pour résoudre des problèmes sociaux tels que l'éducation et l'environnement ont la possibilité de recevoir un financement de 500 000 dollars.
Aujourd'hui, la série Llama de Meta est devenue un baromètre des LLM open source.
À début octobre, parmi le Top 10 des classements de LLM open source, 8 sont basés sur Llama 2, utilisant tous son protocole open source. Rien que sur cette plateforme, plus de 1500 LLM utilisent le protocole open source Llama 2.
Bien sûr, améliorer les performances comme Falcon n'est pas une mauvaise idée, mais la plupart des LLM sur le marché ont encore un écart évident par rapport à GPT-4.
Par exemple, tout récemment, GPT-4 a atteint la première place du classement AgentBench avec un score de 4,41. AgentBench a été lancé conjointement par l'Université Tsinghua, l'Université d'État de l'Ohio et l'Université de Californie à Berkeley, et vise à évaluer la capacité de raisonnement et de prise de décision des LLM dans des environnements génératifs ouverts multidimensionnels. Les contenus des tests couvrent des tâches dans 8 environnements différents, y compris les systèmes d'exploitation, les bases de données, les graphes de connaissances et les jeux de cartes.
Les résultats des tests montrent que le deuxième, Claude, n'a obtenu que 2,77 points, ce qui représente encore un écart considérable. Quant à ces LLM open source à grand succès, leurs résultats de test se situent souvent autour de 1 point, soit moins d'un quart de celui de GPT-4.
Il faut savoir que GPT-4 a été publié en mars de cette année, ce qui est le résultat d'un retard de plus de six mois par rapport aux concurrents mondiaux. Cette différence est due à l'équipe scientifique d'OpenAI, qui a une "densité de QI" extrêmement élevée, ainsi qu'à l'expérience accumulée grâce à des années de recherche sur les LLM, ce qui leur permet de rester toujours en tête.
Cela signifie que la capacité centrale des grands modèles n'est pas les paramètres, mais la construction de l'écosystème ) open source ( ou la capacité de raisonnement pure ) closed source (.
Avec l'essor de la communauté open source, les performances des LLM pourraient converger, car tout le monde utilise des architectures de modèles et des ensembles de données similaires.
Un autre problème plus intuitif est que, à part Midjourney, il ne semble pas qu'un autre grand modèle puisse être rentable.
Point d'ancrage de la valeur
En août de cette année, un article intitulé "OpenAI pourrait faire faillite fin 2024" a suscité l'attention. Le sujet de l'article peut presque être résumée en une phrase : OpenAI brûle trop vite d'argent.
L'article mentionne qu depuis le développement de ChatGPT, les pertes d'OpenAI se sont rapidement aggravées, avec une perte d'environ 540 millions de dollars en 2022, ne pouvant que attendre que les investisseurs paient.
Bien que le titre de l'article soit accrocheur, il révèle la réalité de nombreux fournisseurs de grands modèles : un déséquilibre grave entre les coûts et les revenus.
Des coûts trop élevés signifient qu'actuellement, seules Nvidia et, au mieux, Broadcom gagnent beaucoup d'argent grâce à l'intelligence artificielle.
Selon les estimations d'une société de conseil, Nvidia a vendu plus de 300 000 unités de H100 au deuxième trimestre de cette année. Il s'agit d'une puce AI, très efficace pour l'entraînement de l'IA, et elle est en forte demande auprès des entreprises technologiques et des instituts de recherche du monde entier. Ces 300 000 H100 empilées ensemble pèsent l'équivalent de 4,5 avions Boeing 747.
Les performances d'NVIDIA ont alors explosé, avec des revenus en hausse de 854 % par rapport à l'année précédente, ce qui a choqué Wall Street. Il convient de mentionner que le prix de l'H100 sur le marché de l'occasion a déjà grimpé à 40 000 - 50 000 dollars, alors que son coût matériel n'est d'environ que 3 000 dollars.
Le coût élevé de la puissance de calcul est devenu, dans une certaine mesure, un frein au développement de l'industrie. Un capital a une fois évalué : les entreprises technologiques du monde entier devraient dépenser chaque année 200 milliards de dollars pour la construction d'infrastructures de grands modèles ; en comparaison, les grands modèles ne pourraient générer au maximum que 75 milliards de dollars de revenus par an, ce qui laisse un écart d'au moins 125 milliards de dollars.
De plus, à l'exception de quelques cas comme Midjourney, la plupart des entreprises de logiciels n'ont pas encore trouvé de modèle de rentabilité après avoir investi des coûts énormes. En particulier, les performances des deux grands leaders du secteur - Microsoft et Adobe - ne sont pas à la hauteur des attentes.
L'outil de génération de code AI GitHub Copilot, développé en collaboration entre Microsoft et OpenAI, coûte 10 dollars par mois, mais en raison des coûts d'infrastructure, Microsoft perd en fait 20 dollars par mois. Les utilisateurs intensifs peuvent même faire perdre à Microsoft jusqu'à 80 dollars par mois. Par conséquent, on peut supposer que le Microsoft 365 Copilot, qui est tarifé à 30 dollars, pourrait entraîner des pertes encore plus importantes.
De même, Adobe, qui vient de lancer l'outil Firefly AI, a rapidement mis en place un système de points associé pour éviter que les utilisateurs n'en abusent et ne causent des pertes à l'entreprise. Si un utilisateur dépasse le quota de points attribués chaque mois, Adobe réduira la vitesse de service.
Il faut savoir que Microsoft et Adobe sont déjà des géants du logiciel avec des scénarios d'affaires clairs et un grand nombre d'utilisateurs payants. Cependant, pour la plupart des modèles dont les paramètres s'accumulent comme des montagnes, le principal domaine d'application reste le chat.
Il est indéniable que sans l'émergence d'OpenAI et de ChatGPT, cette révolution de l'IA ne se serait probablement jamais produite ; mais à l'heure actuelle, la valeur apportée par l'entraînement de grands modèles mérite sans doute un point d'interrogation.
De plus, avec l'intensification de la concurrence par homogénéisation et l'augmentation des modèles open source, l'espace de survie des fournisseurs de grands modèles pourrait se réduire davantage.
Le succès fulgurant de l'iPhone 4 n'est pas dû à son processeur A4 en 45 nm, mais à sa capacité à faire tourner Plants vs. Zombies et Angry Birds.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
10 J'aime
Récompense
10
7
Partager
Commentaire
0/400
StableGeniusDegen
· 07-26 11:35
Eh bien, plusieurs grands modèles s'affrontent assez vivement.
Voir l'originalRépondre0
consensus_whisperer
· 07-26 01:46
C'est comme jouer avec le classement.
Voir l'originalRépondre0
FallingLeaf
· 07-25 11:47
On ne sait pas encore qui va gagner.
Voir l'originalRépondre0
OnChain_Detective
· 07-23 15:02
l'analyse des motifs montre la compétition llama contre falcon présente des risques de sécurité classiques... restez vigilants fam
Voir l'originalRépondre0
SnapshotStriker
· 07-23 14:59
Jouons ensemble en lane.
Voir l'originalRépondre0
PrivateKeyParanoia
· 07-23 14:57
Qui est le boss dans le zoo ?
Voir l'originalRépondre0
LightningPacketLoss
· 07-23 14:43
Tu joues avec ton grand modèle, je joue avec mes paquets.
La bataille des cent modèles dans le contexte de l'engouement pour les grands modèles d'IA : problème d'ingénierie ou défi scientifique
La "bataille des cent modèles" dans le domaine de l'IA : problème d'ingénierie ou défi scientifique ?
Le mois dernier, l'industrie de l'IA a déclenché une "guerre des animaux".
D'un côté, il y a le modèle Llama lancé par Meta, qui est très apprécié des développeurs en raison de sa nature open source. Après avoir étudié le document de recherche et le code source de Llama, une entreprise japonaise a rapidement développé une version japonaise de ChatGPT, résolvant ainsi le problème de la bottleneck de l'IA au Japon.
L'autre partie est un grand modèle nommé Falcon. En mai de cette année, le Falcon-40B a été lancé, surpassant Llama pour atteindre la première place du classement des LLM open source. Ce classement est réalisé par la communauté des modèles open source et fournit des critères pour évaluer les capacités des LLM. En gros, le classement est essentiellement occupé alternativement par Llama et Falcon.
Après la sortie de Llama 2, la série Llama est temporairement en tête ; mais début septembre, Falcon a lancé la version 180B, obtenant à nouveau un meilleur classement.
Ce qui est intéressant, c'est que les développeurs de Falcon viennent de l'Institut de recherche sur l'innovation technologique d'Abou Dhabi, la capitale des Émirats arabes unis. Le gouvernement des Émirats arabes unis a déclaré : "Nous participons à ce domaine pour perturber les acteurs clés".
Le lendemain de la sortie du Falcon 180B, le ministre des Technologies de l'information des Émirats Arabes Unis a été sélectionné parmi les "100 personnes les plus influentes dans le domaine de l'IA" par le magazine Time ; il a été rejoint par des personnalités telles que Geoffrey Hinton, le "parrain de l'IA", et Sam Altman d'OpenAI.
Aujourd'hui, le domaine de l'IA est entré dans une phase de concurrence intense : tous les pays et entreprises disposant d'une certaine capacité financière s'efforcent de créer leur propre modèle de langage de grande taille. Dans le cercle des pays du Golfe, il n'y a pas qu'un seul participant - en août, l'Arabie saoudite vient d'acheter plus de 3000 puces H100 pour entraîner des LLM dans ses universités.
Un investisseur a déjà critiqué : "À l'époque, je méprisais l'innovation des modèles commerciaux d'Internet, pensant qu'il n'y avait pas de barrières : bataille des centaines de groupes, bataille des centaines de voitures, bataille des centaines de diffusions ; je ne m'attendais pas à ce que l'entrepreneuriat en hard tech et modèles de grande taille soit toujours une bataille des centaines de modèles..."
Comment une technologie difficile devrait-elle devenir une situation où chaque pays a le même modèle et produit dix mille jin par mu ?
Transformer dévore le monde
Les startups américaines, les géants technologiques chinois et les magnats du pétrole du Moyen-Orient peuvent tous poursuivre de grands modèles grâce à ce célèbre article : "Attention Is All You Need".
En 2017, huit scientifiques en informatique de Google ont rendu public l'algorithme Transformer dans cet article. C'est le troisième article le plus cité de l'histoire de l'intelligence artificielle, et l'apparition de Transformer a déclenché cette vague actuelle d'IA.
Actuellement, tous les grands modèles, y compris la série GPT qui a fait sensation dans le monde entier, sont basés sur la technologie Transformer.
Auparavant, "enseigner aux machines à lire" était un défi académique reconnu. Contrairement à la reconnaissance d'images, lorsque les humains lisent, ils ne se concentrent pas seulement sur les mots et les phrases actuels, mais comprennent également en tenant compte du contexte.
Les entrées des premiers réseaux de neurones étaient indépendantes les unes des autres, incapables de comprendre des textes longs ou même des articles entiers, ce qui entraînait des problèmes tels que la traduction de "开水间" en "open water room".
En 2014, le scientifique en informatique Ilya, qui avait quitté Google pour OpenAI, a réalisé une percée. Il a utilisé des réseaux de neurones récurrents (RNN) pour traiter le langage naturel, permettant à Google Traduction de rapidement surpasser ses concurrents.
Le RNN propose un "design cyclique", permettant à chaque neurone de recevoir simultanément l'entrée actuelle et l'entrée du moment précédent, conférant au réseau de neurones la capacité de "combiner le contexte".
L'émergence des RNN a suscité un vif intérêt dans le milieu académique, et plus tard, l'auteur du papier Transformer, Ashish Vaswani, a également approfondi ce sujet. Cependant, les développeurs ont rapidement découvert que les RNN présentent des défauts majeurs :
L'algorithme utilise un calcul séquentiel. Bien qu'il résolve le problème du contexte, son efficacité d'exécution n'est pas élevée et il est difficile de traiter un grand nombre de paramètres.
La conception compliquée des RNN a rapidement ennuyé Szahazel. Ainsi, à partir de 2015, Szahazel et sept autres personnes partageant les mêmes idées se sont attelés au développement d'alternatives aux RNN, dont le résultat final est le Transformer.
Comparé aux RNN, le Transformer a deux grandes révolutions :
Premièrement, remplacer la conception cyclique des RNN par l'encodage de position pour réaliser des calculs parallèles - cela a considérablement amélioré l'efficacité d'entraînement des Transformers, leur permettant de traiter des volumes massifs de données, propulsant l'IA vers l'ère des grands modèles ; deuxièmement, renforcer davantage la capacité contextuelle.
Après avoir résolu de nombreux défauts, le Transformer est progressivement devenu la solution dominante pour le traitement du langage naturel (NLP)(, donnant l'impression que "sans le Transformer, le NLP serait plongé dans une nuit éternelle". Même Ilia a abandonné son propre RNN pour adopter le Transformer.
En d'autres termes, le Transformer est l'ancêtre de tous les grands modèles d'aujourd'hui, il a transformé les grands modèles d'une recherche théorique en un problème purement technique.
En 2019, OpenAI a développé GPT-2 basé sur le Transformer, qui a étonné le monde académique. En réponse, Google a rapidement lancé un modèle d'IA plus performant, Meena.
Comparé à GPT-2, Meena n'apporte aucune innovation algorithme sous-jacente, il a simplement augmenté le nombre de paramètres de 8,5 fois et la puissance de calcul de 14 fois. L'auteur du papier sur les Transformateurs, Jay Alammar, a été très choqué par ce type de "pile violente" et a immédiatement écrit un mémorandum intitulé "Meena dévore le monde".
Depuis l'avènement des Transformers, la vitesse d'innovation des algorithmes fondamentaux dans le milieu académique a considérablement ralenti. Les éléments d'ingénierie tels que l'ingénierie des données, l'échelle de calcul et l'architecture des modèles sont devenus des éléments clés de la compétition en IA, permettant à toute entreprise technologique ayant un minimum de capacités techniques de développer ses propres grands modèles.
Ainsi, le scientifique en informatique Andrew Ng a déclaré lors d'une conférence à l'Université de Stanford : "L'IA est un ensemble d'outils, y compris l'apprentissage supervisé, l'apprentissage non supervisé, l'apprentissage par renforcement et maintenant l'intelligence artificielle générative. Ce sont toutes des technologies générales, similaires à l'électricité et à Internet, qui sont également des technologies générales."
OpenAI est sans aucun doute une référence dans le domaine des LLM, mais les institutions d'analyse des semi-conducteurs estiment que la compétitivité de GPT-4 provient de solutions techniques - si le code source était ouvert, n'importe quel concurrent pourrait rapidement le reproduire.
Cet analyste prévoit que d'autres grandes entreprises technologiques pourraient bientôt être en mesure de créer de grands modèles capables de rivaliser avec les performances de GPT-4.
Une douve construite sur du verre
Aujourd'hui, la "bataille des cent modèles" n'est plus une métaphore, mais une réalité objective.
Des rapports pertinents indiquent qu'à la fin de juillet de cette année, le nombre de grands modèles en Chine a atteint 130, dépassant les 114 des États-Unis, réussissant ainsi à prendre de l'avance. Les diverses légendes mythologiques ne suffisent plus aux entreprises technologiques nationales pour se nommer.
En dehors de la Chine et des États-Unis, certains pays relativement riches ont également réalisé de manière préliminaire le "un pays, un modèle" : en plus du Japon et des Émirats, il y a aussi Bhashini dirigé par le gouvernement indien, et HyperClova X développé par une entreprise Internet sud-coréenne.
La situation actuelle semble nous ramener à l'époque où les bulles étaient omniprésentes et où le capital régnait dans l'ère de l'exploration d'Internet.
Comme mentionné précédemment, le Transformer transforme les grands modèles en un simple problème d'ingénierie : tant que quelqu'un a de l'argent et des cartes graphiques, le reste est entre les mains des paramètres. Cependant, bien que le seuil d'entrée ne soit pas élevé, cela ne signifie pas que tout le monde a la chance de devenir un géant à l'ère de l'IA.
Le "Animal Battle" mentionné au début est un exemple typique : bien que Falcon soit classé au-dessus de Llama, il est difficile de dire quel impact cela a eu sur Meta.
Comme tout le monde le sait, les entreprises ouvrent leurs résultats de recherche au public, non seulement pour partager les dividendes technologiques avec la société, mais aussi pour mobiliser l'intelligence collective. Avec l'utilisation et l'amélioration continues de Llama par des professeurs d'universités, des instituts de recherche et des petites et moyennes entreprises, Meta peut appliquer ces résultats à ses propres produits.
Pour les grands modèles open source, une communauté de développeurs active est le véritable atout concurrentiel.
Et dès la création du laboratoire d'IA en 2015, Meta a établi un ton open source ; Zuckerberg, qui a fait ses débuts avec les médias sociaux, comprend mieux l'importance de "bien entretenir les relations avec le public".
Par exemple, en octobre, Meta a organisé l'événement "Incitation aux créateurs d'IA" : les développeurs utilisant Llama 2 pour résoudre des problèmes sociaux tels que l'éducation et l'environnement ont la possibilité de recevoir un financement de 500 000 dollars.
Aujourd'hui, la série Llama de Meta est devenue un baromètre des LLM open source.
À début octobre, parmi le Top 10 des classements de LLM open source, 8 sont basés sur Llama 2, utilisant tous son protocole open source. Rien que sur cette plateforme, plus de 1500 LLM utilisent le protocole open source Llama 2.
Bien sûr, améliorer les performances comme Falcon n'est pas une mauvaise idée, mais la plupart des LLM sur le marché ont encore un écart évident par rapport à GPT-4.
Par exemple, tout récemment, GPT-4 a atteint la première place du classement AgentBench avec un score de 4,41. AgentBench a été lancé conjointement par l'Université Tsinghua, l'Université d'État de l'Ohio et l'Université de Californie à Berkeley, et vise à évaluer la capacité de raisonnement et de prise de décision des LLM dans des environnements génératifs ouverts multidimensionnels. Les contenus des tests couvrent des tâches dans 8 environnements différents, y compris les systèmes d'exploitation, les bases de données, les graphes de connaissances et les jeux de cartes.
Les résultats des tests montrent que le deuxième, Claude, n'a obtenu que 2,77 points, ce qui représente encore un écart considérable. Quant à ces LLM open source à grand succès, leurs résultats de test se situent souvent autour de 1 point, soit moins d'un quart de celui de GPT-4.
Il faut savoir que GPT-4 a été publié en mars de cette année, ce qui est le résultat d'un retard de plus de six mois par rapport aux concurrents mondiaux. Cette différence est due à l'équipe scientifique d'OpenAI, qui a une "densité de QI" extrêmement élevée, ainsi qu'à l'expérience accumulée grâce à des années de recherche sur les LLM, ce qui leur permet de rester toujours en tête.
Cela signifie que la capacité centrale des grands modèles n'est pas les paramètres, mais la construction de l'écosystème ) open source ( ou la capacité de raisonnement pure ) closed source (.
Avec l'essor de la communauté open source, les performances des LLM pourraient converger, car tout le monde utilise des architectures de modèles et des ensembles de données similaires.
Un autre problème plus intuitif est que, à part Midjourney, il ne semble pas qu'un autre grand modèle puisse être rentable.
Point d'ancrage de la valeur
En août de cette année, un article intitulé "OpenAI pourrait faire faillite fin 2024" a suscité l'attention. Le sujet de l'article peut presque être résumée en une phrase : OpenAI brûle trop vite d'argent.
L'article mentionne qu depuis le développement de ChatGPT, les pertes d'OpenAI se sont rapidement aggravées, avec une perte d'environ 540 millions de dollars en 2022, ne pouvant que attendre que les investisseurs paient.
Bien que le titre de l'article soit accrocheur, il révèle la réalité de nombreux fournisseurs de grands modèles : un déséquilibre grave entre les coûts et les revenus.
Des coûts trop élevés signifient qu'actuellement, seules Nvidia et, au mieux, Broadcom gagnent beaucoup d'argent grâce à l'intelligence artificielle.
Selon les estimations d'une société de conseil, Nvidia a vendu plus de 300 000 unités de H100 au deuxième trimestre de cette année. Il s'agit d'une puce AI, très efficace pour l'entraînement de l'IA, et elle est en forte demande auprès des entreprises technologiques et des instituts de recherche du monde entier. Ces 300 000 H100 empilées ensemble pèsent l'équivalent de 4,5 avions Boeing 747.
Les performances d'NVIDIA ont alors explosé, avec des revenus en hausse de 854 % par rapport à l'année précédente, ce qui a choqué Wall Street. Il convient de mentionner que le prix de l'H100 sur le marché de l'occasion a déjà grimpé à 40 000 - 50 000 dollars, alors que son coût matériel n'est d'environ que 3 000 dollars.
Le coût élevé de la puissance de calcul est devenu, dans une certaine mesure, un frein au développement de l'industrie. Un capital a une fois évalué : les entreprises technologiques du monde entier devraient dépenser chaque année 200 milliards de dollars pour la construction d'infrastructures de grands modèles ; en comparaison, les grands modèles ne pourraient générer au maximum que 75 milliards de dollars de revenus par an, ce qui laisse un écart d'au moins 125 milliards de dollars.
De plus, à l'exception de quelques cas comme Midjourney, la plupart des entreprises de logiciels n'ont pas encore trouvé de modèle de rentabilité après avoir investi des coûts énormes. En particulier, les performances des deux grands leaders du secteur - Microsoft et Adobe - ne sont pas à la hauteur des attentes.
L'outil de génération de code AI GitHub Copilot, développé en collaboration entre Microsoft et OpenAI, coûte 10 dollars par mois, mais en raison des coûts d'infrastructure, Microsoft perd en fait 20 dollars par mois. Les utilisateurs intensifs peuvent même faire perdre à Microsoft jusqu'à 80 dollars par mois. Par conséquent, on peut supposer que le Microsoft 365 Copilot, qui est tarifé à 30 dollars, pourrait entraîner des pertes encore plus importantes.
De même, Adobe, qui vient de lancer l'outil Firefly AI, a rapidement mis en place un système de points associé pour éviter que les utilisateurs n'en abusent et ne causent des pertes à l'entreprise. Si un utilisateur dépasse le quota de points attribués chaque mois, Adobe réduira la vitesse de service.
Il faut savoir que Microsoft et Adobe sont déjà des géants du logiciel avec des scénarios d'affaires clairs et un grand nombre d'utilisateurs payants. Cependant, pour la plupart des modèles dont les paramètres s'accumulent comme des montagnes, le principal domaine d'application reste le chat.
Il est indéniable que sans l'émergence d'OpenAI et de ChatGPT, cette révolution de l'IA ne se serait probablement jamais produite ; mais à l'heure actuelle, la valeur apportée par l'entraînement de grands modèles mérite sans doute un point d'interrogation.
De plus, avec l'intensification de la concurrence par homogénéisation et l'augmentation des modèles open source, l'espace de survie des fournisseurs de grands modèles pourrait se réduire davantage.
Le succès fulgurant de l'iPhone 4 n'est pas dû à son processeur A4 en 45 nm, mais à sa capacité à faire tourner Plants vs. Zombies et Angry Birds.