AI大モデルコンペティション:エンジニアリングの問題それとも研究の難題?

先月、AI界で「動物戦争」が勃発しました。

一方はMetaが発表したLlama(アメリカアマゾン)大規模モデルで、そのオープンソース特性から開発者に人気があります。もう一方は、アラブ首長国連邦の科学技術革新研究所によって開発されたFalcon(ファルコン)という名前の大規模モデルです。両者はオープンソースLLMランキングで交互に首位を獲得しています。

興味深いことに、アラブ首長国連邦政府はAI競技に参加することは「コアプレイヤーを覆す」ためだと述べています。現在、財力のある国や企業は、自らの大規模言語モデルを構築しています。

この「百モデル戦争」という状況は、2017年にGoogleが発表したTransformerアルゴリズムの論文に起因しています。Transformerは自然言語処理の多くの課題を解決し、大規模モデルを理論研究から純粋なエンジニアリングの問題に変えました。十分な計算能力とデータさえあれば、ほぼどんなチームでも大規模モデルを訓練できるのです。

しかし、大規模モデルの開発がAI時代に勝利することを意味するわけではありません。MetaのLlamaはFalconよりもランキングが劣りますが、活発な開発者コミュニティのおかげで、依然としてオープンソースLLMの指標となっています。そして、性能においては、ほとんどのLLMはGPT-4とまだ明らかな差があります。

大規模モデルのコア競争力は、エコシステムの構築や純粋な推論能力にあり、単にパラメータの規模にとどまらない。また、高額な計算力コストも業界の発展の障害となっているとされる。推定によれば、世界のテクノロジー企業は大規模モデルのインフラストラクチャーに対する投資が、その収益を大きく上回っている。

現在、少数の例外を除いて、ほとんどのAI企業はまだ収益モデルを見つけていません。たとえMicrosoftやAdobeなどのソフトウェア巨人であっても、AI製品の価格設定に苦しんでいます。

同質化競争が激化し、オープンソースモデルが増える中で、単純な大規模モデルの供給者は、より大きなプレッシャーに直面する可能性があります。将来的には、AIの価値はモデル自体ではなく、具体的なアプリケーションシーンにより多く表れるかもしれません。