AI大模型ブームの中の「百モデル戦争」

先月、AI界で「動物の戦い」が勃発しました。一方はMetaのLlamaで、オープンソースの特性から開発者に非常に人気があります。日本電気株式会社NECはLlamaの論文とコードを参考にして、迅速に日本語版ChatGPTを開発し、日本のAI発展のボトルネックを解決しました。

もう一方はFalconという大規模モデルです。今年5月、Falcon-40Bが登場し、Llamaを超えてオープンソースLLMランキングの首位に立ちました。このランキングはオープンソースモデルコミュニティによって作成され、LLMの能力評価基準と順位を提供しています。ランキングではLlamaとFalconが交互に先頭に立っています。

Llama 2がリリースされた後、一時的に首位を奪回しましたが、9月初旬にFalconが180Bバージョンを発表し、再びより高いランキングを獲得しました。

興味深いことに、Falconの開発者はアラブ首長国連邦の首都アブダビにあるテクノロジー革新研究所であり、テクノロジー企業ではありません。アラブ首長国連邦の公式な発表によれば、AI競争への参加は主流の状況を覆すためであるとされています。

ファルコン180Bが発表された翌日、アラブ首長国連邦の人工知能大臣が『タイム』誌の「AI分野で最も影響力のある100人」に選ばれ、AIの父とされるヒントンやOpenAIのアルトマンなどと同じリストに名を連ねました。

現在、AI分野は百花繚乱の時代に突入しています。一定の財力を持つ国や企業は、地元版のChatGPTを作ろうと試みています。湾岸地域だけでも、すでに複数の参加者がいます。8月、サウジアラビアは国内の大学のために3000以上のH100チップを購入し、LLMの訓練に使用しています。

投資家の朱啸虎はかつて、「当時、インターネットの起業は参入障壁がないと考えられていたが、今ではハードテクノロジーの大規模モデル起業も百モデル戦争に変わった」とコメントしました。

元々は高いハードルと見なされていたハードテクノロジーが、なぜ各国が競って発展させるプロジェクトになったのか？

トランスフォーマーがAI革命を引き起こす

国籍に関係なく、現在の大規模モデルはGPTシリーズを含めて、すべてTransformerアルゴリズムに基づいています。2017年、8人のGoogle科学者は「Attention Is All You Need」という論文でTransformerアルゴリズムを公開し、AI史上で引用回数が3番目に多い論文となり、今回のAIブームの鍵となりました。

これまでのところ、「機械に読書を教える」ことは学術界の難題でした。画像認識とは異なり、人間は文脈を結び付けて理解します。初期のニューラルネットワークは長いテキストを理解するのが難しく、誤訳の問題が頻繁に発生しました。

2014年、グーグルの科学者イリヤは、自然言語を処理するために循環神経ネットワーク(RNN)を提案し、グーグル翻訳の性能を大幅に向上させました。RNNは「循環設計」を導入し、神経ネットワークが文脈を組み合わせる能力を持つようにしました。

RNNは学界の熱意を呼び起こしましたが、効率の低さや大量のパラメータを処理するのが難しいという問題が存在します。2015年から、シャゼルらはRNNの代替品の開発を始め、最終的にTransformerが誕生しました。

TransformerはRNNに比べて二つの大きな改良があります。一つは位置エンコーディングを用いて循環設計を代替し、並列計算を実現してトレーニング効率を大幅に向上させたことです。二つ目は文脈理解能力をさらに強化したことです。Transformerは多くの問題を解決し、次第にNLP分野の主流なソリューションとなっています。

2019年、OpenAIはTransformerを基にGPT-2を開発し、学界を震撼させました。Googleはすぐに、パラメータと計算能力を増やすことでGPT-2を超える、より強力なMeenaを発表しました。Transformerの登場により、アルゴリズムの革新速度が鈍化し、データ、計算能力、モデルアーキテクチャなどのエンジニアリング要素がAI競争の鍵となりました。

コンピュータサイエンティストのアンドリュー・ングは、AIが電力やインターネットなどの汎用技術になりつつあると考えています。分析機関Semi Analysisは、他の大手テクノロジー企業が近い将来にGPT-4に匹敵するパフォーマンスを持つ大規模モデルを構築する可能性があると予測しています。

バイモデバトルの背後にある挑戦

今年7月までに、中国の大規模モデルの数は130に達し、アメリカの114を超えました。中米以外にも、インドのBhashiniや韓国のNaverのHyperClova Xなど、他の裕福な国々も自国の大規模モデルを開発し始めています。

この状況はインターネットバブルの時代を思い起こさせます。Transformerは大規模モデルの開発のハードルを下げましたが、それが誰もがAIの巨人になれることを意味するわけではありません。「動物の戦い」を例に挙げると、Falconはランキングでは勝っていますが、Metaへの影響は限られています。

オープンソースの大規模モデルにとって、活発な開発者コミュニティこそがコア競争力です。Metaは2015年にオープンソース戦略を確立しました。10月には、Metaは「AIクリエイターインセンティブ」活動を開始し、Llama 2を使用して社会問題を解決する開発者を支援しました。

現在、MetaのLlamaシリーズはオープンソースLLMの風向きとなっています。10月初旬の時点で、Hugging Faceランキングのトップ10のうち8つがLlama 2を基に開発されており、オープンソースプロトコルを使用したLLMは1500以上に達しています。

性能向上は実現可能な道ですが、ほとんどのLLMはGPT-4と依然として明らかな差があります。AgentBenchテストでは、GPT-4は4.41点で首位を占め、2位のClaudeはわずか2.77点、オープンソースのLLMは多くが1点前後に留まっています。この差はOpenAIチームの実力と長年の経験の蓄積に起因しています。

したがって、大規模モデルのコア競争力はエコシステムの構築にあります(オープンソース)または純粋な推論能力(クローズドソース)。オープンソースコミュニティが発展するにつれて、各LLMの性能は同質化する可能性があります。より直接的な問題は、Midjourneyを除いて、大規模モデルが収益を上げているものはないようです。

価値の固定化のジレンマ

今年8月、OpenAIが2024年末に破産する可能性についての予測記事が注目を集めました。この記事では、ChatGPTの開発以降、OpenAIの損失が急速に拡大し、2022年には約5.4億ドルの損失を被り、マイクロソフトの投資に依存していることが指摘されています。これは、大規模モデル提供者が一般的に直面しているコストと収入の不均衡問題を反映しています。

高いコストのため、現在の主要な受益者はNVIDIAなどの半導体メーカーです。Omdiaの推定によると、NVIDIAは第2四半期に30万枚以上のH100チップを販売し、その重さはボーイング747の4.5機分に相当します。NVIDIAの業績は大幅に増加し、H100の中古価格は4万から5万ドルにまで高騰していますが、コストは3000ドルをわずかに超える程度です。

計算能力のコストは業界の発展の障害となっています。セコイアキャピタルの推計によれば、世界のテクノロジー企業は毎年2000億ドルを大規模モデルのインフラ構築に費やす一方で、大規模モデルの年間収入は最大750億ドルで、少なくとも1250億ドルのギャップが存在しています。

多くのソフトウェア会社は巨額の投資をした後でも、収益モデルを見つけられません。マイクロソフトやAdobeなどの巨人でさえも挑戦に直面しています。マイクロソフトとOpenAIが協力しているGitHub Copilotは、1ユーザーあたり毎月20～80ドルの損失を出しています。AdobeはFirefly AIツールにポイントシステムを導入し、ユーザーの過剰使用を制限しています。

ほとんどの大規模モデルの主な用途は、依然としてチャットに限られています。OpenAIとChatGPTがAI革命を推進しましたが、単純に大規模モデルを訓練することの価値には疑問があります。均質化競争が激化し、オープンソースモデルが増加するにつれて、純粋な大規模モデルの供給者のスペースはさらに狭まる可能性があります。

iPhone 4の成功がA4プロセッサーではなく、そのアプリケーションエコシステムにあるように、大モデルの未来も実際のアプリケーションで創造される価値に依存する。