AI分野の「百モデル戦争」: エンジニアリングの問題か、それとも科学的な挑戦か?

先月、AI業界で「動物の戦い」が巻き起こりました。

一方はMetaが発表したLlamaモデルで、オープンソースの特性から開発者に非常に人気があります。日本のある企業はLlamaの論文とソースコードを研究した後、迅速に日本語版ChatGPTを開発し、日本のAIのボトルネック問題を解決しました。

もう一方はFalconと呼ばれる大規模モデルです。今年の5月にFalcon-40Bが登場し、Llamaを抜いてオープンソースLLMランキングの首位に立ちました。このランキングはオープンソースモデルコミュニティによって作成され、LLMの能力を評価する基準を提供しています。ランキングは基本的にLlamaとFalconが交互に占めています。

Llama 2のリリース後、Llamaシリーズは一時的に先行していました。しかし、9月初めにFalconが180Bバージョンを発表し、再び高いランキングを獲得しました。

面白いことに、Falconの開発者はアラブ首長国連邦の首都アブダビのテクノロジー革新研究所です。アラブ首長国連邦政府は「私たちはこの分野に参加してコアプレイヤーを覆すためです」と述べています。

ファルコン180Bの発表翌日、アラブ首長国連邦の人工知能大臣が《タイム》誌の「AI分野で最も影響力のある100人」に選ばれました。彼と共に選ばれたのは「AIの父」ヒントンやOpenAIのアルトマンなどです。

現在、AI分野は百花繚乱の時代に突入しています。一定の財力を持つ国や企業は、皆自分たちの大規模言語モデルを構築しています。湾岸諸国の中でも、参加者は一つではありません。8月には、サウジアラビアが国内の大学向けに3000枚以上のH100チップを購入し、LLMのトレーニングに使われました。

投資家はかつて不満を漏らした: "当時、インターネットのビジネスモデルの革新を軽視し、バリアがないと思っていた: 百団戦、百車戦、百放送戦; まさかハードテクノロジーの大モデル起業が、依然として百モデル戦になるとは..."

本来は高度なハードテクノロジーであるべきなのに、どうして一国一模、亩产万斤の状況になってしまったのか?

トランスフォーマーが世界を飲み込む

アメリカのスタートアップ、中国のテクノロジー大手、中東の石油大亨が大規模モデルを追求できるのは、あの有名な論文「Attention Is All You Need」に感謝している。

2017年、8人のGoogleのコンピュータサイエンティストがこの論文で世界にTransformerアルゴリズムを公開しました。これは人工知能の歴史の中で引用回数が3番目に多い論文であり、Transformerの登場はこのAIブームを引き起こしました。

現在、すべての大規模モデルは、世界を驚かせたGPTシリーズを含め、Transformerの基礎の上に構築されています。

以前、「機械に読書を教える」ことは認められた学術的な難題でした。画像認識とは異なり、人間が読む際には現在の単語や文章だけでなく、文脈を組み合わせて理解します。

初期の神経ネットワークは、入力が互いに独立しており、長文や全体の文章を理解できず、「開水間」を「open water room」と翻訳する問題を引き起こしました。

2014年、Googleで働いた後にOpenAIに移ったコンピュータサイエンティストのイリヤが最初にブレークスルーを達成しました。彼は循環神経ネットワーク(RNN)を使用して自然言語を処理し、Google翻訳の性能を迅速に競合他社に対してリードさせました。

RNNは「循環設計」を提案し、各ニューロンが現在の入力と前の時刻の入力を同時に受け取ることを可能にし、神経ネットワークに「文脈を結合する」能力を与えます。

RNNの出現は学術界の研究熱を刺激し、その後Transformer論文の著者であるシャゼルも深く研究しました。しかし、開発者たちはすぐにRNNに深刻な欠陥があることに気づきました:

このアルゴリズムは逐次計算を採用しており、文脈の問題を解決していますが、実行効率は高くなく、大量のパラメータを処理するのが難しいです。

RNNの煩雑な設計はすぐにシャザールをうんざりさせました。そこで2015年から、シャザールと7人の志を同じくする仲間たちはRNNの代替品を開発に取り掛かり、最終的な成果がTransformerです。

RNNと比較して、Transformerには二つの革新があります:

1つ目は、位置エンコーディングを使ってRNNの循環設計を置き換え、並列計算を実現することです——これにより、Transformerのトレーニング効率が大幅に向上し、大量のデータを処理できるようになり、AIを大規模モデルの時代へと推進しました。2つ目は、文脈能力をさらに強化することです。

Transformerは多くの欠陥を一挙に解決した後、徐々にNLP(自然言語処理)の主導的なソリューションとなり、「天にTransformerが生まれず、NLPは永遠に長い夜のようだ」という感覚を抱かせます。イリヤさえも自ら創り出したRNNを放棄し、Transformerに移行しました。

言い換えれば、Transformerは今日のすべての大規模モデルの祖先であり、それは大規模モデルを理論研究から純粋なエンジニアリングの問題に変えました。

2019年、OpenAIはTransformerを基にGPT-2を開発し、学術界を驚かせました。それに応じて、Googleはより強力なAIモデルMeenaを迅速に発売しました。

GPT-2と比較して、Meenaには根本的なアルゴリズムの革新はなく、単にトレーニングパラメータが8.5倍、計算能力が14倍増加した。Transformer論文の著者であるシャゼルは、このような「暴力的な積み重ね」に大いに衝撃を受け、「Meenaが世界を飲み込む」というメモをすぐに書いた。

Transformerが登場して以来、学術界の基盤アルゴリズムの革新速度は大幅に鈍化した。データエンジニアリング、計算能力の規模、モデルアーキテクチャなどのエンジニアリング要素は、AI競争の鍵となり、少しでも技術力のあるテクノロジー企業は自ら大規模モデルを開発できるようになった。

したがって、コンピュータ科学者のアンドリュー・ンはスタンフォード大学での講演で次のように述べました：「AIは、教師あり学習、教師なし学習、強化学習、そして現在の生成的人工知能を含む一連のツールの集合です。これらはすべて一般的な技術であり、電力やインターネットなどの他の一般的な技術と類似しています。」

OpenAIは確かにLLMの風向標ですが、半導体分析機関は、GPT-4の競争力はエンジニアリングソリューションにあると考えています。もしオープンソース化されれば、どんな競合他社でも迅速にコピーできるでしょう。

このアナリストは、他の大手テクノロジー企業が間もなくGPT-4と同等の性能を持つ大規模モデルを構築できると予測しています。

ガラスの上に築かれた堀

現在、「百模大战」は比喩ではなく、客観的な現実となっています。

関連報告によると、今年の7月までに国内の大モデルの数は130に達し、アメリカの114を超え、成功裏に追い越しを実現しました。さまざまな神話や伝説は、国内のテクノロジー企業の命名にはもはや十分ではなくなっています。

中米以外のいくつかの裕福な国々も「一国一模」を初めて実現しました。日本とアラブ首長国連邦の他にも、インド政府主導のBhashiniや韓国のインターネット企業が開発したHyperClova Xなどがあります。

目の前のこの様子は、まるでバブルが広がり、資本が横行していたインターネット開拓時代に戻ったかのようだ。

前述のように、Transformerは大規模モデルを純粋なエンジニアリングの問題に変え、誰かが資金とグラフィックカードを持っていれば、残りはパラメータに任せられます。しかし、参入のハードルは低いものの、誰もがAI時代の巨人になる機会があるわけではありません。

冒頭で言及された「動物の戦い」は典型的な例です：FalconはLlamaを上回る順位ですが、Metaにどれほどの影響を与えたかは難しいところです。

広く知られているように、企業が自らの研究成果をオープンソース化するのは、社会と技術の恩恵を共有するためだけでなく、一般の知恵を活用するためでもあります。大学の教授、研究機関、中小企業がLlamaを継続的に使用し、改善することで、Metaはこれらの成果を自社の製品に応用することができます。

オープンソースの大規模モデルにとって、活発な開発者コミュニティこそが核心的な競争力です。

2015年にAIラボを設立した際、Metaはオープンソースの方針を確立しました。ザッカーバーグはソーシャルメディアで成功を収めたため、「良好な公共関係を築く」ことの重要性をより理解しています。

例えば10月、Metaは「AIクリエイターインセンティブ」イベントを特別に開催しました: Llama 2を使用して教育、環境などの社会問題を解決する開発者は、50万ドルの助成金を得る機会があります。

現在、MetaのLlamaシリーズはオープンソースLLMの指標となっています。

10月初時点で、あるオープンソースLLMランキングのTop 10の中で、8つはLlama 2を基にしており、すべてオープンソースライセンスを使用しています。このプラットフォーム上で、Llama 2のオープンソースライセンスを使用したLLMは1500以上に達しています。

もちろん、Falconのようにパフォーマンスを向上させるのも悪くはありませんが、現時点では市場に出ているほとんどのLLMはGPT-4と依然として明らかな差があります。

例えば、最近、GPT-4は4.41点の成績でAgentBenchテストの首位を獲得しました。AgentBenchは清華大学とオハイオ州立大学、カリフォルニア大学バークレー校が共同で発表したもので、LLMの多次元オープン生成環境における推論能力と意思決定能力を評価するために使用されます。テスト内容は、オペレーティングシステム、データベース、知識グラフ、カードバトルなど8つの異なる環境のタスクを含んでいます。

テストの結果、2位のClaudeはわずか2.77点を獲得し、依然として差が大きいです。壮大なオープンソースLLMについては、テストの成績は1点前後で、GPT-4の1/4にも満たない状況です。

知っておくべきことは、GPT-4は今年の3月に発表され、これは世界の競合が半年以上追いついてからの成果です。この差を生じさせているのは、OpenAIの「知能密度」が非常に高い科学者チームと、長年にわたるLLMの研究で蓄積された経験です。そのため、常に先行しているのです。

つまり、大規模モデルのコア能力はパラメータではなく、エコシステムの構築(オープンソース)または純粋な推論能力(クローズドソース)です。

オープンソースコミュニティがますます活発になるにつれて、各LLMの性能は似たようなモデルアーキテクチャとデータセットを使用しているため、同質化する可能性があります。

もう一つのより直感的な難題は、Midjourneyを除いて、利益を上げている大規模モデルが他に見当たらないことです。

価値のアンカーポイント

今年8月、一篇題為「OpenAIは2024年末に破産する可能性がある」という記事が注目を集めた。記事の主旨はほぼ一言で要約できる: OpenAIの資金消耗の速度があまりにも速すぎる。

文中で言及されているように、ChatGPTの開発以来、OpenAIの損失は急速に拡大しており、2022年だけで約5.4億ドルの損失を出し、投資者に支払ってもらうのを待つしかない。

記事のタイトルは衝撃的なものですが、多くの大規模モデルプロバイダーの現状を物語っています: コストと収益のバランスが深刻に崩れています。

高すぎるコストが現在、人工知能で大金を稼げるのはNVIDIAだけで、せいぜいBroadcomを加える程度です。

コンサルティング会社の予測によると、NVIDIAは今年の第2四半期に30万枚以上のH100を販売しました。これはAIチップで、AIのトレーニング効率が非常に高く、世界中のテクノロジー企業や研究機関がこぞって購入しています。この30万枚のH100を積み重ねると、重量は4.5機のボーイング747に相当します。

NVIDIAの業績は急上昇し、前年同期比で売上が854%も増加し、一時はウォール街を驚かせました。注目すべきは、現在H100は中古市場で4万〜5万ドルの価格にまで高騰していますが、その材料コストは約3000ドルに過ぎないということです。

高い計算能力コストは、ある程度、業界の発展の障害となっています。ある資本は計算したところ、世界のテクノロジー企業は毎年2000億ドルを大規模モデルのインフラ構築に費やすと予想しています。それに対して、大規模モデルは毎年最大で750億ドルの収入しか生み出せず、その間には少なくとも1250億ドルのギャップがあります。

さらに、Midjourneyなどの少数のケースを除いて、ほとんどのソフトウェア会社は巨額のコストをかけた後、まだ収益モデルを見つけていません。特に業界の二大リーダーであるマイクロソフトとAdobeのパフォーマンスは期待外れです。

マイクロソフトとOpenAIが共同開発したAIコード生成ツールGitHub Copilotは、月額10ドルの料金を徴収しているが、施設コストのためにマイクロソフトは逆に毎月20ドルの損失を出しており、ヘビーユーザーはマイクロソフトに毎月80ドルの損失をもたらす可能性がある。これに基づいて、月額30ドルのMicrosoft 365 Copilotはさらに多くの損失を出している可能性がある。

同様に、Firefly AIツールを発表したAdobeも迅速に対応するポイントシステムを導入し、ユーザーの過度な使用による会社の損失を防ぎました。ユーザーが毎月の割り当てポイントを超えると、Adobeはサービスの速度を低下させます。

マイクロソフトとAdobeは、ビジネスシーンが明確で、大量の有料ユーザーを持つソフトウェアの巨人であることを知っておく必要があります。一方で、パラメータが山のように積み上げられた大規模モデルの最大の応用シーンは、依然としてチャットです。

否定できないのは、OpenAIとChatGPTが登場しなければ、このAI革命はそもそも起こらなかったかもしれません。しかし今、巨大なモデルを訓練することから得られる価値には疑問があるかもしれません。

さらに、同質化競争が激化し、オープンソースモデルが増えるにつれて、単純な大規模モデルの供給者の生存空間はさらに狭まる可能性があります。

iPhone 4の大ヒットは45nmプロセスのA4プロセッサーのためではなく、植物対ゾンビや怒れる鳥をプレイできるからです。