100 Model Wars: AI リーダーが共に立ち上がり、大規模言語モデルは収益性の課題に直面

#AI分野が活況を呈し、LLM戦争が本格化しています

先月、AI界で「動物の戦い」が勃発しました。

この争いの一方はMetaが発表したLlamaモデルです。そのオープンソースの特性により、Llamaは開発者に非常に人気があります。日本電気株式会社(NEC)はLlamaの論文とコードを研究した後、迅速に日本語版ChatGPTを開発し、日本のAI分野における課題を解決しました。

もう一方はFalconという名前の大規模モデルです。今年の5月、Falcon-40Bが登場し、オープンソースLLMランキングのトップに立ちました。このランキングはHugging Faceコミュニティによって作成され、LLMの能力を評価するための基準を提供しています。ランキングは基本的にLlamaとFalconが交互に1位を占めています。

Llama 2のリリース後、一時的に優位性を取り戻しました。しかし9月初旬、Falconが180Bバージョンを発表し、再びより高いランキングを獲得しました。

興味深いことに、Falconの開発者はテクノロジー企業ではなく、アブダビにあるテクノロジー革新研究所です。UAEの官僚は、彼らがこの分野に参加したのはコアプレイヤーに対抗するためだと述べました。

180Bバージョンのリリース翌日、アラブ首長国連邦の人工知能大臣が《タイム》誌の選ぶ「AI分野で最も影響力のある100人」に選ばれました。彼と共に選ばれたのは「AIの父」ヒントンやOpenAIのアルトマンなどです。

現在、AI分野は百花繚乱の段階に入っています。一定の財力を持つ国や企業は、自分たちの大規模言語モデルを作ろうと試みています。湾岸地域だけでも、1つ以上のプレーヤーがいます。8月、サウジアラビアは国内の大学のために3000枚以上のH100チップを購入し、LLMのトレーニングに使用しました。

投資家はこう不満を漏らした:"昔はインターネットのビジネスモデルの革新を軽視し、障壁がないと思っていた。まさかハードテクノロジーの大モデルの起業でも、依然として百のモデルの戦いがあるとは..."

難しいハードテクノロジーだと思っていたのに、どうして誰もが参加できる競技になったのだろう?

トランスフォーマーがゲームのルールを変えた

アメリカのスタートアップ、中国のテクノロジー巨人、中東の石油王のいずれもが大規模モデルの研究開発に携わることができたのは、有名な論文《Attention Is All You Need》のおかげです。

2017年、8人のGoogleの科学者がこの論文でTransformerアルゴリズムを発表しました。この論文は現在、AIの歴史の中で引用回数が3番目に多い論文であり、Transformerの登場はこのAIブームを引き起こしました。

現在のさまざまな大規模モデル、特に話題を呼んでいるGPTシリーズは、すべてTransformerを基盤にしています。

それ以前は、「機械に読書を教える」ことが認められた学術的な難題でした。画像認識とは異なり、人間は読む際に現在の単語やフレーズだけでなく、文脈を考慮して理解します。

しかし、初期のニューラルネットワークの入力は独立しており、長文の全体的な意味を理解することができなかったため、誤訳の問題がしばしば発生しました。

2014年、Googleの科学者イリヤは初めてのブレークスルーを達成しました。彼は循環神経ネットワーク(RNN)を使用して自然言語を処理し、Google翻訳の性能を大幅に向上させました。

RNNは「循環設計」を提案し、ニューロンが現在の入力と前の時間の入力の両方を受け取り、「文脈を結合する」能力を持つようになりました。

RNNの出現は学界の熱意を刺激し、Transformer論文の著者であるシャザールも深く研究しました。しかし、開発者たちはすぐにRNNに深刻な欠陥があることを発見しました:

このアルゴリズムは順次計算を使用しており、コンテキストの問題を解決しましたが、実行効率は高くなく、大量のパラメータを処理するのが難しいです。

RNNの煩雑な設計にシャザールはうんざりしていました。そこで2015年から、シャザールと7人の同僚はRNNの代替品の開発に取り組み、最終的な成果がTransformerです。

RNNと比較して、Transformerには二つの大きな革新があります:

一つは位置エンコーディングをループ設計の代わりに使用し、並列計算を実現することで、トレーニング効率が大幅に向上し、AIは大規模モデルの時代に入ったことです。二つ目は、文脈を理解する能力をさらに強化したことです。

Transformerは多くの欠陥を一挙に解決し、徐々にNLP分野の標準的なソリューションとなっており、「天にTransformerが生まれなければ、NLPは万古の長い夜のようだ」という感覚がある。イリヤでさえRNNを捨て、Transformerの陣営に転向した。

言い換えれば、Transformerは今日のすべての大規模モデルの基盤であり、それは大規模モデルを理論研究から純粋なエンジニアリング問題に変えました。

2019年、OpenAIがTransformerに基づいて開発したGPT-2は学界を驚かせました。それに対抗して、Googleはすぐにより高性能なMeenaを発表しました。

GPT-2と比較して、Meenaにはアルゴリズムの革新はなく、単に8.5倍のトレーニングパラメータと14倍の計算能力を増加させただけです。Transformerの作者であるシャザールは、この「暴力的な積み重ね」に非常に衝撃を受け、「Meenaが世界を飲み込む」というメモを残しました。

Transformerが登場した後、基盤となるアルゴリズムの革新速度は鈍化した。データエンジニアリング、計算能力の規模、モデルアーキテクチャなどのエンジニアリング要素が、AI競争の鍵となりつつあり、一定の技術力を持つ企業であれば、大規模モデルを開発できるようになった。

したがって、科学者のアンディ・ウンがスタンフォードでの講演で提案したように、「AIは、教師あり学習、教師なし学習、強化学習、そして現在の生成AIを含む一連のツールの集合です。これらはすべて、電力やインターネットのような汎用技術です。」

OpenAIは依然としてLLMの風向標ですが、半導体分析機関Semi Analysisは、GPT-4の優位性がエンジニアリングソリューションに起因すると考えています——もしオープンソース化されれば、どの競合も迅速にコピーできるでしょう。

このアナリストは、他の大手テクノロジー企業がすぐにGPT-4と同等の性能を持つ大規模モデルを開発できると予測しています。

城壁は決して壊れないわけではない

今や、「百模戦」は比喩ではなく現実です。

報告によると、今年7月時点で中国の大規模モデルの数は130に達し、アメリカの114を超え、さまざまな神話や伝説が国内のテクノロジー企業の命名にほぼ使い果たされている。

中米を除いて、多くの裕福な国も「一国一模」を実現しています:日本とアラブ首長国連邦を除いて、インド政府が主導するBhashini、韓国のNaver社が開発したHyperClova Xなどがあります。

この状況は、インターネット初期のバブルが飛び交い、資本が狂乱していた光景を思い出させる。

前述のように、Transformerは大規模モデルを純粋なエンジニアリングの問題に変えました。人材、資金、計算リソースがあれば開発が可能ですが、参入は容易でも、AI時代の巨人になることは簡単ではありません。

冒頭で言及された「動物の戦い」は典型的なケースです: Falconは一時的にLlamaに先行していますが、Metaにどれほどの影響を与えるかは難しいところです。

誰もが知っているように、企業が自らの成果をオープンソースすることは、技術の恩恵を共有するだけでなく、社会の力を借りることを望んでいます。学界、研究機関、企業がLlamaを継続的に使用し改善することで、Metaはこれらの成果を自社製品に適用することができます。

オープンソースの大規模モデルにとって、活発な開発者コミュニティが核心的な競争力です。

2015年にAIラボを設立した際、Metaはオープンソースの方針を確立しました。ザッカーバーグはもともとソーシャルメディアで成功を収めており、「良好なコミュニティ関係を築く」ことの重要性を理解しています。

例えば10月、Metaは「AIクリエイターインセンティブ」イベントを特別に開催しました:Llama 2を使用して教育、環境などの社会問題を解決する開発者には、50万ドルの資金が提供される機会があります。

現在、MetaのLlamaシリーズはオープンソースLLMの標準となっています。

10月初時点で、Hugging FaceのオープンソースLLMランキング上位10のうち、8つがLlama 2を基に開発され、そのオープンソースライセンスを使用しています。Hugging Face上で、Llama 2のライセンスを使用しているLLMは1500を超えています。

もちろん、Falconのように性能を向上させるのも悪くはないが、現在市場に出回っているほとんどのLLMはGPT-4と依然として明らかな差がある。

例えば、最近、GPT-4がAgentBenchテストで4.41点の成績を収めて優勝しました。AgentBenchは清華大学とアメリカの複数の名門校が共同で発表したもので、LLMの多次元オープン環境における推論と意思決定能力を評価するために使用されます。テスト内容には、オペレーティングシステム、データベース、ナレッジグラフ、カードバトルなど8つの異なる環境のタスクが含まれています。

テスト結果は、2位のClaudeがわずか2.77点を獲得し、明らかな差があることを示しています。派手なオープンソースLLMに関しては、成績はほとんど1点前後で、GPT-4の4分の1にも満たないです。

知っておくべきは、GPT-4は今年の3月に発表され、これは世界の競合他社が半年以上追いついた結果であるということです。この差を生じさせたのは、OpenAIの高いレベルの研究チームと長年の蓄積された経験であり、そのため常に先行し続けることができるのです。

つまり、大規模モデルの核心能力はパラメータではなく、エコシステムの構築(オープンソース)または純粋な推論能力(クローズドソース)である。

オープンソースコミュニティがますます活発になるにつれて、さまざまなLLMの性能は同質化する可能性があります。なぜなら、みんなが類似のモデルアーキテクチャとデータセットを使用しているからです。

もう一つの直感的な問題は、Midjourneyを除いて、他にどの大規模モデルも利益を上げていないようだということです。

価値のアンカー

今年8月、一篇題為「OpenAIは2024年末に破産する可能性がある」という記事が注目を集めた。記事の主旨はほぼ一言で要約できる: OpenAIはお金を燃やす速度が速すぎる。

文中で述べられているように、ChatGPTの開発以来、OpenAIの損失は急速に拡大し、2022年には約5.4億ドルの損失を出し、マイクロソフトの投資に依存するしかなかった。

記事のタイトルは衝撃的ですが、多くの大規模モデル提供者の現状を語っています: コストと収入のバランスが深刻に崩れています。

過高なコストにより、現在AIで大きな利益を上げているのはNVIDIAだけであり、せいぜいBroadcomが加わる程度である。

コンサルティング会社Omdiaの推計によると、NVIDIAは今年第2四半期に30万枚以上のH100を販売した。この高効率のAIチップは、世界のテクノロジー企業や研究機関に買い占められている。この30万枚のH100を重ねると、重量はボーイング747が4.5機分に相当する。

エヌビディアの業績は急上昇し、前年同期比で収益が854%増加し、ウォール街を驚かせました。特筆すべきは、H100が中古市場で4万〜5万ドルにまで高騰している一方で、その材料コストは約3000ドルに過ぎないということです。

高騰する計算力コストは、ある程度業界の発展の障害となっている。セコイアキャピタルは推定している: 世界のテクノロジー企業は毎年2000億ドルを大規模モデルのインフラ整備に費やすと予測している; それに対して、大規模モデルは毎年最大で750億ドルの収益を生み出すことができ、間に少なくとも1250億ドルのギャップが存在する。

さらに、Midjourneyなどの少数の例外を除いて、ほとんどのソフトウェア企業は巨額の投資を行った後、まだ収益モデルを見つけていません。特に業界のリーダーであるマイクロソフトとAdobeは困難に直面しています。

マイクロソフトとOpenAIが共同開発したAIコード生成ツールGitHub Copilotは、月額10ドルの料金にもかかわらず、施設コストのためにマイクロソフトは1ユーザーあたり20ドルの赤字を出しています。ヘビーユーザーはさらにマイクロソフトの月間赤字を80ドルにまで引き上げています。これに基づいて、価格が30ドルのMicrosoft 365 Copilotはさらに大きな赤字を出す可能性があります。

同様に、Firefly AIツールを発表したAdobeも、ユーザーの過度な使用による会社の損失を防ぐためにポイントシステムを迅速に導入しました。一旦ユーザーが毎月配分されたポイントを超えると、Adobeはサービスの速度を低下させます。

マイクロソフトとAdobeは、ビジネスシーンが明確で、多くの有料ユーザーを持つソフトウェアの巨人であることを知っておく必要があります。一方で、パラメータが山のように積み重なった大規模モデルの最大の応用シーンは、依然としてチャットです。

否定できないことに、OpenAIとChatGPTが登場しなければ、このAI革命はそもそも起こらなかったかもしれない。しかし現時点では、大規模モデルのトレーニングによって生まれる価値はまだ議論の余地がある。

さらに、同質化競争が激化し、オープンソースモデルが増加する中で、単純な大規模モデルの供給者はより大きな課題に直面する可能性があります。

iPhone 4の成功は45nmプロセスのA4プロセッサーのためではなく、植物対ゾンビやアングリーバードをプレイできるからです。

GPT-1.44%
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • 7
  • 共有
コメント
0/400
DAOplomacyvip
· 2時間前
TBHは、底辺へのもう一つの持続不可能なレースに過ぎません...この映画を以前に見たこと
原文表示返信0
ThatsNotARugPullvip
· 07-25 12:40
ただの水掛け論だ
原文表示返信0
ReverseTradingGuruvip
· 07-25 12:39
円の中のネギの大きなモデル
原文表示返信0
VitaliksTwinvip
· 07-25 12:38
オープンソースモデルはちょっとのめり込む
原文表示返信0
MonkeySeeMonkeyDovip
· 07-25 12:36
真 · 戦いが始まるぞ
原文表示返信0
AllInAlicevip
· 07-25 12:20
また一つの巻き上げられた戦い
原文表示返信0
AirdropSweaterFanvip
· 07-25 12:18
誰が勝っても私は傍観者です
原文表示返信0
いつでもどこでも暗号資産取引
qrCode
スキャンしてGateアプリをダウンロード
コミュニティ
日本語
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)