AI領域的"百模大戰":工程問題還是科學挑戰?

上個月,AI業界掀起了一場"動物之戰"。

一方是Meta推出的Llama模型,因其開源特性深受開發者歡迎。日本某公司研究Llama論文和源碼後,迅速開發出日語版ChatGPT,解決了日本的AI瓶頸問題。

另一方是名爲Falcon的大模型。今年5月,Falcon-40B問世,力壓Llama登上了開源LLM排行榜榜首。該榜單由開源模型社區制作,提供了評估LLM能力的標準。排行榜基本上就是Llama和Falcon輪流佔據。

Llama 2發布後,Llama系列暫時領先;但9月初,Falcon推出180B版本,再次獲得更高排名。

有趣的是,Falcon的開發者是阿聯酋首都阿布扎比的科技創新研究所。阿聯酋政府表示,"我們參與這個領域是爲了顛覆核心玩家"。

Falcon 180B發布次日,阿聯酋人工智能部長入選《時代周刊》評選的"AI領域最具影響力的100人";與他一同入選的還有"AI教父"辛頓、OpenAI的阿爾特曼等。

如今,AI領域已進入百家爭鳴階段:只要有一定財力的國家和企業,多少都在打造自己的大語言模型。僅在海灣國家圈子內就不止一個參與者——8月,沙特阿拉伯剛爲國內大學購買了3000多塊H100芯片用於訓練LLM。

有投資人曾吐槽:"當年看不起互聯網的商業模式創新,覺得沒有壁壘:百團大戰、百車大戰、百播大戰;沒想到硬科技大模型創業,依然是百模大戰..."

本應是高難度的硬科技,怎麼就變成了一國一模、畝產萬斤的局面?

Transformer吞噬世界

美國初創公司、中國科技巨頭、中東石油大亨能夠追逐大模型,都要感謝那篇著名論文:《Attention Is All You Need》。

2017年,8位谷歌計算機科學家在這篇論文中向全世界公開了Transformer算法。這是人工智能歷史上被引用第三多的論文,Transformer的出現引爆了此輪AI熱潮。

目前所有大模型,包括轟動全球的GPT系列,都建立在Transformer基礎之上。

此前,"教機器讀書"一直是公認的學術難題。與圖像識別不同,人類閱讀時不僅關注當前詞句,還會結合上下文理解。

早期神經網路的輸入彼此獨立,無法理解長文本甚至整篇文章,導致諸如把"開水間"翻譯成"open water room"的問題。

2014年,在谷歌工作後跳槽OpenAI的計算機科學家伊利亞率先取得突破。他使用循環神經網路(RNN)處理自然語言,使谷歌翻譯性能迅速領先競爭對手。

RNN提出"循環設計",讓每個神經元同時接收當前輸入和上一時刻輸入,賦予神經網路"結合上下文"的能力。

RNN的出現激發了學術界研究熱情,日後Transformer論文作者沙澤爾也曾深入研究。然而開發者們很快發現,RNN存在嚴重缺陷:

該算法採用順序計算,雖然解決了上下文問題,但運行效率不高,難以處理大量參數。

RNN的繁瑣設計很快讓沙澤爾感到厭煩。因此從2015年起,沙澤爾和7位志同道合者着手開發RNN替代品,最終成果就是Transformer。

相比RNN,Transformer有兩大變革:

一是用位置編碼取代RNN的循環設計,實現並行計算——這大大提升了Transformer訓練效率,使其能處理海量數據,將AI推向大模型時代;二是進一步加強上下文能力。

Transformer一舉解決諸多缺陷後,逐漸成爲NLP(自然語言處理)的主導方案,有"天不生Transformer,NLP萬古如長夜"之感。連伊利亞都放棄了自己開創的RNN,轉投Transformer。

換言之,Transformer是當今所有大模型的始祖,它將大模型從理論研究變成了純粹的工程問題。

2019年,OpenAI基於Transformer開發出GPT-2,一度驚豔學術界。作爲回應,谷歌迅速推出性能更強的AI模型Meena。

與GPT-2相比,Meena並無底層算法革新,僅是訓練參數增加8.5倍、算力增加14倍。Transformer論文作者沙澤爾對這種"暴力堆砌"大爲震撼,當即寫了篇"Meena吞噬世界"的備忘錄。

Transformer問世後,學術界底層算法創新速度大幅放緩。數據工程、算力規模、模型架構等工程要素日益成爲AI競賽的關鍵,稍有技術能力的科技公司都能自行開發大模型。

因此,計算機科學家吳恩達在斯坦福大學演講時提出:"AI是一系列工具的集合,包括監督學習、無監督學習、強化學習以及現在的生成式人工智能。這些都是通用技術,與電力和互聯網等其他通用技術類似。"

OpenAI固然仍是LLM的風向標,但半導體分析機構認爲,GPT-4的競爭力源於工程解決方案——若開源,任何競爭對手都能迅速復制。

該分析師預計,其他大型科技公司可能很快就能打造出與GPT-4性能相當的大模型。

建在玻璃上的護城河

當下,"百模大戰"已不再是比喻,而是客觀現實。

相關報告顯示,截至今年7月,國內大模型數量已達130個,超過美國的114個,成功實現彎道超車,各種神話傳說已快不夠國內科技公司取名用了。

在中美之外,一些較爲富裕的國家也初步實現了"一國一模":除日本與阿聯酋外,還有印度政府主導的Bhashini、韓國互聯網公司開發的HyperClova X等。

眼前這陣仗,仿佛回到了那個泡沫遍地、資本橫行的互聯網拓荒年代。

正如前文所述,Transformer讓大模型變成純粹的工程問題,只要有人有錢有顯卡,剩下的就交給參數。但入場門檻雖不高,並不意味着人人都有機會成爲AI時代的巨頭。

開頭提到的"動物之戰"就是典型案例:Falcon雖然排名力壓Llama,但很難說對Meta造成了多大衝擊。

衆所周知,企業開源自身科研成果,既是爲了與社會分享科技紅利,也希望調動羣衆智慧。隨着各大學教授、研究機構、中小企業不斷使用、改進Llama,Meta可以將這些成果應用到自己的產品中。

對開源大模型而言,活躍的開發者社區才是核心競爭力。

而早在2015年組建AI實驗室時,Meta就確立了開源基調;扎克伯格靠社交媒體起家,更懂得"搞好羣衆關係"的重要性。

例如10月,Meta專門舉辦了"AI創作者激勵"活動:使用Llama 2解決教育、環境等社會問題的開發者,有機會獲得50萬美元資助。

如今,Meta的Llama系列已成爲開源LLM的風向標。

截至10月初,某開源LLM排行榜Top 10中,有8個基於Llama 2打造,均使用其開源協議。僅在該平台上,使用Llama 2開源協議的LLM已超過1500個。

當然,像Falcon那樣提高性能也未嘗不可,但目前市面上大多數LLM與GPT-4仍有明顯差距。

例如不久前,GPT-4以4.41分的成績問鼎AgentBench測試榜首。AgentBench由清華大學與俄亥俄州立大學、加州大學伯克利分校共同推出,用於評估LLM在多維度開放式生成環境中的推理能力和決策能力,測試內容涵蓋操作系統、數據庫、知識圖譜、卡牌對戰等8個不同環境的任務。

測試結果顯示,第二名Claude僅得2.77分,差距仍較大。至於那些聲勢浩大的開源LLM,測試成績多在1分上下,還不到GPT-4的1/4。

要知道,GPT-4發布於今年3月,這還是全球同行追趕大半年後的成績。造成這種差距的,是OpenAI"智商密度"極高的科學家團隊與長期研究LLM積累的經驗,因此能始終遙遙領先。

也就是說,大模型的核心能力並非參數,而是生態建設(開源)或純粹的推理能力(閉源)。

隨着開源社區日益活躍,各LLM性能可能趨同,因爲大家都在使用相似的模型架構與數據集。

另一個更直觀的難題是:除了Midjourney,似乎還沒有哪個大模型能盈利。

價值的錨點

今年8月,一篇題爲"OpenAI可能於2024年底破產"的文章引發關注。文章主旨幾乎可用一句話概括:OpenAI的燒錢速度太快了。

文中提到,自開發ChatGPT以來,OpenAI虧損迅速擴大,僅2022年就虧損約5.4億美元,只能等待投資方買單。

文章標題雖聳人聽聞,卻道出了衆多大模型提供商的現狀:成本與收入嚴重失衡。

過高的成本導致目前靠人工智能賺大錢的只有英偉達,頂多再加個博通。

據諮詢公司預估,英偉達今年二季度賣出超30萬塊H100。這是一款AI芯片,訓練AI效率極高,全球科技公司、科研機構都在搶購。這30萬塊H100疊在一起,重量相當於4.5架波音747飛機。

英偉達業績隨之飆升,同比營收暴漲854%,一度震驚華爾街。值得一提的是,目前H100在二手市場售價已炒至4-5萬美元,但其物料成本僅約3000美元。

高昂的算力成本在某種程度上已成爲行業發展阻力。某資本曾測算:全球科技公司每年預計將花費2000億美元用於大模型基礎設施建設;相比之下,大模型每年最多只能產生750億美元收入,中間至少存在1250億美元缺口。

此外,除Midjourney等少數案例外,大多數軟件公司在付出巨額成本後,還未找到盈利模式。尤其是行業兩大領頭羊——微軟和Adobe的表現都不盡如人意。

微軟與OpenAI合作開發的AI代碼生成工具GitHub Copilot,雖每月收取10美元,但因設施成本,微軟反而每月虧損20美元,重度用戶甚至能讓微軟每月虧損80美元。據此推測,定價30美元的Microsoft 365 Copilot可能虧損更多。

同樣,剛發布Firefly AI工具的Adobe也迅速上線配套積分系統,防止用戶過度使用導致公司虧損。一旦用戶超出每月分配積分,Adobe就會降低服務速度。

要知道微軟和Adobe已是業務場景明確、擁有大量付費用戶的軟件巨頭。而多數參數堆積如山的大模型,最大應用場景仍是聊天。

不可否認,若無OpenAI和ChatGPT橫空出世,這場AI革命可能根本不會發生;但當下,訓練大模型帶來的價值恐怕要打個問號。

而且,隨着同質化競爭加劇,以及開源模型越來越多,單純大模型供應商的生存空間可能會進一步縮小。

iPhone 4的爆紅不是因爲45nm制程的A4處理器,而是它能玩植物大戰僵屍和憤怒的小鳥。