AI大模型热潮下的"百模大战"

上月，AI界掀起了一场"动物之战"。一方是Meta的Llama，因开源特性深受开发者欢迎。日本电气公司NEC参考Llama论文和代码后，迅速开发出日语版ChatGPT，解决了日本AI发展瓶颈。

另一方是名为Falcon的大模型。今年5月，Falcon-40B问世，超越Llama登上开源LLM排行榜首位。该榜单由开源模型社区制作，提供LLM能力评估标准并排名。排行榜上Llama和Falcon轮番领先。

Llama 2发布后，暂时夺回榜首；但9月初，Falcon推出180B版本，再次取得更高排名。

有趣的是，Falcon的开发者是阿联酋首都阿布扎比的科技创新研究所，而非科技公司。阿联酋官方表示参与AI竞争是为了颠覆主流格局。

Falcon 180B发布次日，阿联酋人工智能部长入选《时代周刊》"AI领域最具影响力的100人"，与"AI教父"辛顿、OpenAI的阿尔特曼等人同榜。

如今，AI领域已进入百花齐放阶段。有一定财力的国家和企业都在尝试打造本土版ChatGPT。仅在海湾地区，已有多个参与者。8月，沙特阿拉伯为国内大学购买了3000多块H100芯片，用于训练LLM。

投资人朱啸虎曾评论道，当年互联网创业被认为缺乏壁垒，如今硬科技大模型创业也演变成百模大战。

原本被视为高门槛的硬科技，为何变成了各国竞相发展的项目？

Transformer引发AI革命

无论国籍如何，当前大模型包括GPT系列在内，都建立在Transformer算法基础上。2017年，8位谷歌科学家在《Attention Is All You Need》论文中公开了Transformer算法，成为AI史上被引用第三多的论文，也是此轮AI热潮的关键。

此前,"教机器读书"一直是学界难题。与图像识别不同，人类阅读时会结合上下文理解。早期神经网络难以理解长文本，常出现误译问题。

2014年，谷歌科学家伊利亚提出循环神经网络(RNN)处理自然语言，大幅提升了谷歌翻译性能。RNN引入"循环设计"，使神经网络具备结合上下文的能力。

RNN点燃了学界热情，但存在效率低下、难处理大量参数等问题。2015年起，沙泽尔等人开始开发RNN替代品，最终诞生了Transformer。

Transformer相比RNN有两大改进:一是用位置编码替代循环设计,实现并行计算,大幅提升训练效率;二是进一步加强了上下文理解能力。Transformer解决了众多难题，逐渐成为NLP领域的主流方案。

2019年,OpenAI基于Transformer开发GPT-2,震惊学界。谷歌随即推出性能更强的Meena,仅靠增加参数和算力就超越了GPT-2。Transformer的问世,使得算法创新速度放缓,工程要素如数据、算力、模型架构等成为AI竞赛关键。

计算机科学家吴恩达认为,AI正成为电力、互联网等通用技术。分析机构Semi Analysis预计,其他大型科技公司有望在不久后打造出媲美GPT-4性能的大模型。

百模大战背后的挑战

截至今年7月,中国大模型数量已达130个,超过美国的114个。除中美外,其他富裕国家也开始打造本土大模型,如印度的Bhashini、韩国Naver的HyperClova X等。

这种局面让人想起互联网泡沫时代。虽然Transformer降低了大模型开发门槛,但并不意味着人人都能成为AI巨头。以"动物之战"为例,Falcon虽在排名上胜出,但对Meta影响有限。

对开源大模型而言,活跃的开发者社区才是核心竞争力。Meta早在2015年就确立了开源策略。10月,Meta还推出了"AI创作者激励"活动,资助使用Llama 2解决社会问题的开发者。

目前,Meta的Llama系列已成为开源LLM的风向标。截至10月初,Hugging Face排行榜Top 10中有8个基于Llama 2开发,使用其开源协议的LLM超过1500个。

虽然提升性能是可行之路,但多数LLM与GPT-4仍有明显差距。在AgentBench测试中,GPT-4以4.41分居首,第二名Claude仅2.77分,开源LLM多在1分左右。这种差距源于OpenAI团队的实力和长期积累的经验。

因此,大模型的核心竞争力在于生态建设(开源)或纯粹的推理能力(闭源)。随着开源社区发展,各LLM性能可能趋同。更直接的问题是,除Midjourney外,似乎还没有大模型实现盈利。

价值锚定的困境

今年8月,一篇预测OpenAI可能于2024年底破产的文章引发关注。文章指出,自开发ChatGPT后,OpenAI亏损迅速扩大,2022年亏损约5.4亿美元,依赖微软投资。这反映了大模型提供商普遍面临的成本与收入失衡问题。

高昂的成本使得目前主要受益者是英伟达等芯片厂商。据Omdia估计,英伟达二季度售出超30万块H100芯片,重量相当于4.5架波音747。英伟达业绩大涨,H100二手价格炒至4-5万美元,而成本仅3000多美元。

算力成本已成为行业发展阻力。红杉资本估算,全球科技公司每年将花费2000亿美元建设大模型基础设施,而大模型年收入最多750亿美元,存在至少1250亿美元缺口。

多数软件公司在投入巨资后仍未找到盈利模式。即使是微软、Adobe等巨头也面临挑战。微软与OpenAI合作的GitHub Copilot每用户每月亏损20-80美元。Adobe为Firefly AI工具引入积分系统,限制用户过度使用。

大多数大模型的主要应用仍局限于聊天。虽然OpenAI和ChatGPT推动了AI革命,但单纯训练大模型的价值存疑。随着同质化竞争加剧和开源模型增多,纯大模型供应商的空间可能进一步缩小。

正如iPhone 4的成功不在于A4处理器,而在于其应用生态,大模型的未来也将取决于其在实际应用中创造的价值。