这家公司提供的LLM推理速度快到冒烟,能达到至少1500token/每秒!



什么概念呢?在openrouter的qwen3 coder模型的提供商吞吐如下图,cerebras的平均吞吐1650tok/s,是第二名92tok/s的17倍

按照这个吞吐量,在编码领域几秒钟就能喷出几千行代码!

这家公司的核心竞争力就是自研发的芯片技术,下图2是他们的芯片推理速度与传统GPU速度的一个对比图👇
post-image
post-image
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
0/400
暂无评论
交易,随时随地
qrCode
扫码下载 Gate APP
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)