A velocidade de inferência do LLM fornecida por esta empresa é tão rápida que parece estar a fumar, podendo atingir pelo menos 1500token/segundo!
Que conceito é esse? Na imagem abaixo, a taxa de transferência do modelo qwen3 coder do openrouter é a seguinte: a média da cerebras é de 1650 tok/s, que é 17 vezes a segunda colocada com 92 tok/s.
Com essa taxa de transferência, é possível gerar milhares de linhas de código em apenas alguns segundos no campo da codificação!
A principal vantagem competitiva desta empresa é a tecnologia de chip desenvolvida internamente. A imagem abaixo é um gráfico comparativo da velocidade de inferência dos seus chips com a velocidade de GPUs tradicionais👇
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
A velocidade de inferência do LLM fornecida por esta empresa é tão rápida que parece estar a fumar, podendo atingir pelo menos 1500token/segundo!
Que conceito é esse? Na imagem abaixo, a taxa de transferência do modelo qwen3 coder do openrouter é a seguinte: a média da cerebras é de 1650 tok/s, que é 17 vezes a segunda colocada com 92 tok/s.
Com essa taxa de transferência, é possível gerar milhares de linhas de código em apenas alguns segundos no campo da codificação!
A principal vantagem competitiva desta empresa é a tecnologia de chip desenvolvida internamente. A imagem abaixo é um gráfico comparativo da velocidade de inferência dos seus chips com a velocidade de GPUs tradicionais👇