Quanto custa de verdade não enviar nada
Um modelo de fala que cabe em um navegador é menor do que um que roda num rack de servidores. Esta é a distância entre os dois, medida no mesmo áudio, para todos os idiomas.
erro por palavra, quanto menor melhor · FLEURS test · n = 111–120 · 2026-09-26
Como isto foi medido
Os dois sistemas receberam as mesmas 150 frases por idioma do conjunto de teste FLEURS do Google, na mesma máquina, com a mesma normalização: maiúsculas e pontuação não contam. Uma frase é excluída por completo se o texto de referência, ou a saída de qualquer um dos dois sistemas, contiver algarismos — “1940” e “mil novecentos e quarenta” estão ambos certos, e nenhuma regra única normaliza isso em onze idiomas. As frases descartadas são as mesmas para os dois sistemas, e descartá-las aumenta a diferença em vez de reduzi-la. O sistema de referência é o Whisper large-v3, o modelo que a maioria dos serviços de transcrição on-line gratuitos usa, quantizado em q5_0. Muitos serviços gratuitos rodam na verdade uma variante menor do Whisper, então a diferença mostrada aqui é a maior que se deve esperar.
O que estes números não dizem
FLEURS é fala lida gravada em ambiente silencioso, então as duas colunas são otimistas em relação a uma gravação real de reunião. Olhe a diferença entre as colunas, não os valores absolutos. O FLEURS também só traz espanhol latino-americano e português brasileiro, de modo que as variantes europeias desses dois idiomas não são medidas separadamente.
A última coluna é a menor taxa de erro publicada para cada idioma no FLEURS, pelos próprios desenvolvedores do sistema ou num artigo científico — não foi medida por nós. Esses números usam o conjunto de teste completo e um cálculo mais rigoroso que o nosso: o mesmo Whisper large-v3 tem aqui 2,9 % em alemão, mas 4,5–4,9 % nos dados publicados. Em condições iguais, a distância para os melhores sistemas em nuvem é um pouco maior do que estas colunas mostram.
ElevenLabs Scribe v1 (self-reported) · Mistral Voxtral Mini Transcribe V2 (Voxtral Realtime paper, Table 7) · Whisper large-v3 (OpenAI, large-v3 release) · NVIDIA Canary-1B-v2 (Canary-1B-v2 paper, Table 11)
Medido nesta página no Chrome em Apple M2 (8 cores), com 3 reconhecedores em paralelo, como o site faz por padrão: cerca de 20 vezes mais rápido que o tempo real. Computadores com menos núcleos, celulares e abas deixadas em segundo plano são mais lentos.