Ce que coûte vraiment le fait de ne rien envoyer
Un modèle vocal qui tient dans un navigateur est plus petit qu’un modèle tournant sur une baie de serveurs. Voici l’ampleur de cet écart, mesurée sur le même audio, pour toutes les langues.
taux d’erreur sur les mots, plus bas est mieux · FLEURS test · n = 111–120 · 2026-09-26
Comment la mesure a été faite
Les deux systèmes ont reçu les mêmes 150 phrases par langue, tirées du jeu de test FLEURS de Google, sur la même machine, avec la même normalisation : casse et ponctuation ignorées. Une phrase est entièrement exclue si son texte de référence, ou la sortie de l’un des deux systèmes, contient des chiffres — « 1940 » et « mille neuf cent quarante » sont tous deux corrects, et aucune règle unique ne normalise cela dans onze langues. Ce sont les mêmes phrases qui sont écartées pour les deux systèmes, et les écarter élargit l’écart au lieu de le réduire. Le système de référence est Whisper large-v3, le modèle qu’utilisent la plupart des services de transcription en ligne gratuits, quantisé en q5_0. Beaucoup de services gratuits utilisent en réalité une variante plus petite de Whisper : l’écart montré ici est donc le plus large auquel s’attendre.
Ce que ces chiffres ne disent pas
FLEURS est de la parole lue enregistrée au calme : les deux colonnes sont donc optimistes par rapport à un vrai enregistrement de réunion. Lisez l’écart entre les colonnes, pas les valeurs absolues. FLEURS ne fournit par ailleurs que l’espagnol d’Amérique latine et le portugais du Brésil ; les variantes européennes de ces deux langues ne sont pas mesurées séparément.
La dernière colonne est le taux d’erreur le plus bas publié pour chaque langue sur FLEURS, par les développeurs du système ou dans un article de recherche : nous ne l’avons pas mesuré nous-mêmes. Ces chiffres portent sur le jeu de test complet, avec un calcul plus strict que le nôtre : le même Whisper large-v3 obtient ici 2,9 % en allemand, contre 4,5–4,9 % publiés. À conditions égales, l’écart avec les meilleurs systèmes cloud est donc un peu plus grand que ne le montrent ces colonnes.
ElevenLabs Scribe v1 (self-reported) · Mistral Voxtral Mini Transcribe V2 (Voxtral Realtime paper, Table 7) · Whisper large-v3 (OpenAI, large-v3 release) · NVIDIA Canary-1B-v2 (Canary-1B-v2 paper, Table 11)
Mesuré sur cette page dans Chrome sur Apple M2 (8 cores), avec 3 moteurs de reconnaissance en parallèle comme le fait le site par défaut : environ 20 fois plus rapide que le temps réel. Les ordinateurs avec moins de cœurs, les téléphones et les onglets laissés en arrière-plan sont plus lents.