Was der Verzicht auf den Upload wirklich kostet
Ein Sprachmodell, das in einen Browser passt, ist kleiner als eines auf einem Server-Rack. Hier ist dieser Abstand, auf demselben Audio gemessen, für alle Sprachen.
Wortfehlerrate, niedriger ist besser · FLEURS test · n = 111–120 · 2026-09-26
Wie gemessen wurde
Beide Systeme bekamen dieselben 150 Sätze pro Sprache aus Googles FLEURS-Testset, auf derselben Maschine, mit derselben Normalisierung: Groß- und Kleinschreibung sowie Satzzeichen bleiben unberücksichtigt. Ein Satz wird vollständig ausgeschlossen, wenn sein Referenztext oder die Ausgabe eines der beiden Systeme Ziffern enthält — „1940“ und „neunzehnhundertvierzig“ sind beide richtig, und keine einzelne Regel normalisiert das über elf Sprachen hinweg. Ausgeschlossen werden für beide Systeme dieselben Sätze, und das vergrößert den Abstand, statt ihn zu verkleinern. Referenzsystem ist Whisper large-v3, das Modell, das die meisten kostenlosen Online-Transkriptionsdienste einsetzen, quantisiert auf q5_0. Viele kostenlose Dienste setzen tatsächlich eine kleinere Whisper-Variante ein, der hier gezeigte Abstand ist also der größte, mit dem zu rechnen ist.
Was diese Zahlen nicht sagen
FLEURS ist vorgelesene Sprache aus ruhiger Aufnahmeumgebung, beide Spalten sind also optimistisch gegenüber einer echten Besprechungsaufnahme. Lies den Abstand zwischen den Spalten, nicht die absoluten Werte. FLEURS enthält außerdem nur lateinamerikanisches Spanisch und brasilianisches Portugiesisch, die europäischen Varianten dieser beiden Sprachen sind also nicht separat gemessen.
Die letzte Spalte ist die niedrigste Wortfehlerrate, die für die jeweilige Sprache auf FLEURS veröffentlicht wurde – von den Entwicklern des Systems oder in einem Forschungspapier, nicht von uns gemessen. Diese Werte beruhen auf dem vollständigen Testset und einer strengeren Bewertung als unserer: Dasselbe Whisper large-v3 kommt hier im Deutschen auf 2,9 %, veröffentlicht sind 4,5–4,9 %. Unter gleichen Bedingungen ist der Abstand zu den besten Cloud-Systemen also etwas größer, als diese Spalten zeigen.
ElevenLabs Scribe v1 (self-reported) · Mistral Voxtral Mini Transcribe V2 (Voxtral Realtime paper, Table 7) · Whisper large-v3 (OpenAI, large-v3 release) · NVIDIA Canary-1B-v2 (Canary-1B-v2 paper, Table 11)
Gemessen auf dieser Seite in Chrome auf Apple M2 (8 cores), mit 3 parallel arbeitenden Erkennern, wie es die Seite standardmäßig tut: etwa 20-mal schneller als Echtzeit. Rechner mit weniger Kernen, Smartphones und Tabs im Hintergrund sind langsamer.