כמה באמת עולה הוויתור על ההעלאה
מודל דיבור שנכנס לדפדפן קטן ממודל שרץ על מדף שרתים. זה גודל הפער, נמדד על אותו אודיו, לכל השפות.
שיעור שגיאות מילה, נמוך יותר טוב יותר · FLEURS test · n = 111–120 · 2026-09-26
איך זה נמדד
שתי המערכות קיבלו את אותם 150 משפטים לכל שפה ממאגר הבדיקה FLEURS של גוגל, על אותו מחשב, עם אותה נורמליזציה: אותיות גדולות/קטנות ופיסוק אינם נספרים. משפט מוצא לגמרי אם טקסט הייחוס, או הפלט של אחת המערכות, מכיל ספרות — "1940" ו"אלף תשע מאות ארבעים" שניהם נכונים, ואין כלל אחד שמנרמל את זה על פני כל השפות. אותם משפטים מוסרים לשתי המערכות, וההסרה מרחיבה את הפער ולא מצמצמת אותו. מערכת הייחוס היא Whisper large-v3, המודל שרוב שירותי התמלול המקוונים החינמיים מריצים, בקוונטיזציה q5_0. הרבה שירותים חינמיים מריצים בפועל גרסה קטנה יותר של Whisper, ולכן הפער שמוצג כאן הוא הרחב ביותר שכדאי לצפות לו.
מה המספרים האלה לא אומרים
FLEURS הוא דיבור מוקרא שהוקלט בתנאים שקטים, ולכן שני הטורים אופטימיים לעומת הקלטת ישיבה אמיתית. קראו את הפער בין הטורים, לא את הערכים המוחלטים. כמו כן FLEURS כולל רק ספרדית לטינו-אמריקאית ופורטוגזית ברזילאית, כך שהגרסאות האירופיות של שתי השפות האלה לא נמדדו בנפרד.
העמודה האחרונה היא שיעור השגיאות הנמוך ביותר שפורסם לכל שפה ב-FLEURS, על ידי מפתחי המערכת או במאמר מחקר — לא מדדנו אותו בעצמנו. המספרים האלה מבוססים על סט הבדיקה המלא ועל חישוב מחמיר יותר משלנו: אותו Whisper large-v3 מקבל כאן 2.9% בגרמנית, אבל 4.5–4.9% לפי מה שפורסם. בתנאים שווים, הפער מהמערכות הטובות בענן גדול מעט ממה שהעמודות מראות.
ElevenLabs Scribe v1 (self-reported) · Mistral Voxtral Mini Transcribe V2 (Voxtral Realtime paper, Table 7) · Whisper large-v3 (OpenAI, large-v3 release) · NVIDIA Canary-1B-v2 (Canary-1B-v2 paper, Table 11)
נמדד בדף הזה ב-Chrome על Apple M2 (8 cores), עם 3 מנועי זיהוי שעובדים במקביל כמו שהאתר עושה כברירת מחדל: מהיר בערך פי 20 מזמן אמת. מחשבים עם פחות ליבות, טלפונים ולשוניות שנשארו ברקע איטיים יותר.