כמה באמת עולה הוויתור על ההעלאה
מודל דיבור שנכנס לדפדפן קטן ממודל שרץ על מדף שרתים. זה גודל הפער, נמדד על אותו אודיו, לכל השפות.
שיעור שגיאות מילה, נמוך יותר טוב יותר · FLEURS test · n = 111–120 · 2026-09-26
איך זה נמדד
שתי המערכות קיבלו את אותם 150 משפטים לכל שפה ממאגר הבדיקה FLEURS של גוגל, על אותו מחשב, עם אותה נורמליזציה: אותיות גדולות/קטנות ופיסוק אינם נספרים. משפט מוצא לגמרי אם טקסט הייחוס, או הפלט של אחת המערכות, מכיל ספרות — "1940" ו"אלף תשע מאות ארבעים" שניהם נכונים, ואין כלל אחד שמנרמל את זה על פני כל השפות. אותם משפטים מוסרים לשתי המערכות, וההסרה מרחיבה את הפער ולא מצמצמת אותו. מערכת הייחוס היא Whisper large-v3, המודל שרוב שירותי התמלול המקוונים החינמיים מריצים, בקוונטיזציה q5_0. הרבה שירותים חינמיים מריצים בפועל גרסה קטנה יותר של Whisper, ולכן הפער שמוצג כאן הוא הרחב ביותר שכדאי לצפות לו.
מה המספרים האלה לא אומרים
FLEURS הוא דיבור מוקרא שהוקלט בתנאים שקטים, ולכן שני הטורים אופטימיים לעומת הקלטת ישיבה אמיתית. קראו את הפער בין הטורים, לא את הערכים המוחלטים. כמו כן FLEURS כולל רק ספרדית לטינו-אמריקאית ופורטוגזית ברזילאית, כך שהגרסאות האירופיות של שתי השפות האלה לא נמדדו בנפרד.
מהירות היא חלק מזמן האמת שנדרש לתמלול: 0.20× אומר שהקלטה של שעה לוקחת שתים־עשרה דקות. נמדד על מחשב נייד של אפל עם שבב M; אצלכם זה יהיה אחרת.