RedPanda Transcribe

כמה באמת עולה הוויתור על ההעלאה

מודל דיבור שנכנס לדפדפן קטן ממודל שרץ על מדף שרתים. זה גודל הפער, נמדד על אותו אודיו, לכל השפות.

שפה
הורדה
זמן לכל שעת אודיו
הכלי הזה (בדפדפן שלכם)
Whisper large-v3 (רמת ענן)
התוצאה הטובה ביותר שפורסמה
אנגלית
הורדה110 MB
זמן לכל שעת אודיו≈ 3.0 דק׳
הכלי הזה (בדפדפן שלכם)6.90 %
Whisper large-v3 (רמת ענן)3.76 %
התוצאה הטובה ביותר שפורסמה3.3 %Mistral Voxtral Mini Transcribe V2
איטלקית
הורדה111 MB
זמן לכל שעת אודיו≈ 3.1 דק׳
הכלי הזה (בדפדפן שלכם)3.14 %
Whisper large-v3 (רמת ענן)2.45 %
התוצאה הטובה ביותר שפורסמה1.3 %ElevenLabs Scribe v1
גרמנית
הורדה109 MB
זמן לכל שעת אודיו≈ 3.3 דק׳
הכלי הזה (בדפדפן שלכם)10.05 %
Whisper large-v3 (רמת ענן)2.88 %
התוצאה הטובה ביותר שפורסמה2.7 %ElevenLabs Scribe v1
ספרדית
הורדה112 MB
זמן לכל שעת אודיו≈ 3.2 דק׳
הכלי הזה (בדפדפן שלכם)2.81 %
Whisper large-v3 (רמת ענן)1.42 %
התוצאה הטובה ביותר שפורסמה2.0 %ElevenLabs Scribe v1
צרפתית
הורדה112 MB
זמן לכל שעת אודיו≈ 3.0 דק׳
הכלי הזה (בדפדפן שלכם)8.32 %
Whisper large-v3 (רמת ענן)4.32 %
התוצאה הטובה ביותר שפורסמה3.1 %ElevenLabs Scribe v1
הולנדית
הורדה112 MB
זמן לכל שעת אודיו≈ 3.3 דק׳
הכלי הזה (בדפדפן שלכם)10.01 %
Whisper large-v3 (רמת ענן)4.61 %
התוצאה הטובה ביותר שפורסמה3.4 %ElevenLabs Scribe v1
פורטוגזית
הורדה111 MB
זמן לכל שעת אודיו≈ 3.2 דק׳
הכלי הזה (בדפדפן שלכם)4.99 %
Whisper large-v3 (רמת ענן)3.13 %
התוצאה הטובה ביותר שפורסמה2.3 %ElevenLabs Scribe v1
טורקית
הורדה110 MB
זמן לכל שעת אודיו≈ 3.1 דק׳
הכלי הזה (בדפדפן שלכם)6.81 %
Whisper large-v3 (רמת ענן)5.62 %
התוצאה הטובה ביותר שפורסמה3.8 %ElevenLabs Scribe v1
שוודית
הורדה112 MB
זמן לכל שעת אודיו≈ 3.2 דק׳
הכלי הזה (בדפדפן שלכם)8.71 %
Whisper large-v3 (רמת ענן)6.28 %
התוצאה הטובה ביותר שפורסמה3.4 %ElevenLabs Scribe v1
רוסית
הורדה22 MB
זמן לכל שעת אודיו≈ 1.4 דק׳
הכלי הזה (בדפדפן שלכם)9.55 %
Whisper large-v3 (רמת ענן)3.78 %
התוצאה הטובה ביותר שפורסמה3.1 %ElevenLabs Scribe v1

שיעור שגיאות מילה, נמוך יותר טוב יותר · FLEURS test · n = 111–120 · 2026-09-26

איך זה נמדד

שתי המערכות קיבלו את אותם 150 משפטים לכל שפה ממאגר הבדיקה FLEURS של גוגל, על אותו מחשב, עם אותה נורמליזציה: אותיות גדולות/קטנות ופיסוק אינם נספרים. משפט מוצא לגמרי אם טקסט הייחוס, או הפלט של אחת המערכות, מכיל ספרות — "1940" ו"אלף תשע מאות ארבעים" שניהם נכונים, ואין כלל אחד שמנרמל את זה על פני כל השפות. אותם משפטים מוסרים לשתי המערכות, וההסרה מרחיבה את הפער ולא מצמצמת אותו. מערכת הייחוס היא Whisper large-v3, המודל שרוב שירותי התמלול המקוונים החינמיים מריצים, בקוונטיזציה q5_0. הרבה שירותים חינמיים מריצים בפועל גרסה קטנה יותר של Whisper, ולכן הפער שמוצג כאן הוא הרחב ביותר שכדאי לצפות לו.

מה המספרים האלה לא אומרים

FLEURS הוא דיבור מוקרא שהוקלט בתנאים שקטים, ולכן שני הטורים אופטימיים לעומת הקלטת ישיבה אמיתית. קראו את הפער בין הטורים, לא את הערכים המוחלטים. כמו כן FLEURS כולל רק ספרדית לטינו-אמריקאית ופורטוגזית ברזילאית, כך שהגרסאות האירופיות של שתי השפות האלה לא נמדדו בנפרד.

העמודה האחרונה היא שיעור השגיאות הנמוך ביותר שפורסם לכל שפה ב-FLEURS, על ידי מפתחי המערכת או במאמר מחקר — לא מדדנו אותו בעצמנו. המספרים האלה מבוססים על סט הבדיקה המלא ועל חישוב מחמיר יותר משלנו: אותו Whisper large-v3 מקבל כאן 2.9% בגרמנית, אבל 4.5–4.9% לפי מה שפורסם. בתנאים שווים, הפער מהמערכות הטובות בענן גדול מעט ממה שהעמודות מראות.

ElevenLabs Scribe v1 (self-reported) · Mistral Voxtral Mini Transcribe V2 (Voxtral Realtime paper, Table 7) · Whisper large-v3 (OpenAI, large-v3 release) · NVIDIA Canary-1B-v2 (Canary-1B-v2 paper, Table 11)

נמדד בדף הזה ב-Chrome על Apple M2 (8 cores), עם 3 מנועי זיהוי שעובדים במקביל כמו שהאתר עושה כברירת מחדל: מהיר בערך פי 20 מזמן אמת. מחשבים עם פחות ליבות, טלפונים ולשוניות שנשארו ברקע איטיים יותר.