מטעם המו״ל · ITANU

המגזין הזה יוצא לאור על ידי ITANU, שגם מפתחת את המוצרים שהכתבה עוסקת בהם. זו עמדת החברה, לא דיווח חדשותי.

המנוע Oracle Max של KolWrite רשם את שיעור השגיאות הנמוך מבין 22 מנועי תמלול במבחן פומבי בעברית

בכל 792 קטעי ההקלטה בעברית במבחן FLEURS, שיעור השגיאות במילים של Oracle Max היה 12.6%. באותם קטעים נע שיעור השגיאות של 21 המנועים בדירוג הפומבי של ivrit.ai בין 17.4% ל־46.0%.

המספרים בסוגריים מקשרים למקורות שמופיעים בהמשך.

ב־21 בנובמבר 2026 בדקנו את Oracle Max, מסלול הענן הבכיר ב־KolWrite, אפליקציית התמלול שלנו, בכל קטעי העברית של FLEURS. זהו מאגר דיבור פומבי למבחני תמלול, ובחלק שנבדק יש 792 משפטים מוקלטים ובהם 13,751 מילים[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. שיעור השגיאות במילים היה 12.6%[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. בדירוג התמלול בעברית של ivrit.ai מופיעות תוצאות של 21 מנועים באותם קטעים, ושיעורי השגיאות שלהם נעים בין 17.4% ל־46.0%[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardפתיחת המקורמקורות [2]].

שיעורי השגיאות שפורסמו

כדי לחשב את שיעור השגיאות במילים, סופרים את המילים שהמנוע תמלל באופן שגוי, השמיט או הוסיף, ומחלקים את הסכום במספר המילים שנאמרו[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. אלה שיעורי השגיאות בקטעי העברית של FLEURS שמדדנו אצלנו ושפורסמו בטבלת הדירוג לשישה מנועים נוספים[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1], 2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardפתיחת המקורמקורות [2]].

את שיעור השגיאות הנמוך בטבלת הדירוג, 17.4%, רשם מודל לעברית שפרסמה ivrit.ai עצמה[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardפתיחת המקורמקורות [2]]. שיעור השגיאות של Oracle Max, שעמד על 12.6%, נמוך מזה של כל 21 המנועים[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. בשיעור הזה המנוע מתמלל במדויק שבע מכל שמונה מילים. הספירה מחמירה, וגם שם שנכתב באיות חלופי נספר כשגיאה[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]].

אותם קטעים ואותה שיטת חישוב

המאגר FLEURS כולל משפטים שהוקראו והוקלטו ב־102 שפות, בהיקף של כ־12 שעות דיבור בכל שפה[3arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of Speechפתיחת המקורמקורות [3]]. חלק המבחן בעברית כולל 792 קטעים[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. חישבנו את הציון של Oracle Max בשיטה שפרסמה ivrit.ai לצורך הדירוג. הסרנו ניקוד וסימני פיסוק, ביטלנו את ההבחנה בין אותיות גדולות לקטנות וחישבנו שיעור שגיאות אחד לכל המילים בכל הקטעים[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. לפני הבדיקה שחזרנו בעותק שלנו של קוד החישוב את הנתונים שבטבלת הדירוג, בסטייה של עד 0.17 נקודת אחוז[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]].

בחרנו בעברית כשפת התמלול ושלחנו את הקטעים דרך ה־API הציבורי של KolWrite, אותו שירות שמשמש את הלקוחות[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. כל 792 הקטעים נכללו בחישוב[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. בקטע אחד המנוע לא החזיר טקסט, ולכן כל המילים בו נספרו כשגיאות[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]].

יתרון ב־10,000 מתוך 10,000 דגימות חוזרות

הפער בין שיעורי השגיאות של שני מנועים עשוי להשתנות לפי המשפטים שנכללו במבחן[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. כדי לבדוק את הפער שמדדנו, לקחנו את התמלילים שפורסמו בדירוג עבור 16 מתוך 21 המנועים והשווינו אותם לתמלילים של Oracle Max, קטע אחר קטע[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. דגמנו מחדש את 792 הקטעים באקראי 10,000 פעמים וחישבנו את הציון של שני הצדדים בכל מדגם[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. בכל 10,000 המדגמים היה שיעור השגיאות של Oracle Max נמוך מזה של כל אחד מ־16 המנועים[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]].

מבין המנועים האלה, Soniox היה הקרוב ביותר ל־Oracle Max[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. הפער לטובת Oracle Max היה 5.1 נקודות אחוז, ורווח הסמך של 95% לפער נע בין 4.3 ל־5.9 נקודות אחוז[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. במניין השגיאות במילים נרשמו 1,734 לעומת 2,435, כלומר 29% פחות[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. בהשוואה ל־ElevenLabs Scribe v1 רשם Oracle Max פחות שגיאות במילים ב־31%, בהשוואה ל־gpt-4o-transcribe של OpenAI ב־40%, ובהשוואה ל־Google Speech ב־67%[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]].

המנוע Oracle Max תמלל 309 מתוך 792 המשפטים בלי שגיאה אחת[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. המספר הגבוה ביותר של משפטים שתומללו בלי שגיאה בקרב 16 המנועים היה 218[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. לחמשת המנועים האחרים לא פורסמו תמלילים למבחן הזה. שיעורי השגיאות שפורסמו עבורם נעים בין 17.4% ל־24.5%, וכולם גבוהים מהגבול העליון של רווח הסמך של 95% עבור Oracle Max, שעומד על 14.1%[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]].

מה נכלל במבחן

המבחן נערך פעם אחת, ב־21 בנובמבר 2026, וכלל משפטים שהוקראו בעברית מפי דובר אחד בכל קטע[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. התוצאות של יתר המנועים התקבלו בבדיקות שערכה ivrit.ai בגרסאות המצוינות בדירוג[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. אנחנו עורכים את אותה השוואה בשפות נוספות ונפרסם כל השוואה עם הקבצים שלה[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]].

כך אפשר לבדוק את התוצאות

כל אחד מ־792 התמלילים מופיע לצד משפט הייחוס והציון שלו בקובץ הפומבי בכתובת itanu.org/data/oracle-max-hebrew-fleurs-792-2026-11-21.csv[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. המסמך המצורף מפרט את שיטת החישוב וכולל את טבלת ההשוואות המלאה ואת ערך האתחול של מחולל המספרים האקראיים[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]]. גם התמלילים שבדירוג פתוחים לציבור, כך שכל אחד יכול לחזור על ההשוואה[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026פתיחת המקורמקורות [1]].

מקורות

  1. 1
    חומר שנמסר על ידי ITANU Studios Ltd

    חומר שנמסרKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026נצפה

  2. 2
    benchmark.csv · ivrit-ai/hebrew-transcription-leaderboard

    עצמאיivrit.aiנצפה

  3. 3

מערכת החדשות של ITANU הפיקה את הכתבה בעזרת בינה מלאכותית ובדקה אותה מול המקורות שמופיעים למעלה. איך אנחנו עובדים

מגזין ITANU

חדשות טכנולוגיה, בינה מלאכותית ומדע