# המנוע Oracle Max של KolWrite רשם את שיעור השגיאות הנמוך מבין 22 מנועי תמלול במבחן פומבי בעברית

**מטעם המו״ל · ITANU**

בכל 792 קטעי ההקלטה בעברית במבחן FLEURS, שיעור השגיאות במילים של Oracle Max היה 12.6%. באותם קטעים נע שיעור השגיאות של 21 המנועים בדירוג הפומבי של ivrit.ai בין 17.4% ל־46.0%.

תוכנה · מאת מערכת מגזין ITANU · פורסם 2026-11-21T08:59:00.000Z · 3 דק׳ קריאה

## עיקרי הדברים

- ב־21 בנובמבר 2026 בדקנו את Oracle Max בכל 792 קטעי ההקלטה בעברית של FLEURS ומדדנו שיעור שגיאות של 12.6% במילים.
- בדירוג התמלול בעברית של ivrit.ai מופיעות תוצאות של 21 מנועים באותם קטעים. שיעור השגיאות הנמוך ביותר שפורסם בו הוא 17.4%.
- בהשוואה של כל קטע בנפרד, מספר השגיאות במילים של Oracle Max היה נמוך ב־29% מזה של Soniox וב־31% מזה של ElevenLabs Scribe v1.

ב־21 בנובמבר 2026 בדקנו את Oracle Max, מסלול הענן הבכיר ב־KolWrite, אפליקציית התמלול שלנו, בכל קטעי העברית של FLEURS. זהו מאגר דיבור פומבי למבחני תמלול, ובחלק שנבדק יש 792 משפטים מוקלטים ובהם 13,751 מילים [1]. שיעור השגיאות במילים היה 12.6% [1]. בדירוג התמלול בעברית של ivrit.ai מופיעות תוצאות של 21 מנועים באותם קטעים, ושיעורי השגיאות שלהם נעים בין 17.4% ל־46.0% [2].

## שיעורי השגיאות שפורסמו

כדי לחשב את שיעור השגיאות במילים, סופרים את המילים שהמנוע תמלל באופן שגוי, השמיט או הוסיף, ומחלקים את הסכום במספר המילים שנאמרו [1]. אלה שיעורי השגיאות בקטעי העברית של FLEURS שמדדנו אצלנו ושפורסמו בטבלת הדירוג לשישה מנועים נוספים [1][2].

- KolWrite Oracle Max — 12.6% [1]
- Soniox — 17.7% [2]
- ElevenLabs Scribe v1 — 18.1% [2]
- OpenAI gpt-4o-transcribe — 21.0% [2]
- Amazon Transcribe — 23.0% [2]
- Deepgram Nova-3 — 23.3% [2]
- Google Speech — 38.5% [2]

את שיעור השגיאות הנמוך בטבלת הדירוג, 17.4%, רשם מודל לעברית שפרסמה ivrit.ai עצמה [2]. שיעור השגיאות של Oracle Max, שעמד על 12.6%, נמוך מזה של כל 21 המנועים [1]. בשיעור הזה המנוע מתמלל במדויק שבע מכל שמונה מילים. הספירה מחמירה, וגם שם שנכתב באיות חלופי נספר כשגיאה [1].

## אותם קטעים ואותה שיטת חישוב

המאגר FLEURS כולל משפטים שהוקראו והוקלטו ב־102 שפות, בהיקף של כ־12 שעות דיבור בכל שפה [3]. חלק המבחן בעברית כולל 792 קטעים [1]. חישבנו את הציון של Oracle Max בשיטה שפרסמה ivrit.ai לצורך הדירוג. הסרנו ניקוד וסימני פיסוק, ביטלנו את ההבחנה בין אותיות גדולות לקטנות וחישבנו שיעור שגיאות אחד לכל המילים בכל הקטעים [1]. לפני הבדיקה שחזרנו בעותק שלנו של קוד החישוב את הנתונים שבטבלת הדירוג, בסטייה של עד 0.17 נקודת אחוז [1].

בחרנו בעברית כשפת התמלול ושלחנו את הקטעים דרך ה־API הציבורי של KolWrite, אותו שירות שמשמש את הלקוחות [1]. כל 792 הקטעים נכללו בחישוב [1]. בקטע אחד המנוע לא החזיר טקסט, ולכן כל המילים בו נספרו כשגיאות [1].

## יתרון ב־10,000 מתוך 10,000 דגימות חוזרות

הפער בין שיעורי השגיאות של שני מנועים עשוי להשתנות לפי המשפטים שנכללו במבחן [1]. כדי לבדוק את הפער שמדדנו, לקחנו את התמלילים שפורסמו בדירוג עבור 16 מתוך 21 המנועים והשווינו אותם לתמלילים של Oracle Max, קטע אחר קטע [1]. דגמנו מחדש את 792 הקטעים באקראי 10,000 פעמים וחישבנו את הציון של שני הצדדים בכל מדגם [1]. בכל 10,000 המדגמים היה שיעור השגיאות של Oracle Max נמוך מזה של כל אחד מ־16 המנועים [1].

מבין המנועים האלה, Soniox היה הקרוב ביותר ל־Oracle Max [1]. הפער לטובת Oracle Max היה 5.1 נקודות אחוז, ורווח הסמך של 95% לפער נע בין 4.3 ל־5.9 נקודות אחוז [1]. במניין השגיאות במילים נרשמו 1,734 לעומת 2,435, כלומר 29% פחות [1]. בהשוואה ל־ElevenLabs Scribe v1 רשם Oracle Max פחות שגיאות במילים ב־31%, בהשוואה ל־gpt-4o-transcribe של OpenAI ב־40%, ובהשוואה ל־Google Speech ב־67% [1].

המנוע Oracle Max תמלל 309 מתוך 792 המשפטים בלי שגיאה אחת [1]. המספר הגבוה ביותר של משפטים שתומללו בלי שגיאה בקרב 16 המנועים היה 218 [1]. לחמשת המנועים האחרים לא פורסמו תמלילים למבחן הזה. שיעורי השגיאות שפורסמו עבורם נעים בין 17.4% ל־24.5%, וכולם גבוהים מהגבול העליון של רווח הסמך של 95% עבור Oracle Max, שעומד על 14.1% [1].

## מה נכלל במבחן

המבחן נערך פעם אחת, ב־21 בנובמבר 2026, וכלל משפטים שהוקראו בעברית מפי דובר אחד בכל קטע [1]. התוצאות של יתר המנועים התקבלו בבדיקות שערכה ivrit.ai בגרסאות המצוינות בדירוג [1]. אנחנו עורכים את אותה השוואה בשפות נוספות ונפרסם כל השוואה עם הקבצים שלה [1].

## כך אפשר לבדוק את התוצאות

כל אחד מ־792 התמלילים מופיע לצד משפט הייחוס והציון שלו בקובץ הפומבי בכתובת itanu.org/data/oracle-max-hebrew-fleurs-792-2026-11-21.csv [1]. המסמך המצורף מפרט את שיטת החישוב וכולל את טבלת ההשוואות המלאה ואת ערך האתחול של מחולל המספרים האקראיים [1]. גם התמלילים שבדירוג פתוחים לציבור, כך שכל אחד יכול לחזור על ההשוואה [1].

## מקורות

1. [KolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026](https://itanu.org/magazine/standards/), ITANU Studios Ltd (חומר שנמסר)
2. [benchmark.csv · ivrit-ai/hebrew-transcription-leaderboard](https://huggingface.co/spaces/ivrit-ai/hebrew-transcription-leaderboard/blob/main/benchmark.csv), ivrit.ai (עצמאי)
3. [FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech](https://arxiv.org/abs/2205.12446), arXiv (ראשוני)

מערכת החדשות של ITANU הפיקה את הכתבה בעזרת בינה מלאכותית ובדקה אותה מול המקורות שמופיעים למעלה.

Canonical: https://itanu.org/he/magazine/kolwrite-s-oracle-max-scores-the-lowest-hebrew-error-rate-on-a-zzmjkzdz/
