# אף מנוע לא עקף את Oracle Max של KolWrite בחמש שפות במבחן פומבי

**מטעם המו״ל · ITANU**

במבחן FLEURS בחמש שפות, אף מנוע בדירוג Open ASR Leaderboard לא רשם שיעור שגיאות נמוך מזה של Oracle Max. באיטלקית עמד שיעור השגיאות שלו על 0.72%.

תוכנה · מאת מערכת מגזין ITANU · פורסם 2026-11-22T20:01:43.000Z · 3 דק׳ קריאה

## עיקרי הדברים

- ב־21 וב־22 בנובמבר 2026 בדקנו את Oracle Max בכל 4,230 קטעי המבחן של FLEURS באיטלקית, בגרמנית, בספרדית, בפורטוגזית ובצרפתית.
- שיעור השגיאות במילים היה 0.72% באיטלקית, 1.58% בגרמנית, 1.76% בספרדית, 2.35% בפורטוגזית ו־2.54% בצרפתית.
- בדירוג Open ASR Leaderboard מופיעות תוצאות של 46 עד 48 מנועים אחרים לאותם קטעים. אף אחד מהם לא רשם שיעור שגיאות נמוך יותר באף אחת מחמש השפות.

ב־21 וב־22 בנובמבר 2026 בדקנו את Oracle Max, מסלול הענן המתקדם ביותר ביישום התמלול שלנו KolWrite, במבחן FLEURS בחמש שפות. הבדיקה כללה איטלקית, גרמנית, ספרדית, פורטוגזית כפי שמדברים אותה בברזיל וצרפתית [1]. בסך הכול נבדקו 4,230 משפטים מוקלטים, כ־15 שעות דיבור [1]. דירוג Open ASR Leaderboard מפרסם תוצאות של 46 עד 48 מנועים אחרים לאותם קטעים [3]. בארבע מהשפות רשם Oracle Max את שיעור השגיאות הנמוך ביותר במילים, ובספרדית רשם מנוע נוסף שיעור שגיאות זהה [1][3].

## התוצאות בחמש השפות

לחישוב שיעור השגיאות במילים סופרים את המילים שהמנוע החליף, השמיט או הוסיף, ומחלקים את הסכום במספר המילים שנאמרו [1]. לצד התוצאה שלנו בכל שפה מופיעה התוצאה הטובה ביותר של מנוע אחר בדירוג [1][3].

- איטלקית — Oracle Max עם 0.72%, מול 0.90% ל־ElevenLabs Scribe v2 [1][3]
- גרמנית — Oracle Max עם 1.58%, מול 1.62% ל־Microsoft Azure Speech [1][3]
- ספרדית — Oracle Max עם 1.76%, מול 1.76% ל־Microsoft Azure Speech [1][3]
- פורטוגזית — Oracle Max עם 2.35%, מול 2.45% ל־Microsoft Azure Speech [1][3]
- צרפתית — Oracle Max עם 2.54%, מול 2.64% ל־Microsoft Azure Speech [1][3]

באיטלקית תמלל Oracle Max ללא שגיאה 753 מתוך 865 המשפטים. בסך הכול נרשמו 152 שגיאות ב־21,223 מילים [1]. לפי הדירוג, שיעור השגיאות של gpt-transcribe מבית OpenAI היה 1.35% באיטלקית ו־3.45% בצרפתית. התוצאות של Universal-3.5 Pro מבית AssemblyAI היו 1.03% ו־2.82%, בהתאמה [3].

## אותם קטעים ואותה שיטת חישוב

מאגר FLEURS כולל הקלטות של משפטים שהוקראו ב־102 שפות [2]. השתמשנו בקטעי המבחן ובתמלילי הייחוס המשמשים את הדירוג, וחישבנו את התוצאות של Oracle Max בעזרת הקוד שפרסמו עורכי הדירוג [1]. לפני ההשוואה הרצנו את העותק שלנו של הקוד על קובצי הדירוג עצמם. בכל 169 התוצאות היה הפער מהנתון בטבלה לכל היותר 0.13 נקודות אחוז [1].

שלחנו את הקטעים דרך ה־API הציבורי של KolWrite, אותו שירות שמשמש את הלקוחות, וציינו את שפת ההקלטה [1]. כל קטע נכלל בחישוב, והתקבל תמליל לכל קטע [1].

## השוואה של כל קטע בנפרד

בכל שפה מתפרסם בדירוג תמליל לכל קטע עבור 33 או 34 מנועים. כך אפשר להשוות בין שני מנועים על אותם משפטים בדיוק [1]. דגמנו מחדש את הקטעים באקראי 10,000 פעמים, ובכל מדגם חישבנו את שיעור השגיאות של שני המנועים [1]. באיטלקית, בגרמנית ובצרפתית היה שיעור השגיאות של Oracle Max נמוך מזה של כל אחד מהמנועים האלה. בכל השוואה, רווח הסמך של 95% להפרש לא כלל את האפס [1].

בספרדית ובפורטוגזית התקבלה אותה תוצאה מול 33 מתוך 34 המנועים [1]. מול המנוע הנוסף, Voxtral Small של מיסטרל (Mistral), הפער היה כעשירית נקודת אחוז, קטן מכדי לקבוע לאיזה מנוע יש יתרון [1]. אף מנוע שפורסמו עבורו תמלילים לכל קטע לא רשם שיעור שגיאות נמוך מזה של Oracle Max באף אחת מחמש השפות [1].

## מנועים שלא פורסמו עבורם תמלילים

עבור Microsoft Azure Speech, ElevenLabs, AssemblyAI ו־OpenAI מופיעה בדירוג תוצאה כוללת אחת לכל שפה, ללא קובץ תמלילים לפי קטע [1]. אפשר להשוות בין התוצאות הכוללות, אך אין דרך לבדוק את מובהקות הפער [1]. בגרמנית, בספרדית, בפורטוגזית ובצרפתית התוצאה של Azure נמצאת בתוך רווח הסמך של 95% של Oracle Max, כך שבארבע השפות האלה התוצאות קרובות [1]. באיטלקית הגבול העליון של רווח הסמך הוא 0.86%, נמוך משיעור השגיאות של כל מנוע אחר [1].

הדירוג כולל מבחנים נוספים בשפות האלה, ואנחנו הרצנו רק את FLEURS [1]. ההקלטות במאגר הן של טקסט מוקרא בתנאי שמע נקיים. פגישות ושיחות טלפון קשות יותר לתמלול לכל המנועים [1]. בדקנו גם שפות נוספות. בחמש השפות המוצגות כאן לא רשם אף מנוע בדירוג שיעור שגיאות נמוך יותר במבחן הזה [1].

## איך לבדוק את התוצאות

כל תמליל ותוצאתו פתוחים לעיון הציבור [1]. הקובץ באיטלקית זמין בכתובת itanu.org/data/oracle-max-italian-fleurs-865-2026-11-22.csv. במסמך הנלווה oracle-max-five-languages-fleurs-2026-11-22.md מופיעים קישורים לארבעת הקבצים האחרים ופירוט שיטת הבדיקה [1].

## מקורות

1. [KolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026](https://itanu.org/magazine/standards/), ITANU Studios Ltd (חומר שנמסר)
2. [FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech](https://arxiv.org/abs/2205.12446), arXiv (עצמאי)
3. [Open ASR Leaderboard](https://huggingface.co/spaces/hf-audio/open_asr_leaderboard), Hugging Face (עצמאי)

מערכת החדשות של ITANU הפיקה את הכתבה בעזרת בינה מלאכותית ובדקה אותה מול המקורות שמופיעים למעלה.

Canonical: https://itanu.org/he/magazine/kolwrite-s-oracle-max-has-the-lowest-error-rate-in-italian-yeshwcec/
