מטעם המו״ל · ITANU
המגזין הזה יוצא לאור על ידי ITANU, שגם מפתחת את המוצרים שהכתבה עוסקת בהם. זו עמדת החברה, לא דיווח חדשותי.
אף מנוע לא עקף את Oracle Max של KolWrite בחמש שפות במבחן פומבי
במבחן FLEURS בחמש שפות, אף מנוע בדירוג Open ASR Leaderboard לא רשם שיעור שגיאות נמוך מזה של Oracle Max. באיטלקית עמד שיעור השגיאות שלו על 0.72%.
המספרים בסוגריים מקשרים למקורות שמופיעים בהמשך.
ב־21 וב־22 בנובמבר 2026 בדקנו את Oracle Max, מסלול הענן המתקדם ביותר ביישום התמלול שלנו KolWrite, במבחן FLEURS בחמש שפות. הבדיקה כללה איטלקית, גרמנית, ספרדית, פורטוגזית כפי שמדברים אותה בברזיל וצרפתית[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. בסך הכול נבדקו 4,230 משפטים מוקלטים, כ־15 שעות דיבור[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. דירוג Open ASR Leaderboard מפרסם תוצאות של 46 עד 48 מנועים אחרים לאותם קטעים[3Hugging FaceOpen ASR Leaderboardפתיחת המקורמקורות [3]]. בארבע מהשפות רשם Oracle Max את שיעור השגיאות הנמוך ביותר במילים, ובספרדית רשם מנוע נוסף שיעור שגיאות זהה[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1], 3Hugging FaceOpen ASR Leaderboardפתיחת המקורמקורות [3]].
התוצאות בחמש השפות
לחישוב שיעור השגיאות במילים סופרים את המילים שהמנוע החליף, השמיט או הוסיף, ומחלקים את הסכום במספר המילים שנאמרו[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. לצד התוצאה שלנו בכל שפה מופיעה התוצאה הטובה ביותר של מנוע אחר בדירוג[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1], 3Hugging FaceOpen ASR Leaderboardפתיחת המקורמקורות [3]].
- איטלקית — Oracle Max עם 0.72%, מול 0.90% ל־ElevenLabs Scribe v2[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1], 3Hugging FaceOpen ASR Leaderboardפתיחת המקורמקורות [3]]
- גרמנית — Oracle Max עם 1.58%, מול 1.62% ל־Microsoft Azure Speech[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1], 3Hugging FaceOpen ASR Leaderboardפתיחת המקורמקורות [3]]
- ספרדית — Oracle Max עם 1.76%, מול 1.76% ל־Microsoft Azure Speech[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1], 3Hugging FaceOpen ASR Leaderboardפתיחת המקורמקורות [3]]
- פורטוגזית — Oracle Max עם 2.35%, מול 2.45% ל־Microsoft Azure Speech[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1], 3Hugging FaceOpen ASR Leaderboardפתיחת המקורמקורות [3]]
- צרפתית — Oracle Max עם 2.54%, מול 2.64% ל־Microsoft Azure Speech[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1], 3Hugging FaceOpen ASR Leaderboardפתיחת המקורמקורות [3]]
באיטלקית תמלל Oracle Max ללא שגיאה 753 מתוך 865 המשפטים. בסך הכול נרשמו 152 שגיאות ב־21,223 מילים[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. לפי הדירוג, שיעור השגיאות של gpt-transcribe מבית OpenAI היה 1.35% באיטלקית ו־3.45% בצרפתית. התוצאות של Universal-3.5 Pro מבית AssemblyAI היו 1.03% ו־2.82%, בהתאמה[3Hugging FaceOpen ASR Leaderboardפתיחת המקורמקורות [3]].
אותם קטעים ואותה שיטת חישוב
מאגר FLEURS כולל הקלטות של משפטים שהוקראו ב־102 שפות[2arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of Speechפתיחת המקורמקורות [2]]. השתמשנו בקטעי המבחן ובתמלילי הייחוס המשמשים את הדירוג, וחישבנו את התוצאות של Oracle Max בעזרת הקוד שפרסמו עורכי הדירוג[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. לפני ההשוואה הרצנו את העותק שלנו של הקוד על קובצי הדירוג עצמם. בכל 169 התוצאות היה הפער מהנתון בטבלה לכל היותר 0.13 נקודות אחוז[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]].
שלחנו את הקטעים דרך ה־API הציבורי של KolWrite, אותו שירות שמשמש את הלקוחות, וציינו את שפת ההקלטה[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. כל קטע נכלל בחישוב, והתקבל תמליל לכל קטע[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]].
השוואה של כל קטע בנפרד
בכל שפה מתפרסם בדירוג תמליל לכל קטע עבור 33 או 34 מנועים. כך אפשר להשוות בין שני מנועים על אותם משפטים בדיוק[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. דגמנו מחדש את הקטעים באקראי 10,000 פעמים, ובכל מדגם חישבנו את שיעור השגיאות של שני המנועים[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. באיטלקית, בגרמנית ובצרפתית היה שיעור השגיאות של Oracle Max נמוך מזה של כל אחד מהמנועים האלה. בכל השוואה, רווח הסמך של 95% להפרש לא כלל את האפס[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]].
בספרדית ובפורטוגזית התקבלה אותה תוצאה מול 33 מתוך 34 המנועים[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. מול המנוע הנוסף, Voxtral Small של מיסטרל (Mistral), הפער היה כעשירית נקודת אחוז, קטן מכדי לקבוע לאיזה מנוע יש יתרון[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. אף מנוע שפורסמו עבורו תמלילים לכל קטע לא רשם שיעור שגיאות נמוך מזה של Oracle Max באף אחת מחמש השפות[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]].
מנועים שלא פורסמו עבורם תמלילים
עבור Microsoft Azure Speech, ElevenLabs, AssemblyAI ו־OpenAI מופיעה בדירוג תוצאה כוללת אחת לכל שפה, ללא קובץ תמלילים לפי קטע[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. אפשר להשוות בין התוצאות הכוללות, אך אין דרך לבדוק את מובהקות הפער[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. בגרמנית, בספרדית, בפורטוגזית ובצרפתית התוצאה של Azure נמצאת בתוך רווח הסמך של 95% של Oracle Max, כך שבארבע השפות האלה התוצאות קרובות[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. באיטלקית הגבול העליון של רווח הסמך הוא 0.86%, נמוך משיעור השגיאות של כל מנוע אחר[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]].
הדירוג כולל מבחנים נוספים בשפות האלה, ואנחנו הרצנו רק את FLEURS[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. ההקלטות במאגר הן של טקסט מוקרא בתנאי שמע נקיים. פגישות ושיחות טלפון קשות יותר לתמלול לכל המנועים[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. בדקנו גם שפות נוספות. בחמש השפות המוצגות כאן לא רשם אף מנוע בדירוג שיעור שגיאות נמוך יותר במבחן הזה[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]].
איך לבדוק את התוצאות
כל תמליל ותוצאתו פתוחים לעיון הציבור[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]]. הקובץ באיטלקית זמין בכתובת itanu.org/data/oracle-max-italian-fleurs-865-2026-11-22.csv. במסמך הנלווה oracle-max-five-languages-fleurs-2026-11-22.md מופיעים קישורים לארבעת הקבצים האחרים ופירוט שיטת הבדיקה[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026פתיחת המקורמקורות [1]].
מקורות
- 1חומר שנמסר על ידי ITANU Studios Ltd
חומר שנמסרKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026נצפה
- 2
- 3Open ASR Leaderboard
עצמאיHugging Faceנצפה
מערכת החדשות של ITANU הפיקה את הכתבה בעזרת בינה מלאכותית ובדקה אותה מול המקורות שמופיעים למעלה. איך אנחנו עובדים
