De l’éditeur · ITANU
ITANU publie ce magazine et développe les produits dont traite cet article. C’est le point de vue de l’entreprise, pas un article d’information.
Oracle Max de KolWrite fait le moins d’erreurs en hébreu sur 22 moteurs de transcription dans un test public
Sur les 792 extraits en hébreu du test FLEURS, le taux d’erreur par mot d’Oracle Max s’établit à 12,6 %. Pour les 21 moteurs du classement public d’ivrit.ai, les taux vont de 17,4 % à 46,0 % sur les mêmes extraits.
Les numéros entre crochets renvoient aux sources ci-dessous.
Le 21 novembre 2026, nous avons testé Oracle Max, l’offre en ligne la plus avancée de notre application de transcription KolWrite, sur tous les extraits en hébreu de FLEURS. Ce jeu de données vocales public compte, pour ce test en hébreu, 792 phrases enregistrées, soit 13 751 mots[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Nous avons mesuré un taux d’erreur par mot de 12,6 %[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Le classement d’ivrit.ai pour la transcription en hébreu publie les résultats de 21 moteurs sur les mêmes extraits, avec des taux d’erreur allant de 17,4 % à 46,0 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardOuvrir la sourceSources [2]].
Les chiffres publiés
Pour calculer le taux d’erreur par mot, on additionne les mots mal transcrits, omis ou ajoutés par le moteur, puis on divise ce total par le nombre de mots prononcés[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Voici le taux mesuré pour notre moteur sur les extraits en hébreu de FLEURS et ceux de six moteurs figurant au classement[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1], 2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardOuvrir la sourceSources [2]].
- KolWrite Oracle Max — 12,6 %[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]
- Soniox — 17,7 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardOuvrir la sourceSources [2]]
- ElevenLabs Scribe v1 — 18,1 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardOuvrir la sourceSources [2]]
- OpenAI gpt-4o-transcribe — 21,0 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardOuvrir la sourceSources [2]]
- Amazon Transcribe — 23,0 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardOuvrir la sourceSources [2]]
- Deepgram Nova-3 — 23,3 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardOuvrir la sourceSources [2]]
- Google Speech — 38,5 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardOuvrir la sourceSources [2]]
Le taux le plus bas du tableau, 17,4 %, est celui d’un modèle pour l’hébreu publié par ivrit.ai elle-même[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardOuvrir la sourceSources [2]]. À 12,6 %, le taux d’Oracle Max est inférieur à celui de chacun des 21 moteurs[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. À ce niveau, le moteur transcrit exactement sept mots sur huit. Le décompte est strict et retient comme erreur un nom écrit avec une autre orthographe[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]].
Les mêmes extraits et la même méthode de calcul
FLEURS rassemble des phrases lues à voix haute et enregistrées dans 102 langues, à raison d’environ 12 heures de parole par langue[3arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of SpeechOuvrir la sourceSources [3]]. Le jeu de test en hébreu compte 792 extraits[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Nous avons évalué Oracle Max selon la méthode publiée par ivrit.ai pour son classement. Nous avons retiré les signes vocaliques et la ponctuation, puis neutralisé la distinction entre majuscules et minuscules avant de calculer un taux d’erreur unique sur l’ensemble des mots de tous les extraits[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Avant le test, notre copie du code d’évaluation avait permis de reproduire les chiffres du tableau à 0,17 point de pourcentage près[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]].
Nous avons sélectionné l’hébreu et transmis les extraits par l’API publique de KolWrite, le même service que celui qu’utilisent les clients[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Le calcul porte sur les 792 extraits[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Pour l’un d’eux, le moteur n’a renvoyé aucun texte. Chaque mot a donc été compté comme une erreur[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]].
En tête dans 10 000 rééchantillonnages sur 10 000
L’écart entre deux taux d’erreur peut dépendre des phrases retenues pour un test[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Pour vérifier l’écart mesuré, nous avons repris les transcriptions publiées pour 16 des 21 moteurs du classement et les avons comparées à celles d’Oracle Max, extrait par extrait[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. À partir des 792 extraits, nous avons tiré au hasard 10 000 nouveaux échantillons et évalué les deux moteurs de chaque comparaison sur chacun d’eux[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Dans les 10 000 échantillons, Oracle Max a obtenu un taux d’erreur inférieur à celui de chacun des 16 moteurs[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]].
De tous ces moteurs, Soniox est le plus proche d’Oracle Max[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. L’écart en faveur d’Oracle Max est de 5,1 points de pourcentage, avec un intervalle de confiance à 95 % allant de 4,3 à 5,9 points[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. En nombre de mots, cela représente 1 734 erreurs contre 2 435, soit 29 % de moins[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Oracle Max a commis 31 % d’erreurs de moins sur les mots qu’ElevenLabs Scribe v1, 40 % de moins que gpt-4o-transcribe d’OpenAI et 67 % de moins que Google Speech[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]].
Oracle Max a transcrit 309 des 792 phrases sans la moindre erreur[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Parmi les 16 moteurs, le meilleur résultat est de 218 phrases sans erreur[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Les cinq autres moteurs ne publient pas de transcriptions pour ce jeu de test. Leurs taux d’erreur publiés, compris entre 17,4 % et 24,5 %, dépassent tous la borne supérieure de l’intervalle de confiance à 95 % d’Oracle Max, qui se situe à 14,1 %[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]].
Le périmètre du test
Nous avons réalisé un seul essai, le 21 novembre 2026, sur des phrases lues en hébreu, avec un seul locuteur par extrait[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Les chiffres des autres moteurs proviennent des essais menés par ivrit.ai avec les versions indiquées dans son classement[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Nous effectuons la même comparaison dans d’autres langues et publierons chacune avec les fichiers correspondants[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]].
Comment vérifier les résultats
Chacune des 792 transcriptions figure avec sa phrase de référence et son score dans le fichier public itanu.org/data/oracle-max-hebrew-fleurs-792-2026-11-21.csv[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. La note qui l’accompagne détaille la méthode, présente le tableau complet des comparaisons et précise la graine utilisée pour le tirage aléatoire[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]]. Les transcriptions du classement sont également publiques, ce qui permet à chacun de reproduire la comparaison[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Ouvrir la sourceSources [1]].
Sources
- 1Document fourni par ITANU Studios Ltd
FourniKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Consultée
- 2benchmark.csv · ivrit-ai/hebrew-transcription-leaderboard
Indépendanteivrit.aiConsultée
- 3FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech
PrimairearXivConsultée
Le système éditorial d’ITANU a produit cet article avec l’IA et l’a vérifié auprès des sources citées ci-dessus. Notre méthode

