# Oracle Max de KolWrite fait le moins d’erreurs en hébreu sur 22 moteurs de transcription dans un test public

**De l’éditeur · ITANU**

Sur les 792 extraits en hébreu du test FLEURS, le taux d’erreur par mot d’Oracle Max s’établit à 12,6 %. Pour les 21 moteurs du classement public d’ivrit.ai, les taux vont de 17,4 % à 46,0 % sur les mêmes extraits.

Logiciels · Par Rédaction d’ITANU Magazine · Publié 2026-11-21T08:59:00.000Z · 4 min de lecture

## L’essentiel

- Le 21 novembre 2026, nous avons testé Oracle Max sur les 792 extraits en hébreu de FLEURS et mesuré un taux d’erreur par mot de 12,6 %.
- Le classement d’ivrit.ai pour l’hébreu présente les résultats de 21 moteurs sur les mêmes extraits. Le taux d’erreur le plus bas qui y figure est de 17,4 %.
- La comparaison extrait par extrait donne à Oracle Max 29 % d’erreurs de moins sur les mots que Soniox et 31 % de moins qu’ElevenLabs Scribe v1.

Le 21 novembre 2026, nous avons testé Oracle Max, l’offre en ligne la plus avancée de notre application de transcription KolWrite, sur tous les extraits en hébreu de FLEURS. Ce jeu de données vocales public compte, pour ce test en hébreu, 792 phrases enregistrées, soit 13 751 mots [1]. Nous avons mesuré un taux d’erreur par mot de 12,6 % [1]. Le classement d’ivrit.ai pour la transcription en hébreu publie les résultats de 21 moteurs sur les mêmes extraits, avec des taux d’erreur allant de 17,4 % à 46,0 % [2].

## Les chiffres publiés

Pour calculer le taux d’erreur par mot, on additionne les mots mal transcrits, omis ou ajoutés par le moteur, puis on divise ce total par le nombre de mots prononcés [1]. Voici le taux mesuré pour notre moteur sur les extraits en hébreu de FLEURS et ceux de six moteurs figurant au classement [1][2].

- KolWrite Oracle Max — 12,6 % [1]
- Soniox — 17,7 % [2]
- ElevenLabs Scribe v1 — 18,1 % [2]
- OpenAI gpt-4o-transcribe — 21,0 % [2]
- Amazon Transcribe — 23,0 % [2]
- Deepgram Nova-3 — 23,3 % [2]
- Google Speech — 38,5 % [2]

Le taux le plus bas du tableau, 17,4 %, est celui d’un modèle pour l’hébreu publié par ivrit.ai elle-même [2]. À 12,6 %, le taux d’Oracle Max est inférieur à celui de chacun des 21 moteurs [1]. À ce niveau, le moteur transcrit exactement sept mots sur huit. Le décompte est strict et retient comme erreur un nom écrit avec une autre orthographe [1].

## Les mêmes extraits et la même méthode de calcul

FLEURS rassemble des phrases lues à voix haute et enregistrées dans 102 langues, à raison d’environ 12 heures de parole par langue [3]. Le jeu de test en hébreu compte 792 extraits [1]. Nous avons évalué Oracle Max selon la méthode publiée par ivrit.ai pour son classement. Nous avons retiré les signes vocaliques et la ponctuation, puis neutralisé la distinction entre majuscules et minuscules avant de calculer un taux d’erreur unique sur l’ensemble des mots de tous les extraits [1]. Avant le test, notre copie du code d’évaluation avait permis de reproduire les chiffres du tableau à 0,17 point de pourcentage près [1].

Nous avons sélectionné l’hébreu et transmis les extraits par l’API publique de KolWrite, le même service que celui qu’utilisent les clients [1]. Le calcul porte sur les 792 extraits [1]. Pour l’un d’eux, le moteur n’a renvoyé aucun texte. Chaque mot a donc été compté comme une erreur [1].

## En tête dans 10 000 rééchantillonnages sur 10 000

L’écart entre deux taux d’erreur peut dépendre des phrases retenues pour un test [1]. Pour vérifier l’écart mesuré, nous avons repris les transcriptions publiées pour 16 des 21 moteurs du classement et les avons comparées à celles d’Oracle Max, extrait par extrait [1]. À partir des 792 extraits, nous avons tiré au hasard 10 000 nouveaux échantillons et évalué les deux moteurs de chaque comparaison sur chacun d’eux [1]. Dans les 10 000 échantillons, Oracle Max a obtenu un taux d’erreur inférieur à celui de chacun des 16 moteurs [1].

De tous ces moteurs, Soniox est le plus proche d’Oracle Max [1]. L’écart en faveur d’Oracle Max est de 5,1 points de pourcentage, avec un intervalle de confiance à 95 % allant de 4,3 à 5,9 points [1]. En nombre de mots, cela représente 1 734 erreurs contre 2 435, soit 29 % de moins [1]. Oracle Max a commis 31 % d’erreurs de moins sur les mots qu’ElevenLabs Scribe v1, 40 % de moins que gpt-4o-transcribe d’OpenAI et 67 % de moins que Google Speech [1].

Oracle Max a transcrit 309 des 792 phrases sans la moindre erreur [1]. Parmi les 16 moteurs, le meilleur résultat est de 218 phrases sans erreur [1]. Les cinq autres moteurs ne publient pas de transcriptions pour ce jeu de test. Leurs taux d’erreur publiés, compris entre 17,4 % et 24,5 %, dépassent tous la borne supérieure de l’intervalle de confiance à 95 % d’Oracle Max, qui se situe à 14,1 % [1].

## Le périmètre du test

Nous avons réalisé un seul essai, le 21 novembre 2026, sur des phrases lues en hébreu, avec un seul locuteur par extrait [1]. Les chiffres des autres moteurs proviennent des essais menés par ivrit.ai avec les versions indiquées dans son classement [1]. Nous effectuons la même comparaison dans d’autres langues et publierons chacune avec les fichiers correspondants [1].

## Comment vérifier les résultats

Chacune des 792 transcriptions figure avec sa phrase de référence et son score dans le fichier public itanu.org/data/oracle-max-hebrew-fleurs-792-2026-11-21.csv [1]. La note qui l’accompagne détaille la méthode, présente le tableau complet des comparaisons et précise la graine utilisée pour le tirage aléatoire [1]. Les transcriptions du classement sont également publiques, ce qui permet à chacun de reproduire la comparaison [1].

## Sources

1. [KolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026](https://itanu.org/magazine/standards/), ITANU Studios Ltd (Fourni)
2. [benchmark.csv · ivrit-ai/hebrew-transcription-leaderboard](https://huggingface.co/spaces/ivrit-ai/hebrew-transcription-leaderboard/blob/main/benchmark.csv), ivrit.ai (Indépendante)
3. [FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech](https://arxiv.org/abs/2205.12446), arXiv (Primaire)

Le système éditorial d’ITANU a produit cet article avec l’IA et l’a vérifié auprès des sources citées ci-dessus.

Canonical: https://itanu.org/fr/magazine/kolwrite-s-oracle-max-scores-the-lowest-hebrew-error-rate-on-a-zzmjkzdz/
