De l’éditeur · ITANU
ITANU publie ce magazine et développe les produits dont traite cet article. C’est le point de vue de l’entreprise, pas un article d’information.
Aucun moteur ne devance Oracle Max de KolWrite dans cinq langues lors d’un test public
Dans cinq langues du test FLEURS, aucun moteur du classement Open ASR Leaderboard n’affiche un taux d’erreur sur les mots inférieur à celui d’Oracle Max. En italien, ce taux s’établit à 0,72 %.
Les numéros entre crochets renvoient aux sources ci-dessous.
Les 21 et 22 novembre 2026, nous avons soumis Oracle Max, la formule en ligne la plus avancée de notre application de transcription KolWrite, au test FLEURS dans cinq langues. L’évaluation portait sur l’italien, l’allemand, l’espagnol, le portugais du Brésil et le français[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. Au total, les 4 230 phrases enregistrées représentent environ 15 heures de parole[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. Le classement Open ASR Leaderboard publie les résultats de 46 à 48 autres moteurs sur les mêmes extraits[3Hugging FaceOpen ASR LeaderboardOuvrir la sourceSources [3]]. Dans quatre langues, Oracle Max affiche le taux d’erreur sur les mots le plus faible de tous. En espagnol, il arrive en tête à égalité avec un autre moteur[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1], 3Hugging FaceOpen ASR LeaderboardOuvrir la sourceSources [3]].
Les résultats dans les cinq langues
Pour calculer le taux d’erreur sur les mots, on additionne les mots que le moteur a remplacés, omis ou ajoutés, puis on divise ce total par le nombre de mots prononcés[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. Le résultat d’Oracle Max figure ici, pour chaque langue, à côté du meilleur taux obtenu par un autre moteur du classement[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1], 3Hugging FaceOpen ASR LeaderboardOuvrir la sourceSources [3]].
- Italien — Oracle Max à 0,72 %, ElevenLabs Scribe v2 à 0,90 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1], 3Hugging FaceOpen ASR LeaderboardOuvrir la sourceSources [3]]
- Allemand — Oracle Max à 1,58 %, Microsoft Azure Speech à 1,62 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1], 3Hugging FaceOpen ASR LeaderboardOuvrir la sourceSources [3]]
- Espagnol — Oracle Max à 1,76 %, Microsoft Azure Speech à 1,76 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1], 3Hugging FaceOpen ASR LeaderboardOuvrir la sourceSources [3]]
- Portugais — Oracle Max à 2,35 %, Microsoft Azure Speech à 2,45 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1], 3Hugging FaceOpen ASR LeaderboardOuvrir la sourceSources [3]]
- Français — Oracle Max à 2,54 %, Microsoft Azure Speech à 2,64 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1], 3Hugging FaceOpen ASR LeaderboardOuvrir la sourceSources [3]]
En italien, Oracle Max a transcrit sans erreur 753 des 865 phrases. Il a commis 152 erreurs sur un total de 21 223 mots[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. Le classement donne, pour gpt-transcribe d’OpenAI, un taux d’erreur de 1,35 % en italien et de 3,45 % en français. Pour Universal-3.5 Pro d’AssemblyAI, ces taux sont respectivement de 1,03 % et de 2,82 %[3Hugging FaceOpen ASR LeaderboardOuvrir la sourceSources [3]].
Les mêmes extraits et la même méthode de calcul
FLEURS réunit des enregistrements de phrases lues à voix haute dans 102 langues[2arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of SpeechOuvrir la sourceSources [2]]. Nous avons utilisé les extraits du test et les textes de référence retenus pour le classement, puis calculé les résultats d’Oracle Max avec le code publié par les auteurs du classement[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. Avant toute comparaison, nous avons recalculé les scores à partir des fichiers du classement avec notre copie de ce code. Pour les 169 résultats, l’écart avec le chiffre publié dans le tableau ne dépassait pas 0,13 point de pourcentage[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]].
Nous avons envoyé les extraits à l’API publique de KolWrite, le service qu’utilisent les clients, en précisant la langue[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. Tous les extraits entrent dans le calcul et chacun a donné lieu à une transcription[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]].
Une comparaison extrait par extrait
Selon la langue, le classement publie la transcription de chaque extrait pour 33 ou 34 moteurs. On peut ainsi comparer deux moteurs sur exactement les mêmes phrases[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. Par rééchantillonnage aléatoire des extraits, nous avons constitué 10 000 échantillons et calculé le score des deux moteurs sur chacun d’eux[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. En italien, en allemand et en français, le taux d’erreur d’Oracle Max était inférieur à celui de chacun de ces moteurs. Pour chaque comparaison, l’intervalle de confiance à 95 % de l’écart excluait zéro[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]].
En espagnol et en portugais, le constat est le même face à 33 des 34 moteurs[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. Face au dernier, Voxtral Small de Mistral, l’écart est d’environ un dixième de point de pourcentage, trop peu pour départager les deux moteurs[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. Aucun moteur pour lequel les transcriptions sont disponibles extrait par extrait n’a obtenu un taux d’erreur inférieur à celui d’Oracle Max dans l’une des cinq langues[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]].
Les moteurs sans transcriptions publiques
Pour Microsoft Azure Speech, ElevenLabs, AssemblyAI et OpenAI, le classement donne un seul résultat par langue, sans fichier de transcriptions par extrait[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. On peut comparer les chiffres, mais les données ne permettent pas de tester la signification statistique de l’écart[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. En allemand, en espagnol, en portugais et en français, le taux d’Azure se situe dans l’intervalle de confiance à 95 % d’Oracle Max. Les résultats sont donc proches dans ces quatre langues[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. En italien, la borne supérieure de l’intervalle est de 0,86 %, en dessous du taux de tous les autres moteurs[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]].
Le classement comprend d’autres tests pour ces langues. Nous n’avons utilisé que FLEURS[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. Les enregistrements de FLEURS sont des lectures à voix haute avec un son clair. Les réunions et les appels téléphoniques sont plus difficiles à transcrire pour tous les moteurs[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. Nous avons aussi évalué d’autres langues. Ces cinq langues sont celles pour lesquelles aucun moteur du classement n’a obtenu un taux d’erreur inférieur sur ce test[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]].
Comment vérifier les résultats
Chaque transcription est publique, avec son score[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]]. Le fichier pour l’italien est disponible à l’adresse itanu.org/data/oracle-max-italian-fleurs-865-2026-11-22.csv. La note qui l’accompagne, oracle-max-five-languages-fleurs-2026-11-22.md, décrit la méthode et donne les liens vers les quatre autres fichiers[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Ouvrir la sourceSources [1]].
Sources
- 1Document fourni par ITANU Studios Ltd
FourniKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Consultée
- 2FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech
IndépendantearXivConsultée
- 3Open ASR Leaderboard
IndépendanteHugging FaceConsultée
Le système éditorial d’ITANU a produit cet article avec l’IA et l’a vérifié auprès des sources citées ci-dessus. Notre méthode
