Vom Herausgeber · ITANU
ITANU gibt dieses Magazin heraus und entwickelt die Produkte, um die es in diesem Beitrag geht. Er gibt die Sicht des Unternehmens wieder und ist keine Nachrichtenberichterstattung.
KolWrites Oracle Max erreicht in einem öffentlichen Test in fünf Sprachen die niedrigste Wortfehlerrate
Im FLEURS-Test hat in fünf Sprachen kein System auf dem Open ASR Leaderboard eine niedrigere Wortfehlerrate als Oracle Max. Im Italienischen lag die Rate bei 0,72 %.
Zahlen in eckigen Klammern verlinken auf die unten aufgeführten Quellen.
Am 21. und 22. November 2026 haben wir Oracle Max, die höchste Cloud-Leistungsstufe unserer Transkriptionsanwendung KolWrite, mit FLEURS in fünf Sprachen getestet. Der Test umfasste Italienisch, Deutsch, Spanisch, brasilianisches Portugiesisch und Französisch[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Die 4.230 aufgezeichneten Sätze ergeben rund 15 Stunden Sprachmaterial[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Das Open ASR Leaderboard veröffentlicht für dieselben Aufnahmen Ergebnisse von 46 bis 48 weiteren Systemen[3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]]. In vier Sprachen hat Oracle Max allein die niedrigste Wortfehlerrate. Im Spanischen erreicht ein weiteres System denselben Wert[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]].
Die fünf Ergebnisse
Für die Wortfehlerrate zählt man, wie viele Wörter ein System falsch erkannt, ausgelassen oder hinzugefügt hat, und teilt die Summe durch die Zahl der gesprochenen Wörter[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Neben unserem Ergebnis steht jeweils der niedrigste Wert eines anderen Systems auf der Rangliste[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]].
- Italienisch: Oracle Max 0,72 %, ElevenLabs Scribe v2 0,90 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]]
- Deutsch: Oracle Max 1,58 %, Microsoft Azure Speech 1,62 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]]
- Spanisch: Oracle Max 1,76 %, Microsoft Azure Speech 1,76 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]]
- Portugiesisch: Oracle Max 2,35 %, Microsoft Azure Speech 2,45 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]]
- Französisch: Oracle Max 2,54 %, Microsoft Azure Speech 2,64 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]]
Im Italienischen verschriftlichte Oracle Max 753 der 865 Sätze fehlerfrei. Auf 21.223 Wörter kamen 152 Wortfehler[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Die Rangliste weist für gpt-transcribe von OpenAI im Italienischen 1,35 % und im Französischen 3,45 % aus. Für Universal-3.5 Pro von AssemblyAI sind es 1,03 % und 2,82 %[3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]].
Gleiche Aufnahmen, gleiche Auswertung
FLEURS enthält Aufnahmen von Sätzen, die in 102 Sprachen vorgelesen wurden[2arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of SpeechQuelle öffnenQuellen [2]]. Wir verwendeten dieselben Testaufnahmen und Referenztexte wie die Rangliste und werteten Oracle Max mit dem dafür veröffentlichten Programmcode aus[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Vor dem Vergleich werteten wir mit unserer Kopie des Codes die Originaldateien der Rangliste erneut aus. Alle 169 Ergebnisse wichen um höchstens 0,13 Prozentpunkte vom jeweiligen Tabellenwert ab[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].
Wir übermittelten die Aufnahmen unter Angabe der jeweiligen Sprache über die öffentliche KolWrite-API. Diesen Dienst nutzen auch unsere Kunden[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Jede Aufnahme ging in die Auswertung ein und für jede erhielten wir eine Transkription[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].
Vergleich der einzelnen Aufnahmen
Für 33 oder 34 Systeme je Sprache veröffentlicht die Rangliste die Transkription jeder Aufnahme. So lassen sich zwei Systeme anhand genau derselben Sätze vergleichen[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Aus den Aufnahmen zogen wir 10.000 neue Zufallsstichproben und werteten für jede Stichprobe beide Systeme aus[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Im Italienischen, Deutschen und Französischen lag die Wortfehlerrate von Oracle Max unter der jedes dieser Systeme. Das 95-%-Intervall für die Differenz schloss in jedem Vergleich die Null aus[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].
Im Spanischen und Portugiesischen gilt das für 33 der 34 Systeme[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Beim verbleibenden System, Voxtral Small von Mistral, beträgt der Abstand etwa einen Zehntelprozentpunkt. Das ist zu wenig für eine eindeutige Aussage[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Keines der Systeme mit Daten zu den einzelnen Aufnahmen hatte in einer der fünf Sprachen eine niedrigere Wortfehlerrate als Oracle Max[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].
Systeme ohne veröffentlichte Transkriptionen
Für Microsoft Azure Speech, ElevenLabs, AssemblyAI und OpenAI nennt die Rangliste nur einen Gesamtwert je Sprache. Dateien zu den einzelnen Aufnahmen fehlen[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Wir können die Werte daher gegenüberstellen. Ob der Abstand statistisch aussagekräftig ist, lässt sich so nicht prüfen[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Im Deutschen, Spanischen, Portugiesischen und Französischen liegt der Wert von Azure innerhalb des 95-%-Intervalls von Oracle Max. In diesen vier Sprachen liegen die Ergebnisse also nah beieinander[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Im Italienischen endet das Intervall bei 0,86 % und damit unter dem Wert jedes anderen Systems[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].
Die Rangliste enthält weitere Tests für diese Sprachen. Wir haben ausschließlich FLEURS verwendet[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. FLEURS besteht aus sauberen Aufnahmen vorgelesener Texte. Besprechungen und Telefonate sind für alle Systeme schwieriger[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Wir haben auch andere Sprachen untersucht. Hier führen wir die fünf auf, in denen kein System in diesem Test einen niedrigeren Wert erzielt hat[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].
So lassen sich die Ergebnisse prüfen
Alle Transkriptionen sind mit ihrer jeweiligen Bewertung öffentlich zugänglich[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Die Datei für Italienisch steht unter itanu.org/data/oracle-max-italian-fleurs-865-2026-11-22.csv. Das Begleitdokument oracle-max-five-languages-fleurs-2026-11-22.md verlinkt die vier weiteren Dateien und beschreibt die Methode[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].
Quellen
- 1Material von ITANU Studios Ltd
ZugeliefertKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abgerufen
- 2FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech
UnabhängigarXivAbgerufen
- 3Open ASR Leaderboard
UnabhängigHugging FaceAbgerufen
Das Redaktionssystem von ITANU hat diesen Artikel mit KI erstellt und an den oben genannten Quellen geprüft. So arbeiten wir
