Vom Herausgeber · ITANU

ITANU gibt dieses Magazin heraus und entwickelt die Produkte, um die es in diesem Beitrag geht. Er gibt die Sicht des Unternehmens wieder und ist keine Nachrichtenberichterstattung.

KolWrites Oracle Max erreicht in einem öffentlichen Test in fünf Sprachen die niedrigste Wortfehlerrate

Im FLEURS-Test hat in fünf Sprachen kein System auf dem Open ASR Leaderboard eine niedrigere Wortfehlerrate als Oracle Max. Im Italienischen lag die Rate bei 0,72 %.

Zahlen in eckigen Klammern verlinken auf die unten aufgeführten Quellen.

Am 21. und 22. November 2026 haben wir Oracle Max, die höchste Cloud-Leistungsstufe unserer Transkriptionsanwendung KolWrite, mit FLEURS in fünf Sprachen getestet. Der Test umfasste Italienisch, Deutsch, Spanisch, brasilianisches Portugiesisch und Französisch[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Die 4.230 aufgezeichneten Sätze ergeben rund 15 Stunden Sprachmaterial[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Das Open ASR Leaderboard veröffentlicht für dieselben Aufnahmen Ergebnisse von 46 bis 48 weiteren Systemen[3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]]. In vier Sprachen hat Oracle Max allein die niedrigste Wortfehlerrate. Im Spanischen erreicht ein weiteres System denselben Wert[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]].

Die fünf Ergebnisse

Für die Wortfehlerrate zählt man, wie viele Wörter ein System falsch erkannt, ausgelassen oder hinzugefügt hat, und teilt die Summe durch die Zahl der gesprochenen Wörter[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Neben unserem Ergebnis steht jeweils der niedrigste Wert eines anderen Systems auf der Rangliste[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]].

  • Italienisch: Oracle Max 0,72 %, ElevenLabs Scribe v2 0,90 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]]
  • Deutsch: Oracle Max 1,58 %, Microsoft Azure Speech 1,62 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]]
  • Spanisch: Oracle Max 1,76 %, Microsoft Azure Speech 1,76 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]]
  • Portugiesisch: Oracle Max 2,35 %, Microsoft Azure Speech 2,45 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]]
  • Französisch: Oracle Max 2,54 %, Microsoft Azure Speech 2,64 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1], 3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]]

Im Italienischen verschriftlichte Oracle Max 753 der 865 Sätze fehlerfrei. Auf 21.223 Wörter kamen 152 Wortfehler[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Die Rangliste weist für gpt-transcribe von OpenAI im Italienischen 1,35 % und im Französischen 3,45 % aus. Für Universal-3.5 Pro von AssemblyAI sind es 1,03 % und 2,82 %[3Hugging FaceOpen ASR LeaderboardQuelle öffnenQuellen [3]].

Gleiche Aufnahmen, gleiche Auswertung

FLEURS enthält Aufnahmen von Sätzen, die in 102 Sprachen vorgelesen wurden[2arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of SpeechQuelle öffnenQuellen [2]]. Wir verwendeten dieselben Testaufnahmen und Referenztexte wie die Rangliste und werteten Oracle Max mit dem dafür veröffentlichten Programmcode aus[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Vor dem Vergleich werteten wir mit unserer Kopie des Codes die Originaldateien der Rangliste erneut aus. Alle 169 Ergebnisse wichen um höchstens 0,13 Prozentpunkte vom jeweiligen Tabellenwert ab[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].

Wir übermittelten die Aufnahmen unter Angabe der jeweiligen Sprache über die öffentliche KolWrite-API. Diesen Dienst nutzen auch unsere Kunden[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Jede Aufnahme ging in die Auswertung ein und für jede erhielten wir eine Transkription[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].

Vergleich der einzelnen Aufnahmen

Für 33 oder 34 Systeme je Sprache veröffentlicht die Rangliste die Transkription jeder Aufnahme. So lassen sich zwei Systeme anhand genau derselben Sätze vergleichen[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Aus den Aufnahmen zogen wir 10.000 neue Zufallsstichproben und werteten für jede Stichprobe beide Systeme aus[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Im Italienischen, Deutschen und Französischen lag die Wortfehlerrate von Oracle Max unter der jedes dieser Systeme. Das 95-%-Intervall für die Differenz schloss in jedem Vergleich die Null aus[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].

Im Spanischen und Portugiesischen gilt das für 33 der 34 Systeme[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Beim verbleibenden System, Voxtral Small von Mistral, beträgt der Abstand etwa einen Zehntelprozentpunkt. Das ist zu wenig für eine eindeutige Aussage[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Keines der Systeme mit Daten zu den einzelnen Aufnahmen hatte in einer der fünf Sprachen eine niedrigere Wortfehlerrate als Oracle Max[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].

Systeme ohne veröffentlichte Transkriptionen

Für Microsoft Azure Speech, ElevenLabs, AssemblyAI und OpenAI nennt die Rangliste nur einen Gesamtwert je Sprache. Dateien zu den einzelnen Aufnahmen fehlen[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Wir können die Werte daher gegenüberstellen. Ob der Abstand statistisch aussagekräftig ist, lässt sich so nicht prüfen[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Im Deutschen, Spanischen, Portugiesischen und Französischen liegt der Wert von Azure innerhalb des 95-%-Intervalls von Oracle Max. In diesen vier Sprachen liegen die Ergebnisse also nah beieinander[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Im Italienischen endet das Intervall bei 0,86 % und damit unter dem Wert jedes anderen Systems[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].

Die Rangliste enthält weitere Tests für diese Sprachen. Wir haben ausschließlich FLEURS verwendet[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. FLEURS besteht aus sauberen Aufnahmen vorgelesener Texte. Besprechungen und Telefonate sind für alle Systeme schwieriger[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Wir haben auch andere Sprachen untersucht. Hier führen wir die fünf auf, in denen kein System in diesem Test einen niedrigeren Wert erzielt hat[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].

So lassen sich die Ergebnisse prüfen

Alle Transkriptionen sind mit ihrer jeweiligen Bewertung öffentlich zugänglich[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]]. Die Datei für Italienisch steht unter itanu.org/data/oracle-max-italian-fleurs-865-2026-11-22.csv. Das Begleitdokument oracle-max-five-languages-fleurs-2026-11-22.md verlinkt die vier weiteren Dateien und beschreibt die Methode[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Quelle öffnenQuellen [1]].

Quellen

  1. 1
    Material von ITANU Studios Ltd

    ZugeliefertKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abgerufen

  2. 2
  3. 3
    Open ASR Leaderboard

    UnabhängigHugging FaceAbgerufen

Das Redaktionssystem von ITANU hat diesen Artikel mit KI erstellt und an den oben genannten Quellen geprüft. So arbeiten wir

ITANU Magazin

Neues aus Technik, KI und Wissenschaft