# KolWrites Oracle Max erreicht in einem öffentlichen Test in fünf Sprachen die niedrigste Wortfehlerrate

**Vom Herausgeber · ITANU**

Im FLEURS-Test hat in fünf Sprachen kein System auf dem Open ASR Leaderboard eine niedrigere Wortfehlerrate als Oracle Max. Im Italienischen lag die Rate bei 0,72 %.

Software · Von Redaktion von ITANU Magazin · Veröffentlicht 2026-11-22T20:01:43.000Z · 3 Min. Lesezeit

## Das Wichtigste

- Am 21. und 22. November 2026 haben wir Oracle Max mit allen 4.230 FLEURS-Testaufnahmen auf Italienisch, Deutsch, Spanisch, Portugiesisch und Französisch geprüft.
- Die Wortfehlerrate lag im Italienischen bei 0,72 %, im Deutschen bei 1,58 %, im Spanischen bei 1,76 %, im Portugiesischen bei 2,35 % und im Französischen bei 2,54 %.
- Das Open ASR Leaderboard führt für dieselben Aufnahmen 46 bis 48 weitere Systeme auf. Keines hat in einer der fünf Sprachen eine niedrigere Wortfehlerrate.

Am 21. und 22. November 2026 haben wir Oracle Max, die höchste Cloud-Leistungsstufe unserer Transkriptionsanwendung KolWrite, mit FLEURS in fünf Sprachen getestet. Der Test umfasste Italienisch, Deutsch, Spanisch, brasilianisches Portugiesisch und Französisch [1]. Die 4.230 aufgezeichneten Sätze ergeben rund 15 Stunden Sprachmaterial [1]. Das Open ASR Leaderboard veröffentlicht für dieselben Aufnahmen Ergebnisse von 46 bis 48 weiteren Systemen [3]. In vier Sprachen hat Oracle Max allein die niedrigste Wortfehlerrate. Im Spanischen erreicht ein weiteres System denselben Wert [1][3].

## Die fünf Ergebnisse

Für die Wortfehlerrate zählt man, wie viele Wörter ein System falsch erkannt, ausgelassen oder hinzugefügt hat, und teilt die Summe durch die Zahl der gesprochenen Wörter [1]. Neben unserem Ergebnis steht jeweils der niedrigste Wert eines anderen Systems auf der Rangliste [1][3].

- Italienisch: Oracle Max 0,72 %, ElevenLabs Scribe v2 0,90 % [1][3]
- Deutsch: Oracle Max 1,58 %, Microsoft Azure Speech 1,62 % [1][3]
- Spanisch: Oracle Max 1,76 %, Microsoft Azure Speech 1,76 % [1][3]
- Portugiesisch: Oracle Max 2,35 %, Microsoft Azure Speech 2,45 % [1][3]
- Französisch: Oracle Max 2,54 %, Microsoft Azure Speech 2,64 % [1][3]

Im Italienischen verschriftlichte Oracle Max 753 der 865 Sätze fehlerfrei. Auf 21.223 Wörter kamen 152 Wortfehler [1]. Die Rangliste weist für gpt-transcribe von OpenAI im Italienischen 1,35 % und im Französischen 3,45 % aus. Für Universal-3.5 Pro von AssemblyAI sind es 1,03 % und 2,82 % [3].

## Gleiche Aufnahmen, gleiche Auswertung

FLEURS enthält Aufnahmen von Sätzen, die in 102 Sprachen vorgelesen wurden [2]. Wir verwendeten dieselben Testaufnahmen und Referenztexte wie die Rangliste und werteten Oracle Max mit dem dafür veröffentlichten Programmcode aus [1]. Vor dem Vergleich werteten wir mit unserer Kopie des Codes die Originaldateien der Rangliste erneut aus. Alle 169 Ergebnisse wichen um höchstens 0,13 Prozentpunkte vom jeweiligen Tabellenwert ab [1].

Wir übermittelten die Aufnahmen unter Angabe der jeweiligen Sprache über die öffentliche KolWrite-API. Diesen Dienst nutzen auch unsere Kunden [1]. Jede Aufnahme ging in die Auswertung ein und für jede erhielten wir eine Transkription [1].

## Vergleich der einzelnen Aufnahmen

Für 33 oder 34 Systeme je Sprache veröffentlicht die Rangliste die Transkription jeder Aufnahme. So lassen sich zwei Systeme anhand genau derselben Sätze vergleichen [1]. Aus den Aufnahmen zogen wir 10.000 neue Zufallsstichproben und werteten für jede Stichprobe beide Systeme aus [1]. Im Italienischen, Deutschen und Französischen lag die Wortfehlerrate von Oracle Max unter der jedes dieser Systeme. Das 95-%-Intervall für die Differenz schloss in jedem Vergleich die Null aus [1].

Im Spanischen und Portugiesischen gilt das für 33 der 34 Systeme [1]. Beim verbleibenden System, Voxtral Small von Mistral, beträgt der Abstand etwa einen Zehntelprozentpunkt. Das ist zu wenig für eine eindeutige Aussage [1]. Keines der Systeme mit Daten zu den einzelnen Aufnahmen hatte in einer der fünf Sprachen eine niedrigere Wortfehlerrate als Oracle Max [1].

## Systeme ohne veröffentlichte Transkriptionen

Für Microsoft Azure Speech, ElevenLabs, AssemblyAI und OpenAI nennt die Rangliste nur einen Gesamtwert je Sprache. Dateien zu den einzelnen Aufnahmen fehlen [1]. Wir können die Werte daher gegenüberstellen. Ob der Abstand statistisch aussagekräftig ist, lässt sich so nicht prüfen [1]. Im Deutschen, Spanischen, Portugiesischen und Französischen liegt der Wert von Azure innerhalb des 95-%-Intervalls von Oracle Max. In diesen vier Sprachen liegen die Ergebnisse also nah beieinander [1]. Im Italienischen endet das Intervall bei 0,86 % und damit unter dem Wert jedes anderen Systems [1].

Die Rangliste enthält weitere Tests für diese Sprachen. Wir haben ausschließlich FLEURS verwendet [1]. FLEURS besteht aus sauberen Aufnahmen vorgelesener Texte. Besprechungen und Telefonate sind für alle Systeme schwieriger [1]. Wir haben auch andere Sprachen untersucht. Hier führen wir die fünf auf, in denen kein System in diesem Test einen niedrigeren Wert erzielt hat [1].

## So lassen sich die Ergebnisse prüfen

Alle Transkriptionen sind mit ihrer jeweiligen Bewertung öffentlich zugänglich [1]. Die Datei für Italienisch steht unter itanu.org/data/oracle-max-italian-fleurs-865-2026-11-22.csv. Das Begleitdokument oracle-max-five-languages-fleurs-2026-11-22.md verlinkt die vier weiteren Dateien und beschreibt die Methode [1].

## Quellen

1. [KolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026](https://itanu.org/magazine/standards/), ITANU Studios Ltd (Zugeliefert)
2. [FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech](https://arxiv.org/abs/2205.12446), arXiv (Unabhängig)
3. [Open ASR Leaderboard](https://huggingface.co/spaces/hf-audio/open_asr_leaderboard), Hugging Face (Unabhängig)

Das Redaktionssystem von ITANU hat diesen Artikel mit KI erstellt und an den oben genannten Quellen geprüft.

Canonical: https://itanu.org/de/magazine/kolwrite-s-oracle-max-has-the-lowest-error-rate-in-italian-yeshwcec/
