# KolWrites Oracle Max führt im öffentlichen Hebräischtest mit 22 Transkriptionssystemen

**Vom Herausgeber · ITANU**

Über alle 792 hebräischen Aufnahmen des FLEURS-Tests kam Oracle Max auf eine Wortfehlerrate von 12,6 %. Für dieselben Aufnahmen liegen die 21 Systeme in der öffentlichen Rangliste von ivrit.ai zwischen 17,4 % und 46,0 %.

Software · Von Redaktion von ITANU Magazin · Veröffentlicht 2026-11-21T08:59:00.000Z · 3 Min. Lesezeit

## Das Wichtigste

- Wir haben Oracle Max am 21. November 2026 mit allen 792 hebräischen FLEURS-Aufnahmen getestet und eine Wortfehlerrate von 12,6 % gemessen.
- Die Hebräisch-Rangliste von ivrit.ai führt 21 Systeme mit Ergebnissen für dieselben Aufnahmen. Die niedrigste dort veröffentlichte Fehlerrate beträgt 17,4 %.
- Im Vergleich der einzelnen Aufnahmen machte Oracle Max 29 % weniger Wortfehler als Soniox und 31 % weniger als ElevenLabs Scribe v1.

Am 21. November 2026 haben wir Oracle Max, die höchste Cloud-Tarifstufe unserer Transkriptionsanwendung KolWrite, mit allen hebräischen Aufnahmen des öffentlichen Sprachtestdatensatzes FLEURS getestet. Sie umfassen 792 gesprochene Sätze mit 13.751 Wörtern [1]. Die Wortfehlerrate betrug 12,6 % [1]. Die Hebräisch-Rangliste von ivrit.ai weist für 21 Transkriptionssysteme auf denselben Aufnahmen Fehlerraten von 17,4 % bis 46,0 % aus [2].

## Die veröffentlichten Fehlerraten

Die Wortfehlerrate setzt die Zahl der falsch erkannten, ausgelassenen oder hinzugefügten Wörter ins Verhältnis zur Zahl der gesprochenen Wörter [1]. Für die hebräischen FLEURS-Aufnahmen führen wir hier unseren Messwert und sechs Werte aus der Rangliste auf [1][2].

- KolWrite Oracle Max 12,6 % [1]
- Soniox 17,7 % [2]
- ElevenLabs Scribe v1 18,1 % [2]
- OpenAI gpt-4o-transcribe 21,0 % [2]
- Amazon Transcribe 23,0 % [2]
- Deepgram Nova-3 23,3 % [2]
- Google Speech 38,5 % [2]

Den niedrigsten Wert in der Rangliste erzielt mit 17,4 % ein Hebräisch-Modell, das ivrit.ai selbst veröffentlicht hat [2]. Oracle Max liegt mit 12,6 % unter allen 21 Vergleichswerten [1]. Damit gibt das System sieben von acht Wörtern exakt wieder. Die Bewertung ist streng. Schon eine andere Schreibweise eines Namens zählt als Fehler [1].

## Gleiche Aufnahmen, gleiche Auswertung

Für FLEURS wurden Sätze in 102 Sprachen vorgelesen und aufgenommen. Pro Sprache sind es etwa 12 Stunden [3]. Der hebräische Testteil umfasst 792 Aufnahmen [1]. Für Oracle Max haben wir die veröffentlichte Methode der Rangliste übernommen. Wir entfernten Vokalzeichen und Satzzeichen, vereinheitlichten die Groß- und Kleinschreibung und berechneten eine gemeinsame Fehlerrate über alle Wörter sämtlicher Aufnahmen [1]. Vor dem Test haben wir mit unserer Kopie des Auswertungscodes die Tabellenwerte bis auf 0,17 Prozentpunkte genau reproduziert [1].

Wir haben die Aufnahmen mit der Spracheinstellung Hebräisch über die öffentliche API von KolWrite geschickt. Damit nutzten wir denselben Dienst wie unsere Kunden [1]. Alle 792 Aufnahmen gingen in die Wertung ein [1]. Bei einer Aufnahme lieferte das System keinen Text. Hier zählte jedes Wort als Fehler [1].

## Vorn in 10.000 von 10.000 Stichproben

Wie weit zwei Fehlerraten auseinanderliegen, kann von der Auswahl der Testsätze abhängen [1]. Um den Abstand in unserem Test zu prüfen, haben wir die Transkripte herangezogen, die für 16 der 21 Systeme der Rangliste vorliegen. Für jede Aufnahme haben wir sie mit dem Transkript von Oracle Max verglichen [1]. Aus den 792 Aufnahmen zogen wir 10.000 Zufallsstichproben und werteten für jeden Vergleich beide Systeme anhand derselben Stichprobe aus [1]. Oracle Max hatte in allen 10.000 Stichproben eine niedrigere Fehlerrate als jedes der 16 Systeme [1].

Soniox kam Oracle Max am nächsten [1]. Der Vorsprung von Oracle Max betrug 5,1 Prozentpunkte. Das 95-%-Intervall für den Vorsprung reichte von 4,3 bis 5,9 Prozentpunkten [1]. Auf Oracle Max entfielen 1.734 Wortfehler, auf Soniox 2.435. Das sind 29 % weniger [1]. Oracle Max machte 31 % weniger Wortfehler als ElevenLabs Scribe v1, 40 % weniger als gpt-4o-transcribe von OpenAI und 67 % weniger als Google Speech [1].

Oracle Max transkribierte 309 der 792 Sätze fehlerfrei [1]. Der höchste Wert unter den 16 Vergleichssystemen lag bei 218 [1]. Für die übrigen fünf Systeme liegen zu diesem Datensatz keine öffentlichen Transkripte vor. Ihre veröffentlichten Fehlerraten von 17,4 % bis 24,5 % liegen alle über der Obergrenze des 95-%-Intervalls von Oracle Max. Diese beträgt 14,1 % [1].

## Was der Test abdeckt

Der Test umfasste einen einzigen Durchlauf am 21. November 2026 mit vorgelesenen hebräischen Sätzen. Pro Aufnahme sprach eine Person [1]. Die Werte der anderen Systeme stammen aus den Testläufen von ivrit.ai mit den in der Rangliste genannten Versionen [1]. Wir führen denselben Vergleich in weiteren Sprachen durch und werden jeden davon samt den zugehörigen Dateien veröffentlichen [1].

## So lässt sich der Vergleich nachvollziehen

Alle 792 Transkripte stehen mit dem jeweiligen Referenzsatz und der Bewertung in der öffentlichen Datei unter itanu.org/data/oracle-max-hebrew-fleurs-792-2026-11-21.csv [1]. Die Begleitnotiz beschreibt das Verfahren und enthält sowohl die Tabelle mit allen Vergleichen als auch den Startwert des Zufallszahlengenerators [1]. Auch die Transkripte der Rangliste sind öffentlich. Damit kann jeder den Vergleich wiederholen [1].

## Quellen

1. [KolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026](https://itanu.org/magazine/standards/), ITANU Studios Ltd (Zugeliefert)
2. [benchmark.csv · ivrit-ai/hebrew-transcription-leaderboard](https://huggingface.co/spaces/ivrit-ai/hebrew-transcription-leaderboard/blob/main/benchmark.csv), ivrit.ai (Unabhängig)
3. [FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech](https://arxiv.org/abs/2205.12446), arXiv (Primär)

Das Redaktionssystem von ITANU hat diesen Artikel mit KI erstellt und an den oben genannten Quellen geprüft.

Canonical: https://itanu.org/de/magazine/kolwrite-s-oracle-max-scores-the-lowest-hebrew-error-rate-on-a-zzmjkzdz/
