Vom Herausgeber · ITANU
ITANU gibt dieses Magazin heraus und entwickelt die Produkte, um die es in diesem Beitrag geht. Er gibt die Sicht des Unternehmens wieder und ist keine Nachrichtenberichterstattung.
KolWrites Oracle Max führt im öffentlichen Hebräischtest mit 22 Transkriptionssystemen
Über alle 792 hebräischen Aufnahmen des FLEURS-Tests kam Oracle Max auf eine Wortfehlerrate von 12,6 %. Für dieselben Aufnahmen liegen die 21 Systeme in der öffentlichen Rangliste von ivrit.ai zwischen 17,4 % und 46,0 %.
Zahlen in eckigen Klammern verlinken auf die unten aufgeführten Quellen.
Am 21. November 2026 haben wir Oracle Max, die höchste Cloud-Tarifstufe unserer Transkriptionsanwendung KolWrite, mit allen hebräischen Aufnahmen des öffentlichen Sprachtestdatensatzes FLEURS getestet. Sie umfassen 792 gesprochene Sätze mit 13.751 Wörtern[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Die Wortfehlerrate betrug 12,6 %[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Die Hebräisch-Rangliste von ivrit.ai weist für 21 Transkriptionssysteme auf denselben Aufnahmen Fehlerraten von 17,4 % bis 46,0 % aus[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardQuelle öffnenQuellen [2]].
Die veröffentlichten Fehlerraten
Die Wortfehlerrate setzt die Zahl der falsch erkannten, ausgelassenen oder hinzugefügten Wörter ins Verhältnis zur Zahl der gesprochenen Wörter[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Für die hebräischen FLEURS-Aufnahmen führen wir hier unseren Messwert und sechs Werte aus der Rangliste auf[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1], 2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardQuelle öffnenQuellen [2]].
- KolWrite Oracle Max 12,6 %[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]
- Soniox 17,7 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardQuelle öffnenQuellen [2]]
- ElevenLabs Scribe v1 18,1 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardQuelle öffnenQuellen [2]]
- OpenAI gpt-4o-transcribe 21,0 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardQuelle öffnenQuellen [2]]
- Amazon Transcribe 23,0 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardQuelle öffnenQuellen [2]]
- Deepgram Nova-3 23,3 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardQuelle öffnenQuellen [2]]
- Google Speech 38,5 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardQuelle öffnenQuellen [2]]
Den niedrigsten Wert in der Rangliste erzielt mit 17,4 % ein Hebräisch-Modell, das ivrit.ai selbst veröffentlicht hat[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardQuelle öffnenQuellen [2]]. Oracle Max liegt mit 12,6 % unter allen 21 Vergleichswerten[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Damit gibt das System sieben von acht Wörtern exakt wieder. Die Bewertung ist streng. Schon eine andere Schreibweise eines Namens zählt als Fehler[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]].
Gleiche Aufnahmen, gleiche Auswertung
Für FLEURS wurden Sätze in 102 Sprachen vorgelesen und aufgenommen. Pro Sprache sind es etwa 12 Stunden[3arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of SpeechQuelle öffnenQuellen [3]]. Der hebräische Testteil umfasst 792 Aufnahmen[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Für Oracle Max haben wir die veröffentlichte Methode der Rangliste übernommen. Wir entfernten Vokalzeichen und Satzzeichen, vereinheitlichten die Groß- und Kleinschreibung und berechneten eine gemeinsame Fehlerrate über alle Wörter sämtlicher Aufnahmen[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Vor dem Test haben wir mit unserer Kopie des Auswertungscodes die Tabellenwerte bis auf 0,17 Prozentpunkte genau reproduziert[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]].
Wir haben die Aufnahmen mit der Spracheinstellung Hebräisch über die öffentliche API von KolWrite geschickt. Damit nutzten wir denselben Dienst wie unsere Kunden[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Alle 792 Aufnahmen gingen in die Wertung ein[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Bei einer Aufnahme lieferte das System keinen Text. Hier zählte jedes Wort als Fehler[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]].
Vorn in 10.000 von 10.000 Stichproben
Wie weit zwei Fehlerraten auseinanderliegen, kann von der Auswahl der Testsätze abhängen[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Um den Abstand in unserem Test zu prüfen, haben wir die Transkripte herangezogen, die für 16 der 21 Systeme der Rangliste vorliegen. Für jede Aufnahme haben wir sie mit dem Transkript von Oracle Max verglichen[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Aus den 792 Aufnahmen zogen wir 10.000 Zufallsstichproben und werteten für jeden Vergleich beide Systeme anhand derselben Stichprobe aus[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Oracle Max hatte in allen 10.000 Stichproben eine niedrigere Fehlerrate als jedes der 16 Systeme[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]].
Soniox kam Oracle Max am nächsten[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Der Vorsprung von Oracle Max betrug 5,1 Prozentpunkte. Das 95-%-Intervall für den Vorsprung reichte von 4,3 bis 5,9 Prozentpunkten[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Auf Oracle Max entfielen 1.734 Wortfehler, auf Soniox 2.435. Das sind 29 % weniger[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Oracle Max machte 31 % weniger Wortfehler als ElevenLabs Scribe v1, 40 % weniger als gpt-4o-transcribe von OpenAI und 67 % weniger als Google Speech[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]].
Oracle Max transkribierte 309 der 792 Sätze fehlerfrei[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Der höchste Wert unter den 16 Vergleichssystemen lag bei 218[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Für die übrigen fünf Systeme liegen zu diesem Datensatz keine öffentlichen Transkripte vor. Ihre veröffentlichten Fehlerraten von 17,4 % bis 24,5 % liegen alle über der Obergrenze des 95-%-Intervalls von Oracle Max. Diese beträgt 14,1 %[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]].
Was der Test abdeckt
Der Test umfasste einen einzigen Durchlauf am 21. November 2026 mit vorgelesenen hebräischen Sätzen. Pro Aufnahme sprach eine Person[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Die Werte der anderen Systeme stammen aus den Testläufen von ivrit.ai mit den in der Rangliste genannten Versionen[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Wir führen denselben Vergleich in weiteren Sprachen durch und werden jeden davon samt den zugehörigen Dateien veröffentlichen[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]].
So lässt sich der Vergleich nachvollziehen
Alle 792 Transkripte stehen mit dem jeweiligen Referenzsatz und der Bewertung in der öffentlichen Datei unter itanu.org/data/oracle-max-hebrew-fleurs-792-2026-11-21.csv[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Die Begleitnotiz beschreibt das Verfahren und enthält sowohl die Tabelle mit allen Vergleichen als auch den Startwert des Zufallszahlengenerators[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]]. Auch die Transkripte der Rangliste sind öffentlich. Damit kann jeder den Vergleich wiederholen[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Quelle öffnenQuellen [1]].
Quellen
- 1Material von ITANU Studios Ltd
ZugeliefertKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abgerufen
- 2benchmark.csv · ivrit-ai/hebrew-transcription-leaderboard
Unabhängigivrit.aiAbgerufen
- 3FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech
PrimärarXivAbgerufen
Das Redaktionssystem von ITANU hat diesen Artikel mit KI erstellt und an den oben genannten Quellen geprüft. So arbeiten wir

