Del editor · ITANU

ITANU publica esta revista y desarrolla los productos de los que trata este artículo. Es la versión de la propia empresa, no información periodística.

Oracle Max de KolWrite logra la menor tasa de error entre 22 transcriptores en una prueba pública de hebreo

La tasa de error por palabra de Oracle Max fue del 12,6 % en los 792 audios en hebreo de la prueba FLEURS. En esos mismos audios, las tasas de los 21 motores de la clasificación pública de ivrit.ai van del 17,4 % al 46,0 %.

Los números entre corchetes enlazan a las fuentes que figuran abajo.

El 21 de noviembre de 2026 probamos Oracle Max, la modalidad en la nube más avanzada de nuestra aplicación de transcripción KolWrite, con todos los audios en hebreo de FLEURS. Este conjunto público de pruebas de voz incluye en hebreo 792 frases grabadas con un total de 13 751 palabras[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. La tasa de error por palabra fue del 12,6 %[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. La clasificación de ivrit.ai para la transcripción en hebreo recoge los resultados de 21 motores en esos mismos audios, con tasas de error que van del 17,4 % al 46,0 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fuenteFuentes [2]].

Las cifras publicadas

La tasa de error por palabra se calcula sumando las palabras que el motor transcribe mal, omite o añade y dividiendo el resultado por el número de palabras pronunciadas[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. Estas son las tasas de error en los audios en hebreo de FLEURS que obtuvimos con nuestro motor y que recoge la clasificación para otros seis[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1], 2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fuenteFuentes [2]].

  • KolWrite Oracle Max — 12,6 %[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]
  • Soniox — 17,7 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fuenteFuentes [2]]
  • ElevenLabs Scribe v1 — 18,1 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fuenteFuentes [2]]
  • OpenAI gpt-4o-transcribe — 21,0 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fuenteFuentes [2]]
  • Amazon Transcribe — 23,0 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fuenteFuentes [2]]
  • Deepgram Nova-3 — 23,3 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fuenteFuentes [2]]
  • Google Speech — 38,5 %[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fuenteFuentes [2]]

La tasa más baja de la tabla, un 17,4 %, corresponde a un modelo de hebreo publicado por la propia ivrit.ai[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fuenteFuentes [2]]. Con un 12,6 %, Oracle Max queda por debajo de los 21 motores[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. A ese ritmo transcribe con exactitud siete de cada ocho palabras. El criterio es estricto y cuenta como error incluso un nombre escrito con otra grafía[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]].

Los mismos audios y el mismo método de evaluación

FLEURS reúne frases leídas en voz alta y grabadas en 102 idiomas, con unas 12 horas de voz por idioma[3arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of SpeechAbrir fuenteFuentes [3]]. La prueba de hebreo consta de 792 audios[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. Evaluamos Oracle Max con el método publicado por ivrit.ai para su clasificación. Calculamos una única tasa de error para todas las palabras de todos los audios, tras eliminar los signos vocálicos y los de puntuación y suprimir la distinción entre mayúsculas y minúsculas[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. Antes de la prueba, nuestra copia del código de evaluación reprodujo las cifras de la tabla con una diferencia máxima de 0,17 puntos porcentuales[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]].

Seleccionamos el hebreo como idioma y enviamos los audios a través de la API pública de KolWrite, el mismo servicio que utilizan los clientes[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. El cálculo incluye los 792 audios[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. En uno de ellos el motor no devolvió texto y todas sus palabras se contabilizaron como errores[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]].

Menos errores en 10 000 de 10 000 remuestreos

La diferencia entre dos tasas de error puede depender de las frases que hayan entrado en la prueba[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. Para comprobar la que medimos, tomamos las transcripciones que publica ivrit.ai de 16 de los 21 motores de su clasificación y las comparamos audio por audio con las de Oracle Max[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. Extrajimos 10 000 muestras aleatorias de los 792 audios y evaluamos ambos motores de cada comparación con cada muestra[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. En las 10 000 muestras, Oracle Max registró una tasa de error inferior a la de cada uno de los 16 motores[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]].

De esos motores, Soniox es el que más se acerca a Oracle Max[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. La ventaja de Oracle Max es de 5,1 puntos porcentuales, con un intervalo de confianza del 95 % que va de 4,3 a 5,9 puntos[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. En número de palabras, son 1734 errores frente a 2435, un 29 % menos[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. Oracle Max cometió un 31 % menos de errores de palabra que ElevenLabs Scribe v1, un 40 % menos que gpt-4o-transcribe de OpenAI y un 67 % menos que Google Speech[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]].

Oracle Max transcribió sin ningún error 309 de las 792 frases[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. Entre los 16 motores, el máximo fue de 218 frases sin errores[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. Los otros cinco motores no publican transcripciones de estos audios. Sus tasas de error publicadas van del 17,4 % al 24,5 % y todas superan el límite superior del intervalo de confianza del 95 % de Oracle Max, situado en el 14,1 %[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]].

El alcance de la prueba

Hicimos una sola prueba el 21 de noviembre de 2026 con frases leídas en hebreo y una sola voz en cada audio[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. Las cifras de los demás motores proceden de las pruebas de ivrit.ai con las versiones que indica en su clasificación[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. Estamos realizando la misma comparación en otros idiomas y publicaremos cada una con sus archivos[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]].

Cómo comprobar los resultados

Las 792 transcripciones pueden consultarse, cada una con su frase de referencia y su puntuación, en el archivo público itanu.org/data/oracle-max-hebrew-fleurs-792-2026-11-21.csv[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. La nota adjunta detalla el método, la tabla con todas las comparaciones y la semilla utilizada para el muestreo aleatorio[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]]. Las transcripciones de la clasificación también son públicas, de modo que cualquiera puede repetir la comparación[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fuenteFuentes [1]].

Fuentes

  1. 1
    Material aportado por ITANU Studios Ltd

    AportadoKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Consultada

  2. 2
    benchmark.csv · ivrit-ai/hebrew-transcription-leaderboard

    Independienteivrit.aiConsultada

  3. 3

El sistema de redacción de ITANU produjo este artículo con IA y lo contrastó con las fuentes citadas arriba. Cómo trabajamos

ITANU Magazine

Tecnología, inteligencia artificial y ciencia