Da editora · ITANU
A ITANU publica esta revista e desenvolve os produtos de que trata este artigo. É a versão da própria empresa, não uma reportagem.
Oracle Max da KolWrite tem a menor taxa de erro em teste público de 22 sistemas de transcrição em hebraico
Nas 792 gravações em hebraico do teste FLEURS, a taxa de erro por palavra do Oracle Max foi de 12,6%. Na classificação pública da ivrit.ai, as taxas dos 21 sistemas avaliados nas mesmas gravações variam de 17,4% a 46,0%.
Os números entre colchetes levam às fontes listadas abaixo.
Em 21 de novembro de 2026, testamos o Oracle Max, o plano mais avançado na nuvem do KolWrite, nossa aplicação de transcrição. Usamos todas as gravações em hebraico do FLEURS, um conjunto público de dados para testes de fala, com 792 frases gravadas e 13.751 palavras em hebraico[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. A taxa de erro por palavra foi de 12,6%[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. Na classificação da ivrit.ai para transcrição em hebraico, os 21 sistemas avaliados nas mesmas gravações tiveram taxas de 17,4% a 46,0%[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fonteFontes [2]].
As taxas de erro publicadas
Para calcular a taxa de erro por palavra, somam-se as palavras transcritas incorretamente, omitidas ou acrescentadas pelo sistema e divide-se o resultado pelo total de palavras pronunciadas[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. A lista reúne a taxa que medimos nas gravações em hebraico do FLEURS e seis taxas publicadas na tabela da ivrit.ai[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1], 2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fonteFontes [2]].
- KolWrite Oracle Max, 12,6%[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]
- Soniox, 17,7%[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fonteFontes [2]]
- ElevenLabs Scribe v1, 18,1%[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fonteFontes [2]]
- OpenAI gpt-4o-transcribe, 21,0%[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fonteFontes [2]]
- Amazon Transcribe, 23,0%[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fonteFontes [2]]
- Deepgram Nova-3, 23,3%[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fonteFontes [2]]
- Google Speech, 38,5%[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fonteFontes [2]]
A menor taxa da tabela, de 17,4%, é de um modelo para hebraico publicado pela própria ivrit.ai[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardAbrir fonteFontes [2]]. Com 12,6%, o Oracle Max ficou abaixo das taxas dos 21 sistemas[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. A essa taxa, o sistema acerta por completo sete em cada oito palavras. O critério é rigoroso. Uma grafia diferente para um nome conta como erro[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]].
As mesmas gravações e o mesmo critério de avaliação
O FLEURS reúne frases lidas em voz alta e gravadas em 102 línguas, com cerca de 12 horas de fala por língua[3arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of SpeechAbrir fonteFontes [3]]. A parte do teste em hebraico tem 792 gravações[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. Avaliamos o Oracle Max pelo método que a ivrit.ai publicou para a sua classificação. Removemos os sinais vocálicos e a pontuação, desconsideramos a distinção entre maiúsculas e minúsculas e calculamos uma taxa de erro para o conjunto de todas as palavras de todas as gravações[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. Antes do teste, nossa cópia do código de avaliação reproduziu os valores da tabela com uma diferença máxima de 0,17 ponto percentual[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]].
Enviamos as gravações pela API pública do KolWrite, o mesmo serviço que os clientes usam, com o hebraico selecionado como língua[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. As 792 gravações entraram no cálculo[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. Para uma delas, o sistema não devolveu texto e todas as palavras contaram como erros[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]].
À frente em 10.000 de 10.000 reamostragens
A diferença entre duas taxas de erro pode depender das frases que compõem o teste[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. Para verificar a diferença que medimos, usamos as transcrições que a ivrit.ai publica para 16 dos 21 sistemas da tabela e as comparamos com as do Oracle Max, gravação por gravação[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. A partir das 792 gravações, sorteamos 10.000 novas amostras e avaliamos os dois sistemas de cada comparação na mesma amostra[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. Em todas as 10.000 amostras, o Oracle Max teve uma taxa de erro inferior à de cada um dos 16 sistemas[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]].
O Soniox foi o que mais se aproximou do Oracle Max[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. A vantagem do Oracle Max foi de 5,1 pontos percentuais, com um intervalo de 95% entre 4,3 e 5,9 pontos percentuais[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. O Oracle Max cometeu 1.734 erros de transcrição de palavras e o Soniox, 2.435, uma redução de 29%[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. O Oracle Max cometeu 31% menos erros por palavra do que o ElevenLabs Scribe v1, 40% menos do que o gpt-4o-transcribe da OpenAI e 67% menos do que o Google Speech[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]].
O Oracle Max transcreveu 309 das 792 frases sem nenhum erro[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. Entre os 16 sistemas de comparação, o melhor resultado foi de 218 frases sem erros[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. Para os outros cinco sistemas, não há transcrições públicas deste conjunto. As taxas publicadas vão de 17,4% a 24,5%, todas acima do limite superior do intervalo de 95% do Oracle Max, que é de 14,1%[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]].
O alcance do teste
Fizemos o teste uma única vez, em 21 de novembro de 2026, com frases lidas em hebraico e uma só pessoa a falar em cada gravação[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. Os resultados dos outros sistemas vêm dos testes da própria ivrit.ai, com as versões indicadas na tabela[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. Estamos a fazer a mesma comparação em outras línguas e vamos publicar cada uma com os dados correspondentes[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]].
Como conferir os resultados
As 792 transcrições, cada uma com a frase de referência e a avaliação, estão disponíveis em itanu.org/data/oracle-max-hebrew-fleurs-792-2026-11-21.csv[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. A nota que acompanha os dados descreve o método e apresenta a tabela com todas as comparações e o valor inicial do gerador de números aleatórios[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]]. As transcrições da tabela da ivrit.ai também são públicas, o que permite a qualquer pessoa repetir a comparação[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Abrir fonteFontes [1]].
Fontes
- 1Material fornecido por ITANU Studios Ltd
FornecidoKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Acessada
- 2benchmark.csv · ivrit-ai/hebrew-transcription-leaderboard
Independenteivrit.aiAcessada
- 3FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech
PrimáriaarXivAcessada
O sistema de redação da ITANU produziu este artigo com IA e o conferiu nas fontes listadas acima. Como trabalhamos

