# Oracle Max da KolWrite tem a menor taxa de erro em teste público de 22 sistemas de transcrição em hebraico

**Da editora · ITANU**

Nas 792 gravações em hebraico do teste FLEURS, a taxa de erro por palavra do Oracle Max foi de 12,6%. Na classificação pública da ivrit.ai, as taxas dos 21 sistemas avaliados nas mesmas gravações variam de 17,4% a 46,0%.

Software · Por Redação da ITANU Magazine · Publicado 2026-11-21T08:59:00.000Z · 4 min de leitura

## Pontos principais

- Em 21 de novembro de 2026, testamos o Oracle Max nas 792 gravações em hebraico do FLEURS e medimos uma taxa de erro por palavra de 12,6%.
- A classificação da ivrit.ai para o hebraico reúne 21 sistemas avaliados nas mesmas gravações. A menor taxa publicada é de 17,4%.
- Na comparação gravação por gravação, o Oracle Max cometeu 29% menos erros de transcrição de palavras do que o Soniox e 31% menos do que o ElevenLabs Scribe v1.

Em 21 de novembro de 2026, testamos o Oracle Max, o plano mais avançado na nuvem do KolWrite, nossa aplicação de transcrição. Usamos todas as gravações em hebraico do FLEURS, um conjunto público de dados para testes de fala, com 792 frases gravadas e 13.751 palavras em hebraico [1]. A taxa de erro por palavra foi de 12,6% [1]. Na classificação da ivrit.ai para transcrição em hebraico, os 21 sistemas avaliados nas mesmas gravações tiveram taxas de 17,4% a 46,0% [2].

## As taxas de erro publicadas

Para calcular a taxa de erro por palavra, somam-se as palavras transcritas incorretamente, omitidas ou acrescentadas pelo sistema e divide-se o resultado pelo total de palavras pronunciadas [1]. A lista reúne a taxa que medimos nas gravações em hebraico do FLEURS e seis taxas publicadas na tabela da ivrit.ai [1][2].

- KolWrite Oracle Max, 12,6% [1]
- Soniox, 17,7% [2]
- ElevenLabs Scribe v1, 18,1% [2]
- OpenAI gpt-4o-transcribe, 21,0% [2]
- Amazon Transcribe, 23,0% [2]
- Deepgram Nova-3, 23,3% [2]
- Google Speech, 38,5% [2]

A menor taxa da tabela, de 17,4%, é de um modelo para hebraico publicado pela própria ivrit.ai [2]. Com 12,6%, o Oracle Max ficou abaixo das taxas dos 21 sistemas [1]. A essa taxa, o sistema acerta por completo sete em cada oito palavras. O critério é rigoroso. Uma grafia diferente para um nome conta como erro [1].

## As mesmas gravações e o mesmo critério de avaliação

O FLEURS reúne frases lidas em voz alta e gravadas em 102 línguas, com cerca de 12 horas de fala por língua [3]. A parte do teste em hebraico tem 792 gravações [1]. Avaliamos o Oracle Max pelo método que a ivrit.ai publicou para a sua classificação. Removemos os sinais vocálicos e a pontuação, desconsideramos a distinção entre maiúsculas e minúsculas e calculamos uma taxa de erro para o conjunto de todas as palavras de todas as gravações [1]. Antes do teste, nossa cópia do código de avaliação reproduziu os valores da tabela com uma diferença máxima de 0,17 ponto percentual [1].

Enviamos as gravações pela API pública do KolWrite, o mesmo serviço que os clientes usam, com o hebraico selecionado como língua [1]. As 792 gravações entraram no cálculo [1]. Para uma delas, o sistema não devolveu texto e todas as palavras contaram como erros [1].

## À frente em 10.000 de 10.000 reamostragens

A diferença entre duas taxas de erro pode depender das frases que compõem o teste [1]. Para verificar a diferença que medimos, usamos as transcrições que a ivrit.ai publica para 16 dos 21 sistemas da tabela e as comparamos com as do Oracle Max, gravação por gravação [1]. A partir das 792 gravações, sorteamos 10.000 novas amostras e avaliamos os dois sistemas de cada comparação na mesma amostra [1]. Em todas as 10.000 amostras, o Oracle Max teve uma taxa de erro inferior à de cada um dos 16 sistemas [1].

O Soniox foi o que mais se aproximou do Oracle Max [1]. A vantagem do Oracle Max foi de 5,1 pontos percentuais, com um intervalo de 95% entre 4,3 e 5,9 pontos percentuais [1]. O Oracle Max cometeu 1.734 erros de transcrição de palavras e o Soniox, 2.435, uma redução de 29% [1]. O Oracle Max cometeu 31% menos erros por palavra do que o ElevenLabs Scribe v1, 40% menos do que o gpt-4o-transcribe da OpenAI e 67% menos do que o Google Speech [1].

O Oracle Max transcreveu 309 das 792 frases sem nenhum erro [1]. Entre os 16 sistemas de comparação, o melhor resultado foi de 218 frases sem erros [1]. Para os outros cinco sistemas, não há transcrições públicas deste conjunto. As taxas publicadas vão de 17,4% a 24,5%, todas acima do limite superior do intervalo de 95% do Oracle Max, que é de 14,1% [1].

## O alcance do teste

Fizemos o teste uma única vez, em 21 de novembro de 2026, com frases lidas em hebraico e uma só pessoa a falar em cada gravação [1]. Os resultados dos outros sistemas vêm dos testes da própria ivrit.ai, com as versões indicadas na tabela [1]. Estamos a fazer a mesma comparação em outras línguas e vamos publicar cada uma com os dados correspondentes [1].

## Como conferir os resultados

As 792 transcrições, cada uma com a frase de referência e a avaliação, estão disponíveis em itanu.org/data/oracle-max-hebrew-fleurs-792-2026-11-21.csv [1]. A nota que acompanha os dados descreve o método e apresenta a tabela com todas as comparações e o valor inicial do gerador de números aleatórios [1]. As transcrições da tabela da ivrit.ai também são públicas, o que permite a qualquer pessoa repetir a comparação [1].

## Fontes

1. [KolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026](https://itanu.org/magazine/standards/), ITANU Studios Ltd (Fornecido)
2. [benchmark.csv · ivrit-ai/hebrew-transcription-leaderboard](https://huggingface.co/spaces/ivrit-ai/hebrew-transcription-leaderboard/blob/main/benchmark.csv), ivrit.ai (Independente)
3. [FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech](https://arxiv.org/abs/2205.12446), arXiv (Primária)

O sistema de redação da ITANU produziu este artigo com IA e o conferiu nas fontes listadas acima.

Canonical: https://itanu.org/pt/magazine/kolwrite-s-oracle-max-scores-the-lowest-hebrew-error-rate-on-a-zzmjkzdz/
