Da editora · ITANU
A ITANU publica esta revista e desenvolve os produtos de que trata este artigo. É a versão da própria empresa, não uma reportagem.
Oracle Max da KolWrite regista a menor taxa de erro em cinco línguas num teste público
No teste FLEURS, nenhum sistema do Open ASR Leaderboard tem uma taxa de erro por palavra inferior à do Oracle Max em cinco línguas. Em italiano, a taxa foi de 0,72%.
Os números entre colchetes levam às fontes listadas abaixo.
Em 21 e 22 de novembro de 2026, submetemos o Oracle Max, a modalidade mais avançada na nuvem da nossa aplicação de transcrição KolWrite, ao teste FLEURS em cinco línguas. Usámos gravações em italiano, alemão, espanhol, português do Brasil e francês[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. Ao todo, são 4.230 frases gravadas, cerca de 15 horas de fala[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. O Open ASR Leaderboard publica resultados de 46 a 48 outros sistemas para as mesmas gravações[3Hugging FaceOpen ASR LeaderboardAbrir fonteFontes [3]]. Em quatro línguas, o Oracle Max tem uma taxa de erro por palavra inferior à de todos os outros sistemas. Em espanhol, divide o primeiro lugar com outro sistema[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1], 3Hugging FaceOpen ASR LeaderboardAbrir fonteFontes [3]].
Os cinco resultados
A taxa de erro por palavra é a soma das palavras que o sistema trocou, omitiu ou acrescentou, dividida pelo número de palavras pronunciadas[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. Para cada língua, apresentamos o nosso resultado e a menor taxa entre os outros sistemas da lista[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1], 3Hugging FaceOpen ASR LeaderboardAbrir fonteFontes [3]].
- Italiano: Oracle Max 0,72%, ElevenLabs Scribe v2 0,90%[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1], 3Hugging FaceOpen ASR LeaderboardAbrir fonteFontes [3]]
- Alemão: Oracle Max 1,58%, Microsoft Azure Speech 1,62%[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1], 3Hugging FaceOpen ASR LeaderboardAbrir fonteFontes [3]]
- Espanhol: Oracle Max 1,76%, Microsoft Azure Speech 1,76%[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1], 3Hugging FaceOpen ASR LeaderboardAbrir fonteFontes [3]]
- Português: Oracle Max 2,35%, Microsoft Azure Speech 2,45%[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1], 3Hugging FaceOpen ASR LeaderboardAbrir fonteFontes [3]]
- Francês: Oracle Max 2,54%, Microsoft Azure Speech 2,64%[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1], 3Hugging FaceOpen ASR LeaderboardAbrir fonteFontes [3]]
Em italiano, o Oracle Max transcreveu 753 das 865 frases sem qualquer erro. Em 21.223 palavras, cometeu 152 erros[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. A classificação atribui ao gpt-transcribe, da OpenAI, taxas de 1,35% em italiano e 3,45% em francês. Para o Universal-3.5 Pro, da AssemblyAI, os valores são de 1,03% e 2,82%, respetivamente[3Hugging FaceOpen ASR LeaderboardAbrir fonteFontes [3]].
As mesmas gravações e o mesmo método de avaliação
O FLEURS reúne gravações de frases lidas em voz alta em 102 línguas[2arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of SpeechAbrir fonteFontes [2]]. Usámos as mesmas gravações de teste e os mesmos textos de referência da classificação. Para avaliar o Oracle Max, aplicámos o código publicado pelo próprio Open ASR Leaderboard[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. Antes de comparar os sistemas, voltámos a avaliar os ficheiros da classificação com a nossa cópia do código. Nenhum dos 169 resultados se desviou mais de 0,13 pontos percentuais do valor publicado na tabela[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]].
Enviámos as gravações pela API pública da KolWrite, o mesmo serviço usado pelos clientes, com indicação da língua de cada gravação[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. Todas as gravações entraram na avaliação e todas receberam uma transcrição[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]].
Comparação gravação a gravação
Para 33 ou 34 sistemas por língua, o Open ASR Leaderboard publica a transcrição de cada gravação. Isso permite comparar dois sistemas com base exatamente nas mesmas frases[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. A partir das gravações, sorteámos 10.000 novas amostras e avaliámos os dois sistemas em cada uma delas[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. Em italiano, alemão e francês, a taxa do Oracle Max foi inferior à de cada um desses sistemas. Em todas as comparações, o intervalo de 95% para a diferença excluiu o zero[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]].
Em espanhol e português, o mesmo se verifica em relação a 33 dos 34 sistemas[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. No caso do sistema restante, o Voxtral Small da Mistral, a diferença ronda um décimo de ponto percentual e é demasiado pequena para uma conclusão segura[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. Nenhum sistema com resultados por gravação teve uma taxa inferior à do Oracle Max em qualquer das cinco línguas[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]].
Sistemas sem transcrições publicadas
Para Microsoft Azure Speech, ElevenLabs, AssemblyAI e OpenAI, a classificação apresenta apenas um resultado global por língua, sem ficheiro com dados por gravação[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. Podemos comparar esses valores, mas os dados disponíveis não permitem testar a diferença[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. Em alemão, espanhol, português e francês, o resultado do Azure fica dentro do intervalo de 95% do Oracle Max. Os resultados estão, portanto, próximos nessas quatro línguas[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. Em italiano, o limite superior do intervalo é de 0,86%, abaixo da taxa de qualquer outro sistema[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]].
A classificação inclui outros testes para estas línguas. Aplicámos apenas o FLEURS[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. O FLEURS usa gravações limpas de textos lidos em voz alta. Reuniões e chamadas telefónicas são mais difíceis de transcrever para todos os sistemas[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. Avaliámos também outras línguas. Nestas cinco, nenhum sistema obteve uma taxa inferior à do Oracle Max neste teste[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]].
Como conferir os resultados
Todas as transcrições e as respetivas avaliações estão disponíveis ao público[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]]. O ficheiro de italiano está em itanu.org/data/oracle-max-italian-fleurs-865-2026-11-22.csv. A nota que o acompanha, oracle-max-five-languages-fleurs-2026-11-22.md, descreve o método e inclui ligações para os outros quatro ficheiros[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Abrir fonteFontes [1]].
Fontes
- 1Material fornecido por ITANU Studios Ltd
FornecidoKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Acessada
- 2FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech
IndependentearXivAcessada
- 3Open ASR Leaderboard
IndependenteHugging FaceAcessada
O sistema de redação da ITANU produziu este artigo com IA e o conferiu nas fontes listadas acima. Como trabalhamos
