# Oracle Max от KolWrite показала самую низкую долю ошибок в открытом тесте на пяти языках

**От издателя · ITANU**

В тесте FLEURS ни у одной системы из рейтинга Open ASR Leaderboard доля ошибок в словах не оказалась ниже, чем у Oracle Max, ни на одном из пяти языков. Для итальянского показатель составил 0,72 %.

Софт · Автор: Редакция журнала ITANU · Опубликовано 2026-11-22T20:01:43.000Z · 3 мин чтения

## Главное

- 21 и 22 ноября 2026 года мы проверили Oracle Max на всех 4 230 записях теста FLEURS на итальянском, немецком, испанском, португальском и французском языках.
- Доля ошибок в словах составила 0,72 % для итальянского, 1,58 % для немецкого, 1,76 % для испанского, 2,35 % для португальского и 2,54 % для французского.
- В Open ASR Leaderboard для тех же записей приведены результаты ещё от 46 до 48 систем. Ни у одной из них показатель не оказался ниже ни на одном из пяти языков.

21 и 22 ноября 2026 года мы проверили Oracle Max, старшую облачную версию нашего приложения для расшифровки речи KolWrite, на тесте FLEURS. Взяли записи на пяти языках — итальянском, немецком, испанском, бразильском варианте португальского и французском [1]. Всего это 4 230 записанных предложений, около 15 часов речи [1]. В рейтинге Open ASR Leaderboard для тех же записей опубликованы результаты ещё от 46 до 48 систем [3]. На четырёх языках доля ошибок в словах у Oracle Max ниже, чем у любой другой системы. На испанском лучший результат с ней разделила ещё одна система [1][3].

## Результаты по пяти языкам

Чтобы определить долю ошибок в словах, складывают число слов, которые система распознала неверно, пропустила или добавила, и делят сумму на число произнесённых слов [1]. Для каждого языка мы приводим свой результат и наименьшую долю ошибок среди остальных систем в рейтинге [1][3].

- Итальянский: Oracle Max 0,72 %, ElevenLabs Scribe v2 0,90 % [1][3]
- Немецкий: Oracle Max 1,58 %, Microsoft Azure Speech 1,62 % [1][3]
- Испанский: Oracle Max 1,76 %, Microsoft Azure Speech 1,76 % [1][3]
- Португальский: Oracle Max 2,35 %, Microsoft Azure Speech 2,45 % [1][3]
- Французский: Oracle Max 2,54 %, Microsoft Azure Speech 2,64 % [1][3]

На итальянском Oracle Max без ошибок записала 753 предложения из 865. На 21 223 слова пришлось 152 ошибки [1]. По данным рейтинга, у gpt-transcribe от OpenAI доля ошибок составила 1,35 % на итальянском и 3,45 % на французском. У Universal-3.5 Pro от AssemblyAI показатели составили 1,03 % и 2,82 % соответственно [3].

## Одни и те же записи и метод оценки

FLEURS — набор аудиозаписей, на которых читают вслух предложения на 102 языках [2]. Мы взяли те же тестовые записи и эталонные тексты, которые используют составители рейтинга. Для оценки Oracle Max мы применили опубликованный ими код [1]. Перед сравнением систем мы с помощью своей копии кода пересчитали показатели по исходным файлам рейтинга. Для всех 169 значений расхождение с опубликованной таблицей не превысило 0,13 процентного пункта [1].

Мы отправляли записи через общедоступный API KolWrite, указывая язык каждой записи. Тем же сервисом пользуются клиенты [1]. Мы учли все записи и для каждой получили расшифровку [1].

## Сравнение по отдельным записям

Для 33 или 34 систем, в зависимости от языка, составители рейтинга публикуют расшифровку каждой записи. Это позволяет сравнить две системы на одних и тех же предложениях [1]. Из исходных записей мы случайным образом сформировали 10 000 повторных выборок. На каждой выборке мы оценили обе системы [1]. На итальянском, немецком и французском доля ошибок у Oracle Max оказалась ниже, чем у каждой из этих систем. Во всех сравнениях 95-процентный интервал для разности показателей не включал ноль [1].

Для испанского и португальского тот же вывод верен при сравнении с 33 из 34 систем [1]. В случае оставшейся системы, Voxtral Small от Mistral, разница составила около одной десятой процентного пункта. Этого слишком мало для однозначного вывода [1]. Ни на одном из пяти языков доля ошибок у систем с данными по отдельным записям не оказалась ниже, чем у Oracle Max [1].

## Системы без опубликованных расшифровок

Для Microsoft Azure Speech, ElevenLabs, AssemblyAI и OpenAI в рейтинге приведён только общий показатель по каждому языку. Файлов с результатами по отдельным записям нет [1]. Мы можем сопоставить итоговые значения, но проверить статистическую значимость различий по ним нельзя [1]. На немецком, испанском, португальском и французском показатель Azure попадает в 95-процентный интервал Oracle Max. На этих четырёх языках результаты близки [1]. Для итальянского верхняя граница интервала составляет 0,86 %, что ниже показателя любой другой системы [1].

В рейтинге есть и другие тесты для этих языков. Мы провели только FLEURS [1]. В FLEURS используются чистые записи чтения вслух. Распознавать речь на совещаниях и в телефонных разговорах сложнее всем системам [1]. Мы исследовали и другие языки. Здесь приведены те пять, для которых ни одна система в этом тесте не показала меньшую долю ошибок [1].

## Как проверить результаты

Все расшифровки и оценки по каждой из них находятся в открытом доступе [1]. Файл для итальянского языка доступен по адресу itanu.org/data/oracle-max-italian-fleurs-865-2026-11-22.csv. В сопроводительной записке oracle-max-five-languages-fleurs-2026-11-22.md описан метод оценки и даны ссылки на остальные четыре файла [1].

## Источники

1. [KolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026](https://itanu.org/magazine/standards/), ITANU Studios Ltd (Предоставлено)
2. [FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech](https://arxiv.org/abs/2205.12446), arXiv (Независимый)
3. [Open ASR Leaderboard](https://huggingface.co/spaces/hf-audio/open_asr_leaderboard), Hugging Face (Независимый)

Редакционная система ITANU подготовила этот материал с помощью ИИ и сверила его с источниками, перечисленными выше.

Canonical: https://itanu.org/ru/magazine/kolwrite-s-oracle-max-has-the-lowest-error-rate-in-italian-yeshwcec/
