От издателя · ITANU
ITANU издаёт этот журнал и разрабатывает продукты, о которых идёт речь в статье. Это позиция самой компании, а не новостной материал.
Oracle Max от KolWrite показала самую низкую долю ошибок в открытом тесте на пяти языках
В тесте FLEURS ни у одной системы из рейтинга Open ASR Leaderboard доля ошибок в словах не оказалась ниже, чем у Oracle Max, ни на одном из пяти языков. Для итальянского показатель составил 0,72 %.
Числа в квадратных скобках ведут к источникам, перечисленным ниже.
21 и 22 ноября 2026 года мы проверили Oracle Max, старшую облачную версию нашего приложения для расшифровки речи KolWrite, на тесте FLEURS. Взяли записи на пяти языках — итальянском, немецком, испанском, бразильском варианте португальского и французском[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. Всего это 4 230 записанных предложений, около 15 часов речи[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. В рейтинге Open ASR Leaderboard для тех же записей опубликованы результаты ещё от 46 до 48 систем[3Hugging FaceOpen ASR LeaderboardОткрыть источникИсточники [3]]. На четырёх языках доля ошибок в словах у Oracle Max ниже, чем у любой другой системы. На испанском лучший результат с ней разделила ещё одна система[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1], 3Hugging FaceOpen ASR LeaderboardОткрыть источникИсточники [3]].
Результаты по пяти языкам
Чтобы определить долю ошибок в словах, складывают число слов, которые система распознала неверно, пропустила или добавила, и делят сумму на число произнесённых слов[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. Для каждого языка мы приводим свой результат и наименьшую долю ошибок среди остальных систем в рейтинге[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1], 3Hugging FaceOpen ASR LeaderboardОткрыть источникИсточники [3]].
- Итальянский: Oracle Max 0,72 %, ElevenLabs Scribe v2 0,90 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1], 3Hugging FaceOpen ASR LeaderboardОткрыть источникИсточники [3]]
- Немецкий: Oracle Max 1,58 %, Microsoft Azure Speech 1,62 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1], 3Hugging FaceOpen ASR LeaderboardОткрыть источникИсточники [3]]
- Испанский: Oracle Max 1,76 %, Microsoft Azure Speech 1,76 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1], 3Hugging FaceOpen ASR LeaderboardОткрыть источникИсточники [3]]
- Португальский: Oracle Max 2,35 %, Microsoft Azure Speech 2,45 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1], 3Hugging FaceOpen ASR LeaderboardОткрыть источникИсточники [3]]
- Французский: Oracle Max 2,54 %, Microsoft Azure Speech 2,64 %[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1], 3Hugging FaceOpen ASR LeaderboardОткрыть источникИсточники [3]]
На итальянском Oracle Max без ошибок записала 753 предложения из 865. На 21 223 слова пришлось 152 ошибки[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. По данным рейтинга, у gpt-transcribe от OpenAI доля ошибок составила 1,35 % на итальянском и 3,45 % на французском. У Universal-3.5 Pro от AssemblyAI показатели составили 1,03 % и 2,82 % соответственно[3Hugging FaceOpen ASR LeaderboardОткрыть источникИсточники [3]].
Одни и те же записи и метод оценки
FLEURS — набор аудиозаписей, на которых читают вслух предложения на 102 языках[2arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of SpeechОткрыть источникИсточники [2]]. Мы взяли те же тестовые записи и эталонные тексты, которые используют составители рейтинга. Для оценки Oracle Max мы применили опубликованный ими код[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. Перед сравнением систем мы с помощью своей копии кода пересчитали показатели по исходным файлам рейтинга. Для всех 169 значений расхождение с опубликованной таблицей не превысило 0,13 процентного пункта[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]].
Мы отправляли записи через общедоступный API KolWrite, указывая язык каждой записи. Тем же сервисом пользуются клиенты[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. Мы учли все записи и для каждой получили расшифровку[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]].
Сравнение по отдельным записям
Для 33 или 34 систем, в зависимости от языка, составители рейтинга публикуют расшифровку каждой записи. Это позволяет сравнить две системы на одних и тех же предложениях[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. Из исходных записей мы случайным образом сформировали 10 000 повторных выборок. На каждой выборке мы оценили обе системы[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. На итальянском, немецком и французском доля ошибок у Oracle Max оказалась ниже, чем у каждой из этих систем. Во всех сравнениях 95-процентный интервал для разности показателей не включал ноль[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]].
Для испанского и португальского тот же вывод верен при сравнении с 33 из 34 систем[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. В случае оставшейся системы, Voxtral Small от Mistral, разница составила около одной десятой процентного пункта. Этого слишком мало для однозначного вывода[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. Ни на одном из пяти языков доля ошибок у систем с данными по отдельным записям не оказалась ниже, чем у Oracle Max[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]].
Системы без опубликованных расшифровок
Для Microsoft Azure Speech, ElevenLabs, AssemblyAI и OpenAI в рейтинге приведён только общий показатель по каждому языку. Файлов с результатами по отдельным записям нет[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. Мы можем сопоставить итоговые значения, но проверить статистическую значимость различий по ним нельзя[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. На немецком, испанском, португальском и французском показатель Azure попадает в 95-процентный интервал Oracle Max. На этих четырёх языках результаты близки[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. Для итальянского верхняя граница интервала составляет 0,86 %, что ниже показателя любой другой системы[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]].
В рейтинге есть и другие тесты для этих языков. Мы провели только FLEURS[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. В FLEURS используются чистые записи чтения вслух. Распознавать речь на совещаниях и в телефонных разговорах сложнее всем системам[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. Мы исследовали и другие языки. Здесь приведены те пять, для которых ни одна система в этом тесте не показала меньшую долю ошибок[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]].
Как проверить результаты
Все расшифровки и оценки по каждой из них находятся в открытом доступе[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]]. Файл для итальянского языка доступен по адресу itanu.org/data/oracle-max-italian-fleurs-865-2026-11-22.csv. В сопроводительной записке oracle-max-five-languages-fleurs-2026-11-22.md описан метод оценки и даны ссылки на остальные четыре файла[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Открыть источникИсточники [1]].
Источники
- 1Материал предоставлен: ITANU Studios Ltd
ПредоставленоKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Просмотрено
- 2FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech
НезависимыйarXivПросмотрено
- 3Open ASR Leaderboard
НезависимыйHugging FaceПросмотрено
Редакционная система ITANU подготовила этот материал с помощью ИИ и сверила его с источниками, перечисленными выше. Как мы работаем
