От издателя · ITANU

ITANU издаёт этот журнал и разрабатывает продукты, о которых идёт речь в статье. Это позиция самой компании, а не новостной материал.

Oracle Max от KolWrite показал наименьшую долю ошибок в открытом тесте 22 систем распознавания речи на иврите

На всех 792 записях на иврите из теста FLEURS доля ошибок при распознавании слов у Oracle Max составила 12,6%. У 21 системы из открытого рейтинга ivrit.ai на тех же записях показатель составил от 17,4% до 46,0%.

Числа в квадратных скобках ведут к источникам, перечисленным ниже.

21 ноября 2026 года мы проверили Oracle Max, старший облачный тариф нашего приложения для расшифровки речи KolWrite, на всех записях на иврите из открытого тестового набора FLEURS. В эту часть набора вошли 792 записанных предложения общим объёмом 13 751 слово[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. Доля ошибок при распознавании слов составила 12,6%[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. В рейтинге ivrit.ai для распознавания речи на иврите приведены результаты 21 системы на тех же записях. Доля ошибок у них составляет от 17,4% до 46,0%[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardОткрыть источникИсточники [2]].

Опубликованные результаты

Чтобы рассчитать долю ошибок при распознавании слов, складывают число неверно распознанных, пропущенных и добавленных слов и делят сумму на число произнесённых слов[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. Ниже приведены наш результат и шесть показателей из рейтинга для записей FLEURS на иврите[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1], 2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardОткрыть источникИсточники [2]].

Самая низкая доля ошибок в таблице, 17,4%, у модели для иврита, которую опубликовала сама ivrit.ai[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardОткрыть источникИсточники [2]]. У Oracle Max этот показатель составил 12,6%, что ниже всех 21 результата[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. При таком показателе система точно передаёт семь слов из восьми. Критерий строгий. Даже другой вариант написания имени считается ошибкой[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]].

Одни и те же записи и единая методика оценки

FLEURS содержит записи предложений, прочитанных вслух на 102 языках. На каждый язык приходится около 12 часов речи[3arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of SpeechОткрыть источникИсточники [3]]. В тестовой части на иврите 792 записи[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. Мы оценивали Oracle Max по методике, опубликованной составителями рейтинга. Мы удалили огласовки и знаки препинания, привели буквы к одному регистру и рассчитали общую долю ошибок по всем словам во всех записях[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. Перед испытанием мы проверили свою копию кода для оценки. Она воспроизвела значения из таблицы с отклонением не более 0,17 процентного пункта[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]].

Мы отправили записи через открытый API KolWrite, выбрав иврит в настройках языка. Этим же сервисом пользуются клиенты[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. В расчёт вошли все 792 записи[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. Для одной из них система не вернула текст, поэтому каждое слово засчитано как ошибка[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]].

Впереди в 10 000 повторных выборках из 10 000

Разница в доле ошибок двух систем может зависеть от того, какие предложения попали в тест[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. Чтобы проверить полученную разницу, мы взяли расшифровки, опубликованные для 16 из 21 системы рейтинга, и для каждой записи сравнили их с расшифровкой Oracle Max[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. Из 792 записей мы случайным образом сформировали 10 000 повторных выборок. В каждой паре обе системы оценивали на одной и той же выборке[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. Во всех 10 000 выборках доля ошибок у Oracle Max была ниже, чем у каждой из 16 систем[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]].

Ближе всех к Oracle Max оказался Soniox[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. У Oracle Max доля ошибок ниже на 5,1 процентного пункта. Границы 95%-го интервала для этой разницы составили от 4,3 до 5,9 процентного пункта[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. В пересчёте на слова у Oracle Max было 1 734 ошибки против 2 435 у Soniox, то есть на 29% меньше[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. По сравнению с ElevenLabs Scribe v1 у Oracle Max было на 31% меньше ошибок в словах, по сравнению с gpt-4o-transcribe от OpenAI — на 40% меньше, а по сравнению с Google Speech — на 67% меньше[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]].

Oracle Max без ошибок расшифровал 309 предложений из 792[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. Лучший результат среди 16 систем сравнения составил 218 предложений без ошибок[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. Для остальных пяти систем нет открытых расшифровок этого набора. Опубликованные доли ошибок составляют от 17,4% до 24,5%. Все они выше верхней границы 95%-го интервала Oracle Max, которая составляет 14,1%[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]].

Что охватывает тест

Мы провели испытание один раз, 21 ноября 2026 года. В каждой записи один человек читал предложение вслух на иврите[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. Показатели других систем получили составители рейтинга в собственных испытаниях. Версии систем указаны в рейтинге[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. Мы проводим такое же сравнение для других языков и опубликуем результаты по каждому языку вместе с файлами[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]].

Как проверить результаты

Все 792 расшифровки доступны в открытом файле. Для каждой приведены эталонное предложение и результат оценки. Файл размещён по адресу itanu.org/data/oracle-max-hebrew-fleurs-792-2026-11-21.csv[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. В сопроводительной записке описана методика, приведены таблица всех сравнений и начальное значение генератора случайных чисел[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]]. Расшифровки из рейтинга тоже открыты, поэтому любой желающий может повторить сравнение[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Открыть источникИсточники [1]].

Источники

  1. 1
    Материал предоставлен: ITANU Studios Ltd

    ПредоставленоKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Просмотрено

  2. 2
    benchmark.csv · ivrit-ai/hebrew-transcription-leaderboard

    Независимыйivrit.aiПросмотрено

  3. 3
    FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech

    ПервичныйarXivПросмотрено

Редакционная система ITANU подготовила этот материал с помощью ИИ и сверила его с источниками, перечисленными выше. Как мы работаем

Журнал ITANU

Технологии, искусственный интеллект и наука