# Oracle Max от KolWrite показал наименьшую долю ошибок в открытом тесте 22 систем распознавания речи на иврите

**От издателя · ITANU**

На всех 792 записях на иврите из теста FLEURS доля ошибок при распознавании слов у Oracle Max составила 12,6%. У 21 системы из открытого рейтинга ivrit.ai на тех же записях показатель составил от 17,4% до 46,0%.

Софт · Автор: Редакция журнала ITANU · Опубликовано 2026-11-21T08:59:00.000Z · 4 мин чтения

## Главное

- 21 ноября 2026 года мы проверили Oracle Max на всех 792 записях FLEURS на иврите. Доля ошибок при распознавании слов составила 12,6%.
- В рейтинге ivrit.ai для иврита приведены результаты 21 системы на тех же записях. Наименьшая опубликованная доля ошибок составляет 17,4%.
- Сравнение расшифровок каждой записи показало, что у Oracle Max на 29% меньше ошибок в словах, чем у Soniox, и на 31% меньше, чем у ElevenLabs Scribe v1.

21 ноября 2026 года мы проверили Oracle Max, старший облачный тариф нашего приложения для расшифровки речи KolWrite, на всех записях на иврите из открытого тестового набора FLEURS. В эту часть набора вошли 792 записанных предложения общим объёмом 13 751 слово [1]. Доля ошибок при распознавании слов составила 12,6% [1]. В рейтинге ivrit.ai для распознавания речи на иврите приведены результаты 21 системы на тех же записях. Доля ошибок у них составляет от 17,4% до 46,0% [2].

## Опубликованные результаты

Чтобы рассчитать долю ошибок при распознавании слов, складывают число неверно распознанных, пропущенных и добавленных слов и делят сумму на число произнесённых слов [1]. Ниже приведены наш результат и шесть показателей из рейтинга для записей FLEURS на иврите [1][2].

- KolWrite Oracle Max — 12,6% [1]
- Soniox — 17,7% [2]
- ElevenLabs Scribe v1 — 18,1% [2]
- OpenAI gpt-4o-transcribe — 21,0% [2]
- Amazon Transcribe — 23,0% [2]
- Deepgram Nova-3 — 23,3% [2]
- Google Speech — 38,5% [2]

Самая низкая доля ошибок в таблице, 17,4%, у модели для иврита, которую опубликовала сама ivrit.ai [2]. У Oracle Max этот показатель составил 12,6%, что ниже всех 21 результата [1]. При таком показателе система точно передаёт семь слов из восьми. Критерий строгий. Даже другой вариант написания имени считается ошибкой [1].

## Одни и те же записи и единая методика оценки

FLEURS содержит записи предложений, прочитанных вслух на 102 языках. На каждый язык приходится около 12 часов речи [3]. В тестовой части на иврите 792 записи [1]. Мы оценивали Oracle Max по методике, опубликованной составителями рейтинга. Мы удалили огласовки и знаки препинания, привели буквы к одному регистру и рассчитали общую долю ошибок по всем словам во всех записях [1]. Перед испытанием мы проверили свою копию кода для оценки. Она воспроизвела значения из таблицы с отклонением не более 0,17 процентного пункта [1].

Мы отправили записи через открытый API KolWrite, выбрав иврит в настройках языка. Этим же сервисом пользуются клиенты [1]. В расчёт вошли все 792 записи [1]. Для одной из них система не вернула текст, поэтому каждое слово засчитано как ошибка [1].

## Впереди в 10 000 повторных выборках из 10 000

Разница в доле ошибок двух систем может зависеть от того, какие предложения попали в тест [1]. Чтобы проверить полученную разницу, мы взяли расшифровки, опубликованные для 16 из 21 системы рейтинга, и для каждой записи сравнили их с расшифровкой Oracle Max [1]. Из 792 записей мы случайным образом сформировали 10 000 повторных выборок. В каждой паре обе системы оценивали на одной и той же выборке [1]. Во всех 10 000 выборках доля ошибок у Oracle Max была ниже, чем у каждой из 16 систем [1].

Ближе всех к Oracle Max оказался Soniox [1]. У Oracle Max доля ошибок ниже на 5,1 процентного пункта. Границы 95%-го интервала для этой разницы составили от 4,3 до 5,9 процентного пункта [1]. В пересчёте на слова у Oracle Max было 1 734 ошибки против 2 435 у Soniox, то есть на 29% меньше [1]. По сравнению с ElevenLabs Scribe v1 у Oracle Max было на 31% меньше ошибок в словах, по сравнению с gpt-4o-transcribe от OpenAI — на 40% меньше, а по сравнению с Google Speech — на 67% меньше [1].

Oracle Max без ошибок расшифровал 309 предложений из 792 [1]. Лучший результат среди 16 систем сравнения составил 218 предложений без ошибок [1]. Для остальных пяти систем нет открытых расшифровок этого набора. Опубликованные доли ошибок составляют от 17,4% до 24,5%. Все они выше верхней границы 95%-го интервала Oracle Max, которая составляет 14,1% [1].

## Что охватывает тест

Мы провели испытание один раз, 21 ноября 2026 года. В каждой записи один человек читал предложение вслух на иврите [1]. Показатели других систем получили составители рейтинга в собственных испытаниях. Версии систем указаны в рейтинге [1]. Мы проводим такое же сравнение для других языков и опубликуем результаты по каждому языку вместе с файлами [1].

## Как проверить результаты

Все 792 расшифровки доступны в открытом файле. Для каждой приведены эталонное предложение и результат оценки. Файл размещён по адресу itanu.org/data/oracle-max-hebrew-fleurs-792-2026-11-21.csv [1]. В сопроводительной записке описана методика, приведены таблица всех сравнений и начальное значение генератора случайных чисел [1]. Расшифровки из рейтинга тоже открыты, поэтому любой желающий может повторить сравнение [1].

## Источники

1. [KolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026](https://itanu.org/magazine/standards/), ITANU Studios Ltd (Предоставлено)
2. [benchmark.csv · ivrit-ai/hebrew-transcription-leaderboard](https://huggingface.co/spaces/ivrit-ai/hebrew-transcription-leaderboard/blob/main/benchmark.csv), ivrit.ai (Независимый)
3. [FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech](https://arxiv.org/abs/2205.12446), arXiv (Первичный)

Редакционная система ITANU подготовила этот материал с помощью ИИ и сверила его с источниками, перечисленными выше.

Canonical: https://itanu.org/ru/magazine/kolwrite-s-oracle-max-scores-the-lowest-hebrew-error-rate-on-a-zzmjkzdz/
