# Oracle Max dari KolWrite catat tingkat kesalahan terendah dalam uji publik 22 mesin transkripsi bahasa Ibrani

**Dari penerbit · ITANU**

Pada seluruh 792 klip bahasa Ibrani dalam uji FLEURS, tingkat kesalahan kata Oracle Max mencapai 12,6 persen. Untuk klip yang sama, angka 21 mesin dalam daftar peringkat publik ivrit.ai berkisar antara 17,4 dan 46,0 persen.

Perangkat lunak · Oleh Redaksi ITANU Magazine · Terbit 2026-11-21T08:59:00.000Z · 4 menit baca

## Poin penting

- Kami menguji Oracle Max pada seluruh 792 klip bahasa Ibrani FLEURS pada 21 November 2026. Tingkat kesalahan katanya mencapai 12,6 persen.
- Daftar peringkat transkripsi bahasa Ibrani ivrit.ai memuat hasil 21 mesin untuk klip yang sama. Tingkat kesalahan terendah dalam daftar itu adalah 17,4 persen.
- Dalam perbandingan per klip, jumlah kesalahan kata Oracle Max 29 persen lebih sedikit daripada Soniox dan 31 persen lebih sedikit daripada ElevenLabs Scribe v1.

Pada 21 November 2026, kami menguji Oracle Max, layanan komputasi awan tingkat tertinggi pada aplikasi transkripsi kami, KolWrite. Kami menggunakan seluruh klip bahasa Ibrani dari FLEURS, kumpulan data uji wicara yang tersedia untuk umum. Klip itu memuat 792 rekaman kalimat dengan total 13.751 kata [1]. Tingkat kesalahan kata Oracle Max mencapai 12,6 persen [1]. Daftar peringkat transkripsi bahasa Ibrani ivrit.ai memuat hasil 21 mesin pada klip yang sama, dengan tingkat kesalahan antara 17,4 dan 46,0 persen [2].

## Tingkat kesalahan yang dipublikasikan

Untuk menghitung tingkat kesalahan kata, jumlah kata yang salah ditulis, terlewat, atau ditambahkan oleh mesin dibagi dengan jumlah kata yang diucapkan [1]. Berikut tingkat kesalahan pada klip bahasa Ibrani FLEURS untuk Oracle Max dalam pengujian kami dan enam mesin dalam tabel peringkat ivrit.ai [1][2].

- KolWrite Oracle Max 12,6 persen [1]
- Soniox 17,7 persen [2]
- ElevenLabs Scribe v1 18,1 persen [2]
- OpenAI gpt-4o-transcribe 21,0 persen [2]
- Amazon Transcribe 23,0 persen [2]
- Deepgram Nova-3 23,3 persen [2]
- Google Speech 38,5 persen [2]

Model bahasa Ibrani yang diterbitkan oleh ivrit.ai sendiri mencatat tingkat kesalahan terendah dalam tabel itu, yakni 17,4 persen [2]. Tingkat kesalahan Oracle Max sebesar 12,6 persen lebih rendah daripada angka seluruh 21 mesin tersebut [1]. Pada tingkat itu, Oracle Max menulis tepat tujuh dari setiap delapan kata. Penilaiannya ketat. Nama yang ditulis dengan ejaan berbeda pun dihitung sebagai kesalahan [1].

## Klip dan metode penilaian yang sama

FLEURS berisi rekaman kalimat yang dibacakan dalam 102 bahasa, dengan durasi sekitar 12 jam untuk setiap bahasa [3]. Data uji bahasa Ibraninya terdiri atas 792 klip [1]. Kami menilai Oracle Max dengan metode yang dipublikasikan ivrit.ai untuk daftar peringkatnya. Setelah menghapus tanda vokal dan tanda baca serta menyeragamkan huruf besar dan kecil, kami menghitung satu tingkat kesalahan untuk seluruh kata dari semua klip [1]. Sebelum pengujian, kami menggunakan salinan kode penilaian untuk menghitung ulang angka pada tabel peringkat. Selisihnya paling besar 0,17 poin persentase [1].

Kami mengirim klip melalui API publik KolWrite, layanan yang juga digunakan pelanggan, dengan pilihan bahasa Ibrani [1]. Kami menghitung seluruh 792 klip [1]. Satu klip tidak menghasilkan teks sehingga setiap kata pada klip itu dihitung sebagai kesalahan [1].

## Oracle Max unggul dalam 10.000 dari 10.000 sampel ulang

Selisih tingkat kesalahan antara dua mesin dapat bergantung pada kalimat yang kebetulan masuk dalam pengujian [1]. Untuk memeriksa selisih dalam pengujian kami, kami mengambil transkrip yang dipublikasikan ivrit.ai untuk 16 dari 21 mesin dalam daftar peringkatnya. Kami membandingkannya dengan transkrip Oracle Max untuk setiap klip [1]. Dari 792 klip itu, kami mengambil 10.000 sampel ulang secara acak dan menilai kedua mesin pada sampel yang sama dalam setiap perbandingan [1]. Tingkat kesalahan Oracle Max lebih rendah daripada masing-masing dari 16 mesin tersebut pada seluruh 10.000 sampel ulang [1].

Di antara mesin tersebut, Soniox mencatat hasil paling dekat dengan Oracle Max [1]. Tingkat kesalahan Oracle Max lebih rendah 5,1 poin persentase daripada Soniox, dengan interval 95 persen untuk selisih itu antara 4,3 dan 5,9 poin persentase [1]. Oracle Max membuat 1.734 kesalahan kata dan Soniox 2.435, sehingga jumlah kesalahan Oracle Max 29 persen lebih sedikit [1]. Jumlah kesalahan kata Oracle Max juga 31 persen lebih sedikit daripada ElevenLabs Scribe v1, 40 persen lebih sedikit daripada gpt-4o-transcribe dari OpenAI, dan 67 persen lebih sedikit daripada Google Speech [1].

Oracle Max menyalin 309 dari 792 kalimat tanpa satu pun kesalahan [1]. Di antara 16 mesin pembanding, jumlah tertinggi adalah 218 kalimat tanpa kesalahan [1]. Lima mesin lainnya tidak memublikasikan transkrip untuk data uji ini. Tingkat kesalahan yang dilaporkan untuk kelimanya berkisar antara 17,4 dan 24,5 persen, semuanya di atas batas atas interval 95 persen Oracle Max, yakni 14,1 persen [1].

## Cakupan pengujian

Kami melakukan pengujian satu kali pada 21 November 2026 dengan rekaman kalimat bahasa Ibrani yang dibacakan oleh satu penutur pada setiap klip [1]. Angka untuk mesin lain berasal dari pengujian ivrit.ai sendiri dengan versi mesin yang tercantum dalam daftar peringkatnya [1]. Kami sedang melakukan perbandingan yang sama untuk bahasa lain dan akan memublikasikan hasil setiap perbandingan beserta berkasnya [1].

## Cara memeriksa hasil pengujian

Seluruh 792 transkrip, masing-masing beserta kalimat acuan dan skornya, tersedia dalam berkas publik di itanu.org/data/oracle-max-hebrew-fleurs-792-2026-11-21.csv [1]. Catatan pendampingnya memuat metode penilaian, tabel seluruh perbandingan, dan nilai awal untuk pengambilan sampel secara acak [1]. Transkrip dalam daftar peringkat ivrit.ai juga terbuka untuk umum sehingga siapa pun dapat mengulangi perbandingan ini [1].

## Sumber

1. [KolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026](https://itanu.org/magazine/standards/), ITANU Studios Ltd (Materi pihak terkait)
2. [benchmark.csv · ivrit-ai/hebrew-transcription-leaderboard](https://huggingface.co/spaces/ivrit-ai/hebrew-transcription-leaderboard/blob/main/benchmark.csv), ivrit.ai (Independen)
3. [FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech](https://arxiv.org/abs/2205.12446), arXiv (Primer)

Sistem redaksi ITANU menyusun artikel ini dengan AI dan memeriksanya terhadap sumber yang tercantum di atas.

Canonical: https://itanu.org/id/magazine/kolwrite-s-oracle-max-scores-the-lowest-hebrew-error-rate-on-a-zzmjkzdz/
