Dari penerbit · ITANU

ITANU menerbitkan majalah ini dan membuat produk yang dibahas dalam artikel ini. Ini adalah penjelasan perusahaan sendiri, bukan liputan berita.

Oracle Max dari KolWrite catat tingkat kesalahan terendah dalam uji publik 22 mesin transkripsi bahasa Ibrani

Pada seluruh 792 klip bahasa Ibrani dalam uji FLEURS, tingkat kesalahan kata Oracle Max mencapai 12,6 persen. Untuk klip yang sama, angka 21 mesin dalam daftar peringkat publik ivrit.ai berkisar antara 17,4 dan 46,0 persen.

Angka dalam kurung siku merujuk ke sumber yang tercantum di bawah.

Pada 21 November 2026, kami menguji Oracle Max, layanan komputasi awan tingkat tertinggi pada aplikasi transkripsi kami, KolWrite. Kami menggunakan seluruh klip bahasa Ibrani dari FLEURS, kumpulan data uji wicara yang tersedia untuk umum. Klip itu memuat 792 rekaman kalimat dengan total 13.751 kata[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Tingkat kesalahan kata Oracle Max mencapai 12,6 persen[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Daftar peringkat transkripsi bahasa Ibrani ivrit.ai memuat hasil 21 mesin pada klip yang sama, dengan tingkat kesalahan antara 17,4 dan 46,0 persen[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardBuka sumberSumber [2]].

Tingkat kesalahan yang dipublikasikan

Untuk menghitung tingkat kesalahan kata, jumlah kata yang salah ditulis, terlewat, atau ditambahkan oleh mesin dibagi dengan jumlah kata yang diucapkan[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Berikut tingkat kesalahan pada klip bahasa Ibrani FLEURS untuk Oracle Max dalam pengujian kami dan enam mesin dalam tabel peringkat ivrit.ai[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1], 2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardBuka sumberSumber [2]].

  • KolWrite Oracle Max 12,6 persen[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]
  • Soniox 17,7 persen[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardBuka sumberSumber [2]]
  • ElevenLabs Scribe v1 18,1 persen[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardBuka sumberSumber [2]]
  • OpenAI gpt-4o-transcribe 21,0 persen[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardBuka sumberSumber [2]]
  • Amazon Transcribe 23,0 persen[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardBuka sumberSumber [2]]
  • Deepgram Nova-3 23,3 persen[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardBuka sumberSumber [2]]
  • Google Speech 38,5 persen[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardBuka sumberSumber [2]]

Model bahasa Ibrani yang diterbitkan oleh ivrit.ai sendiri mencatat tingkat kesalahan terendah dalam tabel itu, yakni 17,4 persen[2ivrit.aibenchmark.csv · ivrit-ai/hebrew-transcription-leaderboardBuka sumberSumber [2]]. Tingkat kesalahan Oracle Max sebesar 12,6 persen lebih rendah daripada angka seluruh 21 mesin tersebut[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Pada tingkat itu, Oracle Max menulis tepat tujuh dari setiap delapan kata. Penilaiannya ketat. Nama yang ditulis dengan ejaan berbeda pun dihitung sebagai kesalahan[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]].

Klip dan metode penilaian yang sama

FLEURS berisi rekaman kalimat yang dibacakan dalam 102 bahasa, dengan durasi sekitar 12 jam untuk setiap bahasa[3arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of SpeechBuka sumberSumber [3]]. Data uji bahasa Ibraninya terdiri atas 792 klip[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Kami menilai Oracle Max dengan metode yang dipublikasikan ivrit.ai untuk daftar peringkatnya. Setelah menghapus tanda vokal dan tanda baca serta menyeragamkan huruf besar dan kecil, kami menghitung satu tingkat kesalahan untuk seluruh kata dari semua klip[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Sebelum pengujian, kami menggunakan salinan kode penilaian untuk menghitung ulang angka pada tabel peringkat. Selisihnya paling besar 0,17 poin persentase[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]].

Kami mengirim klip melalui API publik KolWrite, layanan yang juga digunakan pelanggan, dengan pilihan bahasa Ibrani[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Kami menghitung seluruh 792 klip[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Satu klip tidak menghasilkan teks sehingga setiap kata pada klip itu dihitung sebagai kesalahan[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]].

Oracle Max unggul dalam 10.000 dari 10.000 sampel ulang

Selisih tingkat kesalahan antara dua mesin dapat bergantung pada kalimat yang kebetulan masuk dalam pengujian[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Untuk memeriksa selisih dalam pengujian kami, kami mengambil transkrip yang dipublikasikan ivrit.ai untuk 16 dari 21 mesin dalam daftar peringkatnya. Kami membandingkannya dengan transkrip Oracle Max untuk setiap klip[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Dari 792 klip itu, kami mengambil 10.000 sampel ulang secara acak dan menilai kedua mesin pada sampel yang sama dalam setiap perbandingan[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Tingkat kesalahan Oracle Max lebih rendah daripada masing-masing dari 16 mesin tersebut pada seluruh 10.000 sampel ulang[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]].

Di antara mesin tersebut, Soniox mencatat hasil paling dekat dengan Oracle Max[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Tingkat kesalahan Oracle Max lebih rendah 5,1 poin persentase daripada Soniox, dengan interval 95 persen untuk selisih itu antara 4,3 dan 5,9 poin persentase[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Oracle Max membuat 1.734 kesalahan kata dan Soniox 2.435, sehingga jumlah kesalahan Oracle Max 29 persen lebih sedikit[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Jumlah kesalahan kata Oracle Max juga 31 persen lebih sedikit daripada ElevenLabs Scribe v1, 40 persen lebih sedikit daripada gpt-4o-transcribe dari OpenAI, dan 67 persen lebih sedikit daripada Google Speech[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]].

Oracle Max menyalin 309 dari 792 kalimat tanpa satu pun kesalahan[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Di antara 16 mesin pembanding, jumlah tertinggi adalah 218 kalimat tanpa kesalahan[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Lima mesin lainnya tidak memublikasikan transkrip untuk data uji ini. Tingkat kesalahan yang dilaporkan untuk kelimanya berkisar antara 17,4 dan 24,5 persen, semuanya di atas batas atas interval 95 persen Oracle Max, yakni 14,1 persen[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]].

Cakupan pengujian

Kami melakukan pengujian satu kali pada 21 November 2026 dengan rekaman kalimat bahasa Ibrani yang dibacakan oleh satu penutur pada setiap klip[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Angka untuk mesin lain berasal dari pengujian ivrit.ai sendiri dengan versi mesin yang tercantum dalam daftar peringkatnya[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Kami sedang melakukan perbandingan yang sama untuk bahasa lain dan akan memublikasikan hasil setiap perbandingan beserta berkasnya[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]].

Cara memeriksa hasil pengujian

Seluruh 792 transkrip, masing-masing beserta kalimat acuan dan skornya, tersedia dalam berkas publik di itanu.org/data/oracle-max-hebrew-fleurs-792-2026-11-21.csv[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Catatan pendampingnya memuat metode penilaian, tabel seluruh perbandingan, dan nilai awal untuk pengambilan sampel secara acak[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]]. Transkrip dalam daftar peringkat ivrit.ai juga terbuka untuk umum sehingga siapa pun dapat mengulangi perbandingan ini[1ITANU Studios LtdKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Buka sumberSumber [1]].

Sumber

  1. 1
    Materi dari ITANU Studios Ltd

    Materi pihak terkaitKolWrite Oracle Max on the full Hebrew FLEURS test: 792 clips, measured 21 November 2026Diakses

  2. 2
    benchmark.csv · ivrit-ai/hebrew-transcription-leaderboard

    Independenivrit.aiDiakses

  3. 3

Sistem redaksi ITANU menyusun artikel ini dengan AI dan memeriksanya terhadap sumber yang tercantum di atas. Cara kami bekerja

ITANU Magazine

Berita AI, komputasi, dan sains