# Oracle Max milik KolWrite mencatat tingkat kesalahan kata terendah dalam uji publik lima bahasa

**Dari penerbit · ITANU**

Dalam uji FLEURS untuk lima bahasa, tak satu pun mesin di Open ASR Leaderboard mencatat tingkat kesalahan kata yang lebih rendah daripada Oracle Max. Untuk bahasa Italia, tingkat kesalahan Oracle Max sebesar 0,72 persen.

Perangkat lunak · Oleh Redaksi ITANU Magazine · Terbit 2026-11-22T20:01:43.000Z · 4 menit baca

## Poin penting

- Pada 21 dan 22 November 2026, kami menguji Oracle Max pada seluruh 4.230 klip FLEURS dalam bahasa Italia, Jerman, Spanyol, Portugis, dan Prancis.
- Tingkat kesalahan kata Oracle Max sebesar 0,72 persen untuk bahasa Italia, 1,58 persen untuk bahasa Jerman, 1,76 persen untuk bahasa Spanyol, 2,35 persen untuk bahasa Portugis, dan 2,54 persen untuk bahasa Prancis.
- Open ASR Leaderboard memuat hasil 46 hingga 48 mesin lain untuk klip yang sama. Di kelima bahasa itu, tak satu pun mencatat tingkat kesalahan yang lebih rendah daripada Oracle Max.

Pada 21 dan 22 November 2026, kami menguji Oracle Max, layanan awan kelas tertinggi pada aplikasi transkripsi kami, KolWrite. Kami menjalankan uji FLEURS dalam lima bahasa, yaitu bahasa Italia, Jerman, Spanyol, Portugis ragam Brasil, dan Prancis [1]. Bahan ujinya mencakup 4.230 rekaman kalimat dengan durasi total sekitar 15 jam [1]. Open ASR Leaderboard memublikasikan hasil 46 hingga 48 mesin lain untuk klip yang sama [3]. Dalam empat bahasa, tingkat kesalahan kata Oracle Max lebih rendah daripada semua mesin lain. Dalam bahasa Spanyol, Oracle Max dan satu mesin lain sama-sama mencatat angka terendah [1][3].

## Hasil uji dalam lima bahasa

Tingkat kesalahan kata dihitung dengan menjumlahkan kata yang salah ditulis, terlewat, atau ditambahkan oleh mesin, lalu membaginya dengan jumlah kata yang diucapkan [1]. Berikut hasil Oracle Max beserta tingkat kesalahan terendah di antara mesin lain pada papan peringkat untuk setiap bahasa [1][3].

- Bahasa Italia, Oracle Max 0,72 persen dan ElevenLabs Scribe v2 0,90 persen [1][3]
- Bahasa Jerman, Oracle Max 1,58 persen dan Microsoft Azure Speech 1,62 persen [1][3]
- Bahasa Spanyol, Oracle Max 1,76 persen dan Microsoft Azure Speech 1,76 persen [1][3]
- Bahasa Portugis, Oracle Max 2,35 persen dan Microsoft Azure Speech 2,45 persen [1][3]
- Bahasa Prancis, Oracle Max 2,54 persen dan Microsoft Azure Speech 2,64 persen [1][3]

Untuk bahasa Italia, Oracle Max menyalin 753 dari 865 kalimat tanpa kesalahan dan membuat 152 kesalahan kata dari total 21.223 kata [1]. Pada papan peringkat, gpt-transcribe dari OpenAI mencatat tingkat kesalahan 1,35 persen untuk bahasa Italia dan 3,45 persen untuk bahasa Prancis. Angka Universal-3.5 Pro dari AssemblyAI untuk kedua bahasa itu masing-masing 1,03 persen dan 2,82 persen [3].

## Klip dan cara penilaian yang sama

FLEURS berisi rekaman kalimat yang dibacakan dalam 102 bahasa [2]. Kami menggunakan klip uji dan teks acuan yang dipakai Open ASR Leaderboard, lalu menilai Oracle Max dengan kode yang dipublikasikan pengelola papan peringkat tersebut [1]. Sebelum membandingkan hasilnya, kami menghitung ulang skor dari berkas milik pengelola dengan salinan kode itu. Selisih masing-masing dari 169 hasil perhitungan dengan angka pada tabel pengelola paling besar 0,13 poin persentase [1].

Kami mengirim klip melalui API publik KolWrite, layanan yang juga digunakan pelanggan, dengan menyebutkan bahasa tiap klip [1]. Semua klip masuk dalam perhitungan dan semuanya menghasilkan transkrip [1].

## Perbandingan per klip

Untuk setiap bahasa, pengelola papan peringkat memublikasikan transkrip tiap klip dari 33 atau 34 mesin. Dengan begitu, kami dapat membandingkan dua mesin pada kalimat yang persis sama [1]. Kami mengambil 10.000 sampel ulang klip secara acak dan menilai kedua mesin pada setiap sampel yang sama [1]. Untuk bahasa Italia, Jerman, dan Prancis, tingkat kesalahan Oracle Max lebih rendah daripada setiap mesin pembanding. Pada setiap perbandingan, interval 95 persen untuk selisih tingkat kesalahan tidak mencakup nol [1].

Untuk bahasa Spanyol dan Portugis, hasil serupa berlaku pada perbandingan dengan 33 dari 34 mesin [1]. Selisih dengan satu mesin lainnya, Voxtral Small dari Mistral, sekitar sepersepuluh poin persentase, terlalu kecil untuk memastikan mesin mana yang lebih unggul [1]. Di kelima bahasa itu, tak satu pun mesin yang memiliki berkas transkrip per klip mencatat tingkat kesalahan lebih rendah daripada Oracle Max [1].

## Mesin tanpa transkrip per klip

Untuk Microsoft Azure Speech, ElevenLabs, AssemblyAI, dan OpenAI, papan peringkat hanya memuat satu angka keseluruhan per bahasa, tanpa berkas transkrip per klip [1]. Kami dapat membandingkan angka masing-masing dengan hasil Oracle Max, tetapi tidak dapat menguji selisihnya [1]. Untuk bahasa Jerman, Spanyol, Portugis, dan Prancis, angka Azure berada dalam interval 95 persen Oracle Max. Dengan demikian, hasil kedua mesin berdekatan dalam keempat bahasa itu [1]. Untuk bahasa Italia, batas atas interval itu sebesar 0,86 persen, lebih rendah daripada tingkat kesalahan setiap mesin lain [1].

Papan peringkat juga memuat pengujian lain untuk bahasa-bahasa ini. Kami hanya menjalankan uji FLEURS [1]. FLEURS menggunakan rekaman jernih orang membacakan teks. Percakapan dalam rapat dan panggilan telepon lebih sulit ditranskripsikan oleh semua mesin [1]. Kami juga telah menguji bahasa lain. Kelima bahasa ini adalah bahasa yang dalam uji FLEURS tidak memiliki mesin dengan tingkat kesalahan lebih rendah daripada Oracle Max [1].

## Cara memeriksa hasil uji

Setiap transkrip dan skornya dapat diakses publik [1]. Berkas bahasa Italia tersedia di itanu.org/data/oracle-max-italian-fleurs-865-2026-11-22.csv. Catatan pendampingnya, oracle-max-five-languages-fleurs-2026-11-22.md, memuat tautan ke empat berkas lainnya dan menjelaskan metode pengujian [1].

## Sumber

1. [KolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026](https://itanu.org/magazine/standards/), ITANU Studios Ltd (Materi pihak terkait)
2. [FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech](https://arxiv.org/abs/2205.12446), arXiv (Independen)
3. [Open ASR Leaderboard](https://huggingface.co/spaces/hf-audio/open_asr_leaderboard), Hugging Face (Independen)

Sistem redaksi ITANU menyusun artikel ini dengan AI dan memeriksanya terhadap sumber yang tercantum di atas.

Canonical: https://itanu.org/id/magazine/kolwrite-s-oracle-max-has-the-lowest-error-rate-in-italian-yeshwcec/
