Dari penerbit · ITANU

ITANU menerbitkan majalah ini dan membuat produk yang dibahas dalam artikel ini. Ini adalah penjelasan perusahaan sendiri, bukan liputan berita.

Oracle Max milik KolWrite mencatat tingkat kesalahan kata terendah dalam uji publik lima bahasa

Dalam uji FLEURS untuk lima bahasa, tak satu pun mesin di Open ASR Leaderboard mencatat tingkat kesalahan kata yang lebih rendah daripada Oracle Max. Untuk bahasa Italia, tingkat kesalahan Oracle Max sebesar 0,72 persen.

Angka dalam kurung siku merujuk ke sumber yang tercantum di bawah.

Pada 21 dan 22 November 2026, kami menguji Oracle Max, layanan awan kelas tertinggi pada aplikasi transkripsi kami, KolWrite. Kami menjalankan uji FLEURS dalam lima bahasa, yaitu bahasa Italia, Jerman, Spanyol, Portugis ragam Brasil, dan Prancis[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Bahan ujinya mencakup 4.230 rekaman kalimat dengan durasi total sekitar 15 jam[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Open ASR Leaderboard memublikasikan hasil 46 hingga 48 mesin lain untuk klip yang sama[3Hugging FaceOpen ASR LeaderboardBuka sumberSumber [3]]. Dalam empat bahasa, tingkat kesalahan kata Oracle Max lebih rendah daripada semua mesin lain. Dalam bahasa Spanyol, Oracle Max dan satu mesin lain sama-sama mencatat angka terendah[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1], 3Hugging FaceOpen ASR LeaderboardBuka sumberSumber [3]].

Hasil uji dalam lima bahasa

Tingkat kesalahan kata dihitung dengan menjumlahkan kata yang salah ditulis, terlewat, atau ditambahkan oleh mesin, lalu membaginya dengan jumlah kata yang diucapkan[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Berikut hasil Oracle Max beserta tingkat kesalahan terendah di antara mesin lain pada papan peringkat untuk setiap bahasa[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1], 3Hugging FaceOpen ASR LeaderboardBuka sumberSumber [3]].

  • Bahasa Italia, Oracle Max 0,72 persen dan ElevenLabs Scribe v2 0,90 persen[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1], 3Hugging FaceOpen ASR LeaderboardBuka sumberSumber [3]]
  • Bahasa Jerman, Oracle Max 1,58 persen dan Microsoft Azure Speech 1,62 persen[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1], 3Hugging FaceOpen ASR LeaderboardBuka sumberSumber [3]]
  • Bahasa Spanyol, Oracle Max 1,76 persen dan Microsoft Azure Speech 1,76 persen[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1], 3Hugging FaceOpen ASR LeaderboardBuka sumberSumber [3]]
  • Bahasa Portugis, Oracle Max 2,35 persen dan Microsoft Azure Speech 2,45 persen[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1], 3Hugging FaceOpen ASR LeaderboardBuka sumberSumber [3]]
  • Bahasa Prancis, Oracle Max 2,54 persen dan Microsoft Azure Speech 2,64 persen[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1], 3Hugging FaceOpen ASR LeaderboardBuka sumberSumber [3]]

Untuk bahasa Italia, Oracle Max menyalin 753 dari 865 kalimat tanpa kesalahan dan membuat 152 kesalahan kata dari total 21.223 kata[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Pada papan peringkat, gpt-transcribe dari OpenAI mencatat tingkat kesalahan 1,35 persen untuk bahasa Italia dan 3,45 persen untuk bahasa Prancis. Angka Universal-3.5 Pro dari AssemblyAI untuk kedua bahasa itu masing-masing 1,03 persen dan 2,82 persen[3Hugging FaceOpen ASR LeaderboardBuka sumberSumber [3]].

Klip dan cara penilaian yang sama

FLEURS berisi rekaman kalimat yang dibacakan dalam 102 bahasa[2arXivFLEURS: Few-shot Learning Evaluation of Universal Representations of SpeechBuka sumberSumber [2]]. Kami menggunakan klip uji dan teks acuan yang dipakai Open ASR Leaderboard, lalu menilai Oracle Max dengan kode yang dipublikasikan pengelola papan peringkat tersebut[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Sebelum membandingkan hasilnya, kami menghitung ulang skor dari berkas milik pengelola dengan salinan kode itu. Selisih masing-masing dari 169 hasil perhitungan dengan angka pada tabel pengelola paling besar 0,13 poin persentase[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]].

Kami mengirim klip melalui API publik KolWrite, layanan yang juga digunakan pelanggan, dengan menyebutkan bahasa tiap klip[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Semua klip masuk dalam perhitungan dan semuanya menghasilkan transkrip[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]].

Perbandingan per klip

Untuk setiap bahasa, pengelola papan peringkat memublikasikan transkrip tiap klip dari 33 atau 34 mesin. Dengan begitu, kami dapat membandingkan dua mesin pada kalimat yang persis sama[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Kami mengambil 10.000 sampel ulang klip secara acak dan menilai kedua mesin pada setiap sampel yang sama[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Untuk bahasa Italia, Jerman, dan Prancis, tingkat kesalahan Oracle Max lebih rendah daripada setiap mesin pembanding. Pada setiap perbandingan, interval 95 persen untuk selisih tingkat kesalahan tidak mencakup nol[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]].

Untuk bahasa Spanyol dan Portugis, hasil serupa berlaku pada perbandingan dengan 33 dari 34 mesin[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Selisih dengan satu mesin lainnya, Voxtral Small dari Mistral, sekitar sepersepuluh poin persentase, terlalu kecil untuk memastikan mesin mana yang lebih unggul[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Di kelima bahasa itu, tak satu pun mesin yang memiliki berkas transkrip per klip mencatat tingkat kesalahan lebih rendah daripada Oracle Max[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]].

Mesin tanpa transkrip per klip

Untuk Microsoft Azure Speech, ElevenLabs, AssemblyAI, dan OpenAI, papan peringkat hanya memuat satu angka keseluruhan per bahasa, tanpa berkas transkrip per klip[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Kami dapat membandingkan angka masing-masing dengan hasil Oracle Max, tetapi tidak dapat menguji selisihnya[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Untuk bahasa Jerman, Spanyol, Portugis, dan Prancis, angka Azure berada dalam interval 95 persen Oracle Max. Dengan demikian, hasil kedua mesin berdekatan dalam keempat bahasa itu[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Untuk bahasa Italia, batas atas interval itu sebesar 0,86 persen, lebih rendah daripada tingkat kesalahan setiap mesin lain[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]].

Papan peringkat juga memuat pengujian lain untuk bahasa-bahasa ini. Kami hanya menjalankan uji FLEURS[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. FLEURS menggunakan rekaman jernih orang membacakan teks. Percakapan dalam rapat dan panggilan telepon lebih sulit ditranskripsikan oleh semua mesin[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Kami juga telah menguji bahasa lain. Kelima bahasa ini adalah bahasa yang dalam uji FLEURS tidak memiliki mesin dengan tingkat kesalahan lebih rendah daripada Oracle Max[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]].

Cara memeriksa hasil uji

Setiap transkrip dan skornya dapat diakses publik[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]]. Berkas bahasa Italia tersedia di itanu.org/data/oracle-max-italian-fleurs-865-2026-11-22.csv. Catatan pendampingnya, oracle-max-five-languages-fleurs-2026-11-22.md, memuat tautan ke empat berkas lainnya dan menjelaskan metode pengujian[1ITANU Studios LtdKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Buka sumberSumber [1]].

Sumber

  1. 1
    Materi dari ITANU Studios Ltd

    Materi pihak terkaitKolWrite Oracle Max on the FLEURS test in Italian, German, Spanish, Portuguese and French, measured 21 and 22 November 2026Diakses

  2. 2
  3. 3
    Open ASR Leaderboard

    IndependenHugging FaceDiakses

Sistem redaksi ITANU menyusun artikel ini dengan AI dan memeriksanya terhadap sumber yang tercantum di atas. Cara kami bekerja

ITANU Magazine

Berita AI, komputasi, dan sains