# Peneliti melatih model bahasa untuk melaporkan perilakunya sendiri

Menurut peneliti, dalam lima pengujian, pengamat yang mereka latih pada Qwen3.6-27B meraih skor rata-rata lebih tinggi daripada metode lain, termasuk penilaian transkrip oleh model lain.

AI · Oleh Redaksi ITANU Magazine · Terbit 2026-11-19T17:59:24.000Z · 1 menit baca

## Poin penting

- Peneliti memberi pengamat imbalan untuk jawaban yang dapat mereka verifikasi dengan memeriksa tindakan asisten.
- Menurut peneliti, skor AUROC rata-rata pengamat mencapai 0,907, sedangkan pemantauan transkrip mencatat skor 0,828.
- Menurut Transluce, repositori kode yang terbuka untuk umum memuat kode untuk melatih dan mengevaluasi pengamat.

Tim peneliti melatih model bahasa untuk menilai perilakunya sendiri. Mereka melaporkan hasilnya dalam naskah pracetak yang mereka kirim ke arXiv pada 17 November [1]. Menurut peneliti, saat berperan sebagai pengamat, model tersebut meraih skor rata-rata lebih tinggi daripada metode pengawasan lain dalam lima pengujian yang tidak digunakan saat pelatihan [2].

Menurut peneliti, asisten dapat memberikan laporan yang menyesatkan tentang pekerjaannya, sedangkan model lain yang memeriksa transkrip hanya melihat apa yang ditulis asisten [2]. Saat berperan sebagai pengamat, model yang sama membaca percakapan dan menjawab pertanyaan tentang isinya, misalnya apakah asisten berbohong [3]. Selama pelatihan, tim memberi pengamat imbalan untuk jawaban yang telah mereka cocokkan dengan tindakan asisten [1].

Peneliti melaporkan skor AUROC rata-rata sebesar 0,907 untuk Qwen3.6-27B saat berperan sebagai pengamat [2]. AUROC menunjukkan peluang model memberi skor lebih tinggi pada contoh positif daripada contoh negatif jika kedua contoh dipilih secara acak [4]. Menurut tim, skor rata-rata mencapai 0,864 untuk pelatihan kejujuran, 0,828 untuk pemantauan transkrip, dan 0,796 untuk metode orakel aktivasi, yang menerjemahkan sinyal internal model ke dalam kata-kata [2].

Menurut peneliti, skor rata-rata setiap metode pembanding juga meningkat ketika mereka menggunakannya untuk menilai asisten setelah model dilatih sebagai pengamat [2]. Transluce menyatakan bahwa repositori kodenya terbuka untuk umum dan memungkinkan pengguna menjalankan kedua tahap pelatihan pada model mereka sendiri serta mengevaluasi hasilnya [3].

## Sumber

1. [Training Language Models for Introspective Oversight](https://arxiv.org/abs/2611.23365), arXiv (Primer)
2. [Training Language Models for Introspective Oversight](https://arxiv.org/html/2611.23365v1), arXiv (Primer)
3. [Training Models for Introspective Oversight](https://github.com/TransluceAI/introspective-oversight), Transluce (Primer)
4. [Classification: ROC and AUC](https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc), Google for Developers (Independen)

Sistem redaksi ITANU menyusun artikel ini dengan AI dan memeriksanya terhadap sumber yang tercantum di atas.

Canonical: https://itanu.org/id/magazine/researchers-train-language-model-report-own-behavior-cqgju6v7/
