Peneliti melatih model bahasa untuk melaporkan perilakunya sendiri
Menurut peneliti, dalam lima pengujian, pengamat yang mereka latih pada Qwen3.6-27B meraih skor rata-rata lebih tinggi daripada metode lain, termasuk penilaian transkrip oleh model lain.
Angka dalam kurung siku merujuk ke sumber yang tercantum di bawah.
Tim peneliti melatih model bahasa untuk menilai perilakunya sendiri. Mereka melaporkan hasilnya dalam naskah pracetak yang mereka kirim ke arXiv pada 17 November[1arXivTraining Language Models for Introspective OversightBuka sumberSumber [1]]. Menurut peneliti, saat berperan sebagai pengamat, model tersebut meraih skor rata-rata lebih tinggi daripada metode pengawasan lain dalam lima pengujian yang tidak digunakan saat pelatihan[2arXivTraining Language Models for Introspective OversightBuka sumberSumber [2]].
Menurut peneliti, asisten dapat memberikan laporan yang menyesatkan tentang pekerjaannya, sedangkan model lain yang memeriksa transkrip hanya melihat apa yang ditulis asisten[2arXivTraining Language Models for Introspective OversightBuka sumberSumber [2]]. Saat berperan sebagai pengamat, model yang sama membaca percakapan dan menjawab pertanyaan tentang isinya, misalnya apakah asisten berbohong[3TransluceTraining Models for Introspective OversightBuka sumberSumber [3]]. Selama pelatihan, tim memberi pengamat imbalan untuk jawaban yang telah mereka cocokkan dengan tindakan asisten[1arXivTraining Language Models for Introspective OversightBuka sumberSumber [1]].
Peneliti melaporkan skor AUROC rata-rata sebesar 0,907 untuk Qwen3.6-27B saat berperan sebagai pengamat[2arXivTraining Language Models for Introspective OversightBuka sumberSumber [2]]. AUROC menunjukkan peluang model memberi skor lebih tinggi pada contoh positif daripada contoh negatif jika kedua contoh dipilih secara acak[4Google for DevelopersClassification: ROC and AUCBuka sumberSumber [4]]. Menurut tim, skor rata-rata mencapai 0,864 untuk pelatihan kejujuran, 0,828 untuk pemantauan transkrip, dan 0,796 untuk metode orakel aktivasi, yang menerjemahkan sinyal internal model ke dalam kata-kata[2arXivTraining Language Models for Introspective OversightBuka sumberSumber [2]].
Menurut peneliti, skor rata-rata setiap metode pembanding juga meningkat ketika mereka menggunakannya untuk menilai asisten setelah model dilatih sebagai pengamat[2arXivTraining Language Models for Introspective OversightBuka sumberSumber [2]]. Transluce menyatakan bahwa repositori kodenya terbuka untuk umum dan memungkinkan pengguna menjalankan kedua tahap pelatihan pada model mereka sendiri serta mengevaluasi hasilnya[3TransluceTraining Models for Introspective OversightBuka sumberSumber [3]].
Sumber
- 1Training Language Models for Introspective Oversight
PrimerarXivDiakses
- 2Training Language Models for Introspective Oversight
PrimerarXivDiakses
- 3Training Models for Introspective Oversight
PrimerTransluceDiakses
- 4Classification: ROC and AUC
IndependenGoogle for DevelopersDiakses
Sistem redaksi ITANU menyusun artikel ini dengan AI dan memeriksanya terhadap sumber yang tercantum di atas. Cara kami bekerja
