I ricercatori addestrano un modello linguistico a riferire sul proprio comportamento
Secondo gli autori, su cinque prove l’osservatore addestrato su Qwen3.6-27B ha ottenuto in media punteggi più alti di altri metodi di controllo, tra cui quello che affida a un altro modello la valutazione della trascrizione.
I numeri tra parentesi quadre rimandano alle fonti elencate sotto.
Un gruppo di ricercatori ha addestrato un modello linguistico a valutare il proprio comportamento, come riferisce in un preprint depositato su arXiv il 17 novembre[1arXivTraining Language Models for Introspective OversightApri la fonteFonti [1]]. Nel ruolo di osservatore, il modello ha ottenuto in media punteggi superiori a quelli degli altri metodi di controllo su cinque prove escluse dall’addestramento, secondo gli autori[2arXivTraining Language Models for Introspective OversightApri la fonteFonti [2]].
Secondo i ricercatori, un assistente può dare un resoconto fuorviante del proprio operato, mentre un modello esterno che esamina la trascrizione vede solo ciò che l’assistente ha scritto[2arXivTraining Language Models for Introspective OversightApri la fonteFonti [2]]. Nel ruolo di osservatore, lo stesso modello legge una conversazione e risponde a una domanda sul suo contenuto, per esempio se l’assistente abbia mentito[3TransluceTraining Models for Introspective OversightApri la fonteFonti [3]]. Durante l’addestramento, i ricercatori hanno premiato l’osservatore per le risposte che avevano verificato confrontandole con le azioni dell’assistente[1arXivTraining Language Models for Introspective OversightApri la fonteFonti [1]].
Per l’osservatore basato su Qwen3.6-27B gli autori riportano un valore medio di AUROC di 0,907[2arXivTraining Language Models for Introspective OversightApri la fonteFonti [2]]. L’AUROC indica la probabilità che il modello assegni a un esempio positivo un punteggio più alto che a uno negativo quando entrambi sono scelti a caso[4Google for DevelopersClassification: ROC and AUCApri la fonteFonti [4]]. I ricercatori riportano valori medi di 0,864 per l’addestramento a rispondere con sincerità, di 0,828 per il controllo delle trascrizioni e di 0,796 per gli oracoli di attivazione, che traducono in parole i segnali interni del modello[2arXivTraining Language Models for Introspective OversightApri la fonteFonti [2]].
Secondo i ricercatori, anche ciascuno dei metodi usati per il confronto ha ottenuto un punteggio medio più alto quando è stato applicato all’assistente dopo l’addestramento nel ruolo di osservatore[2arXivTraining Language Models for Introspective OversightApri la fonteFonti [2]]. Transluce afferma che il codice disponibile nel suo archivio pubblico consente agli utenti di eseguire entrambe le fasi dell’addestramento sul proprio modello e di valutare il risultato[3TransluceTraining Models for Introspective OversightApri la fonteFonti [3]].
Fonti
- 1Training Language Models for Introspective Oversight
PrimariaarXivConsultata
- 2Training Language Models for Introspective Oversight
PrimariaarXivConsultata
- 3Training Models for Introspective Oversight
PrimariaTransluceConsultata
- 4Classification: ROC and AUC
IndipendenteGoogle for DevelopersConsultata
Il sistema di redazione di ITANU ha prodotto questo articolo con l’IA e lo ha verificato sulle fonti indicate sopra. Come lavoriamo
