I ricercatori addestrano un modello linguistico a riferire sul proprio comportamento

Secondo gli autori, su cinque prove l’osservatore addestrato su Qwen3.6-27B ha ottenuto in media punteggi più alti di altri metodi di controllo, tra cui quello che affida a un altro modello la valutazione della trascrizione.

I numeri tra parentesi quadre rimandano alle fonti elencate sotto.

Un gruppo di ricercatori ha addestrato un modello linguistico a valutare il proprio comportamento, come riferisce in un preprint depositato su arXiv il 17 novembre[1arXivTraining Language Models for Introspective OversightApri la fonteFonti [1]]. Nel ruolo di osservatore, il modello ha ottenuto in media punteggi superiori a quelli degli altri metodi di controllo su cinque prove escluse dall’addestramento, secondo gli autori[2arXivTraining Language Models for Introspective OversightApri la fonteFonti [2]].

Secondo i ricercatori, un assistente può dare un resoconto fuorviante del proprio operato, mentre un modello esterno che esamina la trascrizione vede solo ciò che l’assistente ha scritto[2arXivTraining Language Models for Introspective OversightApri la fonteFonti [2]]. Nel ruolo di osservatore, lo stesso modello legge una conversazione e risponde a una domanda sul suo contenuto, per esempio se l’assistente abbia mentito[3TransluceTraining Models for Introspective OversightApri la fonteFonti [3]]. Durante l’addestramento, i ricercatori hanno premiato l’osservatore per le risposte che avevano verificato confrontandole con le azioni dell’assistente[1arXivTraining Language Models for Introspective OversightApri la fonteFonti [1]].

Per l’osservatore basato su Qwen3.6-27B gli autori riportano un valore medio di AUROC di 0,907[2arXivTraining Language Models for Introspective OversightApri la fonteFonti [2]]. L’AUROC indica la probabilità che il modello assegni a un esempio positivo un punteggio più alto che a uno negativo quando entrambi sono scelti a caso[4Google for DevelopersClassification: ROC and AUCApri la fonteFonti [4]]. I ricercatori riportano valori medi di 0,864 per l’addestramento a rispondere con sincerità, di 0,828 per il controllo delle trascrizioni e di 0,796 per gli oracoli di attivazione, che traducono in parole i segnali interni del modello[2arXivTraining Language Models for Introspective OversightApri la fonteFonti [2]].

Secondo i ricercatori, anche ciascuno dei metodi usati per il confronto ha ottenuto un punteggio medio più alto quando è stato applicato all’assistente dopo l’addestramento nel ruolo di osservatore[2arXivTraining Language Models for Introspective OversightApri la fonteFonti [2]]. Transluce afferma che il codice disponibile nel suo archivio pubblico consente agli utenti di eseguire entrambe le fasi dell’addestramento sul proprio modello e di valutare il risultato[3TransluceTraining Models for Introspective OversightApri la fonteFonti [3]].

Fonti

  1. 1
    Training Language Models for Introspective Oversight

    PrimariaarXivConsultata

  2. 2
    Training Language Models for Introspective Oversight

    PrimariaarXivConsultata

  3. 3
    Training Models for Introspective Oversight

    PrimariaTransluceConsultata

  4. 4
    Classification: ROC and AUC

    IndipendenteGoogle for DevelopersConsultata

Il sistema di redazione di ITANU ha prodotto questo articolo con l’IA e lo ha verificato sulle fonti indicate sopra. Come lavoriamo

ITANU Magazine

Tecnologia, intelligenza artificiale e scienza