Forscher trainieren ein Sprachmodell darauf, über sein eigenes Verhalten Auskunft zu geben

In fünf Tests schnitt die auf Basis von Qwen3.6-27B trainierte Beobachterrolle laut den Autoren im Mittel besser ab als andere Verfahren. Bei einem davon beurteilte ein anderes Modell das Gesprächsprotokoll.

Zahlen in eckigen Klammern verlinken auf die unten aufgeführten Quellen.

Ein Forschungsteam hat ein Sprachmodell darauf trainiert, sein eigenes Verhalten zu beurteilen. Das Team beschreibt das Verfahren in einem am 17. November bei arXiv eingereichten Preprint[1arXivTraining Language Models for Introspective OversightQuelle öffnenQuellen [1]]. In fünf Tests, die beim Training ausgespart blieben, schnitt das Modell in der Beobachterrolle laut den Autoren im Mittel besser ab als andere Kontrollverfahren[2arXivTraining Language Models for Introspective OversightQuelle öffnenQuellen [2]].

Ein Assistent kann seine Arbeit irreführend darstellen. Ein externes Modell, das das Gesprächsprotokoll prüft, sieht nach Angaben der Forscher nur, was der Assistent geschrieben hat[2arXivTraining Language Models for Introspective OversightQuelle öffnenQuellen [2]]. In der Beobachterrolle liest dasselbe Modell ein Gespräch und beantwortet eine Frage dazu, etwa ob der Assistent gelogen hat[3TransluceTraining Models for Introspective OversightQuelle öffnenQuellen [3]]. Beim Training belohnte das Team den Beobachter für Antworten, die es anhand der Handlungen des Assistenten überprüft hatte[1arXivTraining Language Models for Introspective OversightQuelle öffnenQuellen [1]].

Für den Beobachter auf Basis von Qwen3.6-27B geben die Autoren einen mittleren AUROC-Wert von 0,907 an[2arXivTraining Language Models for Introspective OversightQuelle öffnenQuellen [2]]. AUROC gibt die Wahrscheinlichkeit an, mit der ein Modell ein positives Beispiel höher bewertet als ein negatives, wenn beide zufällig ausgewählt werden[4Google for DevelopersClassification: ROC and AUCQuelle öffnenQuellen [4]]. Für das Training auf ehrliche Antworten meldet das Team einen Mittelwert von 0,864, für die Prüfung der Gesprächsprotokolle 0,828 und für Aktivierungsorakel 0,796. Diese Orakel übersetzen interne Signale eines Modells in Worte[2arXivTraining Language Models for Introspective OversightQuelle öffnenQuellen [2]].

Auch jedes der Vergleichsverfahren erzielte im Mittel bessere Ergebnisse, wenn die Forscher damit den Assistenten nach dem Training der Beobachterrolle beurteilten, berichtet das Team[2arXivTraining Language Models for Introspective OversightQuelle öffnenQuellen [2]]. Mit dem Code aus dem öffentlichen Repository von Transluce können Nutzer nach Angaben der Organisation beide Trainingsphasen mit ihrem eigenen Modell durchführen und das Ergebnis auswerten[3TransluceTraining Models for Introspective OversightQuelle öffnenQuellen [3]].

Quellen

  1. 1
    Training Language Models for Introspective Oversight

    PrimärarXivAbgerufen

  2. 2
    Training Language Models for Introspective Oversight

    PrimärarXivAbgerufen

  3. 3
    Training Models for Introspective Oversight

    PrimärTransluceAbgerufen

  4. 4
    Classification: ROC and AUC

    UnabhängigGoogle for DevelopersAbgerufen

Das Redaktionssystem von ITANU hat diesen Artikel mit KI erstellt und an den oben genannten Quellen geprüft. So arbeiten wir

ITANU Magazin

Neues aus Technik, KI und Wissenschaft