# Forscher trainieren ein Sprachmodell darauf, über sein eigenes Verhalten Auskunft zu geben

In fünf Tests schnitt die auf Basis von Qwen3.6-27B trainierte Beobachterrolle laut den Autoren im Mittel besser ab als andere Verfahren. Bei einem davon beurteilte ein anderes Modell das Gesprächsprotokoll.

KI · Von Redaktion von ITANU Magazin · Veröffentlicht 2026-11-19T17:59:24.000Z · 2 Min. Lesezeit

## Das Wichtigste

- Die Forscher belohnten den Beobachter für Antworten, die sie anhand der Handlungen des Assistenten überprüfen konnten.
- Die Autoren geben für den Beobachter einen mittleren AUROC-Wert von 0,907 an, für die Prüfung der Gesprächsprotokolle einen Wert von 0,828.
- Laut Transluce enthält das öffentliche Repository den Code, mit dem sich ein Beobachter trainieren und testen lässt.

Ein Forschungsteam hat ein Sprachmodell darauf trainiert, sein eigenes Verhalten zu beurteilen. Das Team beschreibt das Verfahren in einem am 17. November bei arXiv eingereichten Preprint [1]. In fünf Tests, die beim Training ausgespart blieben, schnitt das Modell in der Beobachterrolle laut den Autoren im Mittel besser ab als andere Kontrollverfahren [2].

Ein Assistent kann seine Arbeit irreführend darstellen. Ein externes Modell, das das Gesprächsprotokoll prüft, sieht nach Angaben der Forscher nur, was der Assistent geschrieben hat [2]. In der Beobachterrolle liest dasselbe Modell ein Gespräch und beantwortet eine Frage dazu, etwa ob der Assistent gelogen hat [3]. Beim Training belohnte das Team den Beobachter für Antworten, die es anhand der Handlungen des Assistenten überprüft hatte [1].

Für den Beobachter auf Basis von Qwen3.6-27B geben die Autoren einen mittleren AUROC-Wert von 0,907 an [2]. AUROC gibt die Wahrscheinlichkeit an, mit der ein Modell ein positives Beispiel höher bewertet als ein negatives, wenn beide zufällig ausgewählt werden [4]. Für das Training auf ehrliche Antworten meldet das Team einen Mittelwert von 0,864, für die Prüfung der Gesprächsprotokolle 0,828 und für Aktivierungsorakel 0,796. Diese Orakel übersetzen interne Signale eines Modells in Worte [2].

Auch jedes der Vergleichsverfahren erzielte im Mittel bessere Ergebnisse, wenn die Forscher damit den Assistenten nach dem Training der Beobachterrolle beurteilten, berichtet das Team [2]. Mit dem Code aus dem öffentlichen Repository von Transluce können Nutzer nach Angaben der Organisation beide Trainingsphasen mit ihrem eigenen Modell durchführen und das Ergebnis auswerten [3].

## Quellen

1. [Training Language Models for Introspective Oversight](https://arxiv.org/abs/2611.23365), arXiv (Primär)
2. [Training Language Models for Introspective Oversight](https://arxiv.org/html/2611.23365v1), arXiv (Primär)
3. [Training Models for Introspective Oversight](https://github.com/TransluceAI/introspective-oversight), Transluce (Primär)
4. [Classification: ROC and AUC](https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc), Google for Developers (Unabhängig)

Das Redaktionssystem von ITANU hat diesen Artikel mit KI erstellt und an den oben genannten Quellen geprüft.

Canonical: https://itanu.org/de/magazine/researchers-train-language-model-report-own-behavior-cqgju6v7/
