# Des chercheurs entraînent un modèle de langage à rendre compte de son propre comportement

Selon les auteurs, Qwen3.6-27B, entraîné au rôle d’observateur, a obtenu sur cinq tests un meilleur score moyen que d’autres méthodes, dont celle qui consiste à faire évaluer la transcription d’un échange par un autre modèle.

IA · Par Rédaction d’ITANU Magazine · Publié 2026-11-19T17:59:24.000Z · 2 min de lecture

## L’essentiel

- Les chercheurs ont récompensé l’observateur pour les réponses qu’ils pouvaient vérifier à partir des actions de l’assistant.
- Les auteurs font état d’un score AUROC moyen de 0,907 pour l’observateur, contre 0,828 pour l’examen des transcriptions.
- Transluce indique que son dépôt public contient le code nécessaire pour entraîner et évaluer un observateur.

Des chercheurs ont entraîné un modèle de langage à évaluer son propre comportement, selon une prépublication qu’ils ont déposée sur arXiv le 17 novembre [1]. Dans son rôle d’observateur, le modèle a obtenu un meilleur score moyen que les autres méthodes de supervision sur cinq tests écartés de l’entraînement, précisent les auteurs [2].

Selon les chercheurs, un assistant peut donner une version trompeuse de son travail, tandis qu’un modèle externe chargé d’examiner la transcription d’un échange ne voit que ce que l’assistant a écrit [2]. Dans le rôle de l’observateur, le même modèle lit une conversation et répond à une question à son sujet, par exemple pour dire si l’assistant a menti [3]. Pendant l’entraînement, l’équipe a récompensé l’observateur pour les réponses qu’elle a vérifiées en les confrontant aux actions de l’assistant [1].

Les auteurs rapportent un score AUROC moyen de 0,907 pour Qwen3.6-27B dans son rôle d’observateur [2]. L’AUROC indique la probabilité qu’un modèle attribue un score plus élevé à un exemple positif qu’à un exemple négatif lorsque les deux sont tirés au hasard [4]. L’équipe a relevé des moyennes de 0,864 pour l’entraînement à l’honnêteté, de 0,828 pour l’examen des transcriptions et de 0,796 pour les oracles d’activation, qui traduisent en mots les signaux internes du modèle [2].

Les chercheurs indiquent que chacune des méthodes de comparaison a elle aussi obtenu un meilleur score moyen lorsqu’ils l’ont appliquée à l’assistant après l’entraînement de l’observateur [2]. Selon Transluce, son dépôt de code public permet aux utilisateurs d’effectuer les deux étapes de l’entraînement sur leur propre modèle et d’évaluer le résultat [3].

## Sources

1. [Training Language Models for Introspective Oversight](https://arxiv.org/abs/2611.23365), arXiv (Primaire)
2. [Training Language Models for Introspective Oversight](https://arxiv.org/html/2611.23365v1), arXiv (Primaire)
3. [Training Models for Introspective Oversight](https://github.com/TransluceAI/introspective-oversight), Transluce (Primaire)
4. [Classification: ROC and AUC](https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc), Google for Developers (Indépendante)

Le système éditorial d’ITANU a produit cet article avec l’IA et l’a vérifié auprès des sources citées ci-dessus.

Canonical: https://itanu.org/fr/magazine/researchers-train-language-model-report-own-behavior-cqgju6v7/
