Des chercheurs entraînent un modèle de langage à rendre compte de son propre comportement
Selon les auteurs, Qwen3.6-27B, entraîné au rôle d’observateur, a obtenu sur cinq tests un meilleur score moyen que d’autres méthodes, dont celle qui consiste à faire évaluer la transcription d’un échange par un autre modèle.
Les numéros entre crochets renvoient aux sources ci-dessous.
Des chercheurs ont entraîné un modèle de langage à évaluer son propre comportement, selon une prépublication qu’ils ont déposée sur arXiv le 17 novembre[1arXivTraining Language Models for Introspective OversightOuvrir la sourceSources [1]]. Dans son rôle d’observateur, le modèle a obtenu un meilleur score moyen que les autres méthodes de supervision sur cinq tests écartés de l’entraînement, précisent les auteurs[2arXivTraining Language Models for Introspective OversightOuvrir la sourceSources [2]].
Selon les chercheurs, un assistant peut donner une version trompeuse de son travail, tandis qu’un modèle externe chargé d’examiner la transcription d’un échange ne voit que ce que l’assistant a écrit[2arXivTraining Language Models for Introspective OversightOuvrir la sourceSources [2]]. Dans le rôle de l’observateur, le même modèle lit une conversation et répond à une question à son sujet, par exemple pour dire si l’assistant a menti[3TransluceTraining Models for Introspective OversightOuvrir la sourceSources [3]]. Pendant l’entraînement, l’équipe a récompensé l’observateur pour les réponses qu’elle a vérifiées en les confrontant aux actions de l’assistant[1arXivTraining Language Models for Introspective OversightOuvrir la sourceSources [1]].
Les auteurs rapportent un score AUROC moyen de 0,907 pour Qwen3.6-27B dans son rôle d’observateur[2arXivTraining Language Models for Introspective OversightOuvrir la sourceSources [2]]. L’AUROC indique la probabilité qu’un modèle attribue un score plus élevé à un exemple positif qu’à un exemple négatif lorsque les deux sont tirés au hasard[4Google for DevelopersClassification: ROC and AUCOuvrir la sourceSources [4]]. L’équipe a relevé des moyennes de 0,864 pour l’entraînement à l’honnêteté, de 0,828 pour l’examen des transcriptions et de 0,796 pour les oracles d’activation, qui traduisent en mots les signaux internes du modèle[2arXivTraining Language Models for Introspective OversightOuvrir la sourceSources [2]].
Les chercheurs indiquent que chacune des méthodes de comparaison a elle aussi obtenu un meilleur score moyen lorsqu’ils l’ont appliquée à l’assistant après l’entraînement de l’observateur[2arXivTraining Language Models for Introspective OversightOuvrir la sourceSources [2]]. Selon Transluce, son dépôt de code public permet aux utilisateurs d’effectuer les deux étapes de l’entraînement sur leur propre modèle et d’évaluer le résultat[3TransluceTraining Models for Introspective OversightOuvrir la sourceSources [3]].
Sources
- 1Training Language Models for Introspective Oversight
PrimairearXivConsultée
- 2Training Language Models for Introspective Oversight
PrimairearXivConsultée
- 3Training Models for Introspective Oversight
PrimaireTransluceConsultée
- 4Classification: ROC and AUC
IndépendanteGoogle for DevelopersConsultée
Le système éditorial d’ITANU a produit cet article avec l’IA et l’a vérifié auprès des sources citées ci-dessus. Notre méthode
