# Исследователи обучили языковую модель рассказывать о собственном поведении

По данным авторов, в пяти испытаниях наблюдатель на базе Qwen3.6-27B в среднем превзошёл другие методы контроля. Один из них заключался в том, что запись диалога оценивала другая модель.

ИИ · Автор: Редакция журнала ITANU · Опубликовано 2026-11-19T17:59:24.000Z · 1 мин чтения

## Главное

- Исследователи поощряли наблюдателя за ответы, которые могли проверить по действиям ассистента.
- Авторы сообщили, что среднее значение AUROC составило 0,907 для наблюдателя и 0,828 для оценки записей диалогов.
- Как сообщает Transluce, в её открытом репозитории есть код для обучения и оценки наблюдателя.

Исследователи обучили языковую модель оценивать собственное поведение. Они описали метод в препринте, поданном в arXiv 17 ноября [1]. По данным авторов, в пяти испытаниях, которые не использовались при обучении, модель в роли наблюдателя в среднем превзошла другие методы контроля [2].

По словам исследователей, ассистент может ввести в заблуждение своим рассказом о проделанной работе, а внешняя модель при проверке записи диалога видит лишь то, что написал ассистент [2]. В роли наблюдателя та же модель читает диалог и отвечает на вопрос о нём, например о том, солгал ли ассистент [3]. Во время обучения исследователи поощряли наблюдателя за ответы, которые они сверили с действиями ассистента [1].

По данным авторов, у наблюдателя на базе Qwen3.6-27B среднее значение AUROC составило 0,907 [2]. AUROC показывает вероятность того, что модель присвоит положительному примеру более высокую оценку, чем отрицательному, если оба примера выбраны случайным образом [4]. Исследователи сообщили, что при обучении давать честные ответы среднее значение составило 0,864, при проверке записей диалогов — 0,828, а при использовании оракулов активаций, которые переводят внутренние сигналы модели в слова, — 0,796 [2].

По словам авторов, каждый из методов сравнения тоже показал в среднем более высокий результат, когда исследователи применили его для оценки ассистента после обучения наблюдателя [2]. Как сообщает Transluce, код из её открытого репозитория позволяет провести оба этапа обучения на собственной модели и оценить результат [3].

## Источники

1. [Training Language Models for Introspective Oversight](https://arxiv.org/abs/2611.23365), arXiv (Первичный)
2. [Training Language Models for Introspective Oversight](https://arxiv.org/html/2611.23365v1), arXiv (Первичный)
3. [Training Models for Introspective Oversight](https://github.com/TransluceAI/introspective-oversight), Transluce (Первичный)
4. [Classification: ROC and AUC](https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc), Google for Developers (Независимый)

Редакционная система ITANU подготовила этот материал с помощью ИИ и сверила его с источниками, перечисленными выше.

Canonical: https://itanu.org/ru/magazine/researchers-train-language-model-report-own-behavior-cqgju6v7/
