Исследователи обучили языковую модель рассказывать о собственном поведении

По данным авторов, в пяти испытаниях наблюдатель на базе Qwen3.6-27B в среднем превзошёл другие методы контроля. Один из них заключался в том, что запись диалога оценивала другая модель.

Числа в квадратных скобках ведут к источникам, перечисленным ниже.

Исследователи обучили языковую модель оценивать собственное поведение. Они описали метод в препринте, поданном в arXiv 17 ноября[1arXivTraining Language Models for Introspective OversightОткрыть источникИсточники [1]]. По данным авторов, в пяти испытаниях, которые не использовались при обучении, модель в роли наблюдателя в среднем превзошла другие методы контроля[2arXivTraining Language Models for Introspective OversightОткрыть источникИсточники [2]].

По словам исследователей, ассистент может ввести в заблуждение своим рассказом о проделанной работе, а внешняя модель при проверке записи диалога видит лишь то, что написал ассистент[2arXivTraining Language Models for Introspective OversightОткрыть источникИсточники [2]]. В роли наблюдателя та же модель читает диалог и отвечает на вопрос о нём, например о том, солгал ли ассистент[3TransluceTraining Models for Introspective OversightОткрыть источникИсточники [3]]. Во время обучения исследователи поощряли наблюдателя за ответы, которые они сверили с действиями ассистента[1arXivTraining Language Models for Introspective OversightОткрыть источникИсточники [1]].

По данным авторов, у наблюдателя на базе Qwen3.6-27B среднее значение AUROC составило 0,907[2arXivTraining Language Models for Introspective OversightОткрыть источникИсточники [2]]. AUROC показывает вероятность того, что модель присвоит положительному примеру более высокую оценку, чем отрицательному, если оба примера выбраны случайным образом[4Google for DevelopersClassification: ROC and AUCОткрыть источникИсточники [4]]. Исследователи сообщили, что при обучении давать честные ответы среднее значение составило 0,864, при проверке записей диалогов — 0,828, а при использовании оракулов активаций, которые переводят внутренние сигналы модели в слова, — 0,796[2arXivTraining Language Models for Introspective OversightОткрыть источникИсточники [2]].

По словам авторов, каждый из методов сравнения тоже показал в среднем более высокий результат, когда исследователи применили его для оценки ассистента после обучения наблюдателя[2arXivTraining Language Models for Introspective OversightОткрыть источникИсточники [2]]. Как сообщает Transluce, код из её открытого репозитория позволяет провести оба этапа обучения на собственной модели и оценить результат[3TransluceTraining Models for Introspective OversightОткрыть источникИсточники [3]].

Источники

  1. 1
    Training Language Models for Introspective Oversight

    ПервичныйarXivПросмотрено

  2. 2
    Training Language Models for Introspective Oversight

    ПервичныйarXivПросмотрено

  3. 3
    Training Models for Introspective Oversight

    ПервичныйTransluceПросмотрено

  4. 4
    Classification: ROC and AUC

    НезависимыйGoogle for DevelopersПросмотрено

Редакционная система ITANU подготовила этот материал с помощью ИИ и сверила его с источниками, перечисленными выше. Как мы работаем

Журнал ITANU

Технологии, искусственный интеллект и наука