# Equipe treina modelo de linguagem para relatar o próprio comportamento

Segundo os autores, o observador treinado com base no Qwen3.6-27B teve, em média, melhor desempenho em cinco testes do que outros métodos, entre eles o uso de outro modelo para avaliar a transcrição da conversa.

IA · Por Redação da ITANU Magazine · Publicado 2026-11-19T17:59:24.000Z · 2 min de leitura

## Pontos principais

- A equipe recompensou o observador por respostas que podia verificar com base nas ações do assistente.
- Os autores relatam uma média de 0,907 na métrica AUROC para o observador e de 0,828 para a análise das transcrições.
- Segundo a Transluce, o seu repositório público contém código para treinar e avaliar um observador.

Uma equipe de pesquisa treinou um modelo de linguagem para avaliar o próprio comportamento, segundo um artigo preliminar submetido ao arXiv em 17 de novembro [1]. Em cinco testes que ficaram de fora do treino, o modelo no papel de observador superou, em média, os outros métodos de supervisão, segundo os autores [2].

Segundo os autores, um assistente pode dar uma versão enganosa do próprio trabalho, e um modelo externo que analisa a transcrição só vê o que o assistente escreveu [2]. No papel de observador, o mesmo modelo lê uma conversa e responde a uma pergunta sobre ela, por exemplo, se o assistente mentiu [3]. Durante o treino, a equipe recompensou o observador por respostas que verificou com base nas ações do assistente [1].

Os autores relatam que o observador baseado no Qwen3.6-27B obteve uma média de 0,907 na métrica AUROC [2]. A AUROC indica a probabilidade de um modelo atribuir uma pontuação mais alta a um exemplo positivo do que a um negativo quando ambos são escolhidos ao acaso [4]. Segundo a equipe, a média foi de 0,864 para o treino de respostas honestas, de 0,828 para a análise das transcrições e de 0,796 para os oráculos de ativação, que traduzem em palavras os sinais internos de um modelo [2].

Segundo os autores, cada um dos métodos de comparação também teve, em média, melhor desempenho quando a equipe o usou para avaliar o assistente após o treino do observador [2]. A Transluce afirma que o código disponível no seu repositório público permite executar as duas etapas de treino num modelo próprio e avaliar o resultado [3].

## Fontes

1. [Training Language Models for Introspective Oversight](https://arxiv.org/abs/2611.23365), arXiv (Primária)
2. [Training Language Models for Introspective Oversight](https://arxiv.org/html/2611.23365v1), arXiv (Primária)
3. [Training Models for Introspective Oversight](https://github.com/TransluceAI/introspective-oversight), Transluce (Primária)
4. [Classification: ROC and AUC](https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc), Google for Developers (Independente)

O sistema de redação da ITANU produziu este artigo com IA e o conferiu nas fontes listadas acima.

Canonical: https://itanu.org/pt/magazine/researchers-train-language-model-report-own-behavior-cqgju6v7/
