Equipe treina modelo de linguagem para relatar o próprio comportamento
Segundo os autores, o observador treinado com base no Qwen3.6-27B teve, em média, melhor desempenho em cinco testes do que outros métodos, entre eles o uso de outro modelo para avaliar a transcrição da conversa.
Os números entre colchetes levam às fontes listadas abaixo.
Uma equipe de pesquisa treinou um modelo de linguagem para avaliar o próprio comportamento, segundo um artigo preliminar submetido ao arXiv em 17 de novembro[1arXivTraining Language Models for Introspective OversightAbrir fonteFontes [1]]. Em cinco testes que ficaram de fora do treino, o modelo no papel de observador superou, em média, os outros métodos de supervisão, segundo os autores[2arXivTraining Language Models for Introspective OversightAbrir fonteFontes [2]].
Segundo os autores, um assistente pode dar uma versão enganosa do próprio trabalho, e um modelo externo que analisa a transcrição só vê o que o assistente escreveu[2arXivTraining Language Models for Introspective OversightAbrir fonteFontes [2]]. No papel de observador, o mesmo modelo lê uma conversa e responde a uma pergunta sobre ela, por exemplo, se o assistente mentiu[3TransluceTraining Models for Introspective OversightAbrir fonteFontes [3]]. Durante o treino, a equipe recompensou o observador por respostas que verificou com base nas ações do assistente[1arXivTraining Language Models for Introspective OversightAbrir fonteFontes [1]].
Os autores relatam que o observador baseado no Qwen3.6-27B obteve uma média de 0,907 na métrica AUROC[2arXivTraining Language Models for Introspective OversightAbrir fonteFontes [2]]. A AUROC indica a probabilidade de um modelo atribuir uma pontuação mais alta a um exemplo positivo do que a um negativo quando ambos são escolhidos ao acaso[4Google for DevelopersClassification: ROC and AUCAbrir fonteFontes [4]]. Segundo a equipe, a média foi de 0,864 para o treino de respostas honestas, de 0,828 para a análise das transcrições e de 0,796 para os oráculos de ativação, que traduzem em palavras os sinais internos de um modelo[2arXivTraining Language Models for Introspective OversightAbrir fonteFontes [2]].
Segundo os autores, cada um dos métodos de comparação também teve, em média, melhor desempenho quando a equipe o usou para avaliar o assistente após o treino do observador[2arXivTraining Language Models for Introspective OversightAbrir fonteFontes [2]]. A Transluce afirma que o código disponível no seu repositório público permite executar as duas etapas de treino num modelo próprio e avaliar o resultado[3TransluceTraining Models for Introspective OversightAbrir fonteFontes [3]].
Fontes
- 1Training Language Models for Introspective Oversight
PrimáriaarXivAcessada
- 2Training Language Models for Introspective Oversight
PrimáriaarXivAcessada
- 3Training Models for Introspective Oversight
PrimáriaTransluceAcessada
- 4Classification: ROC and AUC
IndependenteGoogle for DevelopersAcessada
O sistema de redação da ITANU produziu este artigo com IA e o conferiu nas fontes listadas acima. Como trabalhamos
