Un equipo entrena a un modelo de lenguaje para que informe sobre su propia conducta

Según los autores, Qwen3.6-27B, entrenado como observador, obtuvo en cinco pruebas una puntuación media superior a la de otros métodos, entre ellos pedir a otro modelo que evalúe la transcripción de la conversación.

Los números entre corchetes enlazan a las fuentes que figuran abajo.

Un equipo de investigación entrenó a un modelo de lenguaje para que evaluara su propia conducta, según un artículo preliminar que el grupo envió a arXiv el 17 de noviembre[1arXivTraining Language Models for Introspective OversightAbrir fuenteFuentes [1]]. En su papel de observador, el modelo superó de media a otros métodos de supervisión en cinco pruebas que se reservaron para la evaluación, indicaron los autores[2arXivTraining Language Models for Introspective OversightAbrir fuenteFuentes [2]].

Según los investigadores, un asistente puede dar una versión engañosa de su trabajo, mientras que un modelo externo que revisa una transcripción solo ve lo que escribió el asistente[2arXivTraining Language Models for Introspective OversightAbrir fuenteFuentes [2]]. En el papel de observador, el propio modelo lee una conversación y responde a una pregunta sobre ella, por ejemplo, si el asistente mintió[3TransluceTraining Models for Introspective OversightAbrir fuenteFuentes [3]]. Durante el entrenamiento, el equipo recompensó al observador por las respuestas que verificó al contrastarlas con las acciones del asistente[1arXivTraining Language Models for Introspective OversightAbrir fuenteFuentes [1]].

Según los autores, Qwen3.6-27B obtuvo como observador una puntuación media de 0,907 en la métrica AUROC[2arXivTraining Language Models for Introspective OversightAbrir fuenteFuentes [2]]. La métrica AUROC indica la probabilidad de que un modelo asigne una puntuación más alta a un ejemplo positivo que a uno negativo cuando ambos se eligen al azar[4Google for DevelopersClassification: ROC and AUCAbrir fuenteFuentes [4]]. El equipo registró medias de 0,864 con el entrenamiento para responder con honestidad, de 0,828 con la revisión de transcripciones y de 0,796 con los oráculos de activación, que traducen a palabras las señales internas del modelo[2arXivTraining Language Models for Introspective OversightAbrir fuenteFuentes [2]].

Los investigadores señalaron que cada uno de los métodos de comparación también obtuvo una media más alta cuando lo emplearon para evaluar al asistente tras entrenar al observador[2arXivTraining Language Models for Introspective OversightAbrir fuenteFuentes [2]]. Transluce afirma que su repositorio público de código permite a los usuarios ejecutar las dos etapas del entrenamiento con su propio modelo y evaluar el resultado[3TransluceTraining Models for Introspective OversightAbrir fuenteFuentes [3]].

Fuentes

  1. 1
    Training Language Models for Introspective Oversight

    PrimariaarXivConsultada

  2. 2
    Training Language Models for Introspective Oversight

    PrimariaarXivConsultada

  3. 3
    Training Models for Introspective Oversight

    PrimariaTransluceConsultada

  4. 4
    Classification: ROC and AUC

    IndependienteGoogle for DevelopersConsultada

El sistema de redacción de ITANU produjo este artículo con IA y lo contrastó con las fuentes citadas arriba. Cómo trabajamos

ITANU Magazine

Tecnología, inteligencia artificial y ciencia