OpenAI firma acuerdos para someter la seguridad de su IA a evaluaciones externas

Cuatro entidades examinarán modelos y salvaguardas con acceso interno, según OpenAI. Los equipos participantes describen pruebas piloto con distintos alcances y duraciones.

Los números entre corchetes enlazan a las fuentes que figuran abajo.

Un moderno edificio de oficinas de vidrio y metal en una intersección bordeada de palmeras en San Francisco.
Foto de archivo: Sede de OpenAI en San Francisco, 2025.Foto: Coolcaesar / Wikimedia CommonsCC BY 4.0Fuente

OpenAI anunció el 16 de noviembre que había firmado acuerdos con Apollo Research, METR, Transluce y Goodfire para evaluar sus modelos de IA y sus salvaguardas mediante trabajo dentro de la compañía[1OpenAIOur first phase of embedded assessmentsAbrir fuenteFuentes [1]]. Según explicó, las evaluaciones iniciales abarcan el entrenamiento y el uso interno[1OpenAIOur first phase of embedded assessmentsAbrir fuenteFuentes [1]].

OpenAI describe estas evaluaciones desde dentro de la empresa como exámenes prolongados que dan a expertos externos acceso a sistemas y modelos internos[1OpenAIOur first phase of embedded assessmentsAbrir fuenteFuentes [1]]. Según la evaluación, los recursos disponibles incluyen código, datos utilizados para el entrenamiento y las evaluaciones, herramientas de supervisión y conversaciones con el personal responsable del trabajo[1OpenAIOur first phase of embedded assessmentsAbrir fuenteFuentes [1]].

Apollo Research afirma que seis evaluadores dedicarán cuatro meses a examinar modelos durante el entrenamiento, la evaluación y el despliegue interno, con reglas de acceso definidas[2Apollo ResearchA Pilot Towards Embedded EvaluationsAbrir fuenteFuentes [2]]. Su objetivo es investigar si los modelos intentan socavar los controles que los rigen a ellos o a sus sucesores. También prevé publicar informes que expliquen las limitaciones de su trabajo[2Apollo ResearchA Pilot Towards Embedded EvaluationsAbrir fuenteFuentes [2]].

Goodfire señala que sus investigadores utilizarán su plataforma para seguir el entrenamiento e investigar comportamientos no deseados[4GoodfireAnnouncing our collaboration with OpenAIAbrir fuenteFuentes [4]]. Los investigadores de OpenAI serán los principales destinatarios de sus hallazgos, aunque Goodfire también prevé publicar resultados a medida que avance el trabajo[4GoodfireAnnouncing our collaboration with OpenAIAbrir fuenteFuentes [4]].

Transluce explica que su prueba piloto de seis semanas examinará si las evaluaciones de OpenAI detectan comportamientos como el engaño y la manipulación[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIAbrir fuenteFuentes [3]]. Afirma que dispondrá de un acceso mayor que el que suelen recibir los evaluadores externos, pero más limitado que el de los empleados[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIAbrir fuenteFuentes [3]]. Las organizaciones tienen previsto realizar una evaluación más completa con un acceso más amplio a principios de 2027, aunque los detalles siguen sin decidirse[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIAbrir fuenteFuentes [3]].

Fuentes

  1. 1
    Our first phase of embedded assessments

    PrimariaOpenAIConsultada

  2. 2
    A Pilot Towards Embedded Evaluations

    IndependienteApollo ResearchConsultada

  3. 3
    Announcing an Embedded Assessment Pilot with OpenAI

    IndependienteTransluceConsultada

  4. 4
    Announcing our collaboration with OpenAI

    IndependienteGoodfireConsultada

El sistema de redacción de ITANU produjo este artículo con IA y lo contrastó con las fuentes citadas arriba. Cómo trabajamos

ITANU Magazine

Tecnología, inteligencia artificial y ciencia