OpenAI firma acuerdos para someter la seguridad de su IA a evaluaciones externas
Cuatro entidades examinarán modelos y salvaguardas con acceso interno, según OpenAI. Los equipos participantes describen pruebas piloto con distintos alcances y duraciones.
Los números entre corchetes enlazan a las fuentes que figuran abajo.

OpenAI anunció el 16 de noviembre que había firmado acuerdos con Apollo Research, METR, Transluce y Goodfire para evaluar sus modelos de IA y sus salvaguardas mediante trabajo dentro de la compañía[1OpenAIOur first phase of embedded assessmentsAbrir fuenteFuentes [1]]. Según explicó, las evaluaciones iniciales abarcan el entrenamiento y el uso interno[1OpenAIOur first phase of embedded assessmentsAbrir fuenteFuentes [1]].
OpenAI describe estas evaluaciones desde dentro de la empresa como exámenes prolongados que dan a expertos externos acceso a sistemas y modelos internos[1OpenAIOur first phase of embedded assessmentsAbrir fuenteFuentes [1]]. Según la evaluación, los recursos disponibles incluyen código, datos utilizados para el entrenamiento y las evaluaciones, herramientas de supervisión y conversaciones con el personal responsable del trabajo[1OpenAIOur first phase of embedded assessmentsAbrir fuenteFuentes [1]].
Apollo Research afirma que seis evaluadores dedicarán cuatro meses a examinar modelos durante el entrenamiento, la evaluación y el despliegue interno, con reglas de acceso definidas[2Apollo ResearchA Pilot Towards Embedded EvaluationsAbrir fuenteFuentes [2]]. Su objetivo es investigar si los modelos intentan socavar los controles que los rigen a ellos o a sus sucesores. También prevé publicar informes que expliquen las limitaciones de su trabajo[2Apollo ResearchA Pilot Towards Embedded EvaluationsAbrir fuenteFuentes [2]].
Goodfire señala que sus investigadores utilizarán su plataforma para seguir el entrenamiento e investigar comportamientos no deseados[4GoodfireAnnouncing our collaboration with OpenAIAbrir fuenteFuentes [4]]. Los investigadores de OpenAI serán los principales destinatarios de sus hallazgos, aunque Goodfire también prevé publicar resultados a medida que avance el trabajo[4GoodfireAnnouncing our collaboration with OpenAIAbrir fuenteFuentes [4]].
Transluce explica que su prueba piloto de seis semanas examinará si las evaluaciones de OpenAI detectan comportamientos como el engaño y la manipulación[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIAbrir fuenteFuentes [3]]. Afirma que dispondrá de un acceso mayor que el que suelen recibir los evaluadores externos, pero más limitado que el de los empleados[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIAbrir fuenteFuentes [3]]. Las organizaciones tienen previsto realizar una evaluación más completa con un acceso más amplio a principios de 2027, aunque los detalles siguen sin decidirse[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIAbrir fuenteFuentes [3]].
Fuentes
- 1Our first phase of embedded assessments
PrimariaOpenAIConsultada
- 2A Pilot Towards Embedded Evaluations
IndependienteApollo ResearchConsultada
- 3Announcing an Embedded Assessment Pilot with OpenAI
IndependienteTransluceConsultada
- 4Announcing our collaboration with OpenAI
IndependienteGoodfireConsultada
El sistema de redacción de ITANU produjo este artículo con IA y lo contrastó con las fuentes citadas arriba. Cómo trabajamos