OpenAI signe des accords pour faire évaluer la sécurité de ses IA par des experts externes

Quatre organismes examineront les modèles et les protections avec un accès interne, selon OpenAI. Les équipes participantes décrivent des projets pilotes de portée et de durée différentes.

Les numéros entre crochets renvoient aux sources ci-dessous.

Un immeuble de bureaux moderne en verre et métal à un carrefour bordé de palmiers à San Francisco.
Photo d'archive : Siège d'OpenAI à San Francisco, 2025.Photo : Coolcaesar / Wikimedia CommonsCC BY 4.0Source

OpenAI a annoncé le 16 novembre avoir signé des accords avec Apollo Research, METR, Transluce et Goodfire pour évaluer ses modèles d’IA et leurs dispositifs de protection dans le cadre de travaux menés au sein de l’entreprise[1OpenAIOur first phase of embedded assessmentsOuvrir la sourceSources [1]]. Ces premières évaluations portent sur l’entraînement et l’utilisation en interne, précise OpenAI[1OpenAIOur first phase of embedded assessmentsOuvrir la sourceSources [1]].

OpenAI présente ces évaluations menées au sein de l’entreprise comme des examens prolongés donnant à des experts externes accès à ses systèmes et modèles internes[1OpenAIOur first phase of embedded assessmentsOuvrir la sourceSources [1]]. Selon l’évaluation, les ressources accessibles comprennent du code, des données utilisées pour l’entraînement et les évaluations, des outils de surveillance ainsi que des échanges avec les salariés responsables des travaux[1OpenAIOur first phase of embedded assessmentsOuvrir la sourceSources [1]].

Apollo Research indique que six évaluateurs consacreront quatre mois à l’examen des modèles pendant leur entraînement, leur évaluation et leur déploiement interne, selon des règles d’accès définies[2Apollo ResearchA Pilot Towards Embedded EvaluationsOuvrir la sourceSources [2]]. L’organisme entend déterminer si les modèles tentent de compromettre les contrôles auxquels ils sont soumis ou auxquels leurs successeurs seront soumis, et prévoit de publier des rapports exposant les limites de son évaluation[2Apollo ResearchA Pilot Towards Embedded EvaluationsOuvrir la sourceSources [2]].

Goodfire indique que ses chercheurs utiliseront sa plateforme pour suivre l’entraînement et étudier les comportements indésirables[4GoodfireAnnouncing our collaboration with OpenAIOuvrir la sourceSources [4]]. Les chercheurs d’OpenAI seront les principaux destinataires de ses résultats, mais Goodfire prévoit aussi d’en publier au fil des travaux[4GoodfireAnnouncing our collaboration with OpenAIOuvrir la sourceSources [4]].

Transluce indique que son projet pilote de six semaines examinera si les évaluations d’OpenAI détectent des comportements tels que la tromperie et la manipulation[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIOuvrir la sourceSources [3]]. L’organisme précise que son accès sera plus étendu que celui généralement accordé aux évaluateurs externes, mais plus limité que celui des salariés[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIOuvrir la sourceSources [3]]. Les deux organisations ont l’intention de mener une évaluation plus complète avec un accès élargi au début de 2027, dont les modalités restent à définir[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIOuvrir la sourceSources [3]].

Sources

  1. 1
    Our first phase of embedded assessments

    PrimaireOpenAIConsultée

  2. 2
    A Pilot Towards Embedded Evaluations

    IndépendanteApollo ResearchConsultée

  3. 3
    Announcing an Embedded Assessment Pilot with OpenAI

    IndépendanteTransluceConsultée

  4. 4
    Announcing our collaboration with OpenAI

    IndépendanteGoodfireConsultée

Le système éditorial d’ITANU a produit cet article avec l’IA et l’a vérifié auprès des sources citées ci-dessus. Notre méthode

ITANU Magazine

Toute l’actualité tech, IA et sciences