OpenAI vereinbart externe Prüfungen zur Sicherheit seiner KI

Vier externe Prüforganisationen erhalten laut OpenAI internen Zugang zu Modellen und Schutzmaßnahmen. Die beteiligten Teams beschreiben Pilotprojekte mit unterschiedlichem Umfang und unterschiedlicher Dauer.

Zahlen in eckigen Klammern verlinken auf die unten aufgeführten Quellen.

Ein modernes Bürogebäude aus Glas und Metall steht an einer von Palmen gesäumten Kreuzung in San Francisco.
Archivfoto: Hauptsitz von OpenAI in San Francisco, 2025.Foto: Coolcaesar / Wikimedia CommonsCC BY 4.0Quelle

OpenAI hat nach eigenen Angaben Vereinbarungen mit Apollo Research, METR, Transluce und Goodfire geschlossen. Die Organisationen sollen im Unternehmen dessen KI-Modelle und Schutzmaßnahmen prüfen, teilte OpenAI am 16. November mit[1OpenAIOur first phase of embedded assessmentsQuelle öffnenQuellen [1]]. Die ersten Prüfungen betreffen das Training und die interne Nutzung[1OpenAIOur first phase of embedded assessmentsQuelle öffnenQuellen [1]].

OpenAI beschreibt diese in die internen Abläufe eingebundenen Prüfungen als längerfristige Untersuchungen, bei denen externe Fachleute Zugang zu internen Systemen und Modellen erhalten[1OpenAIOur first phase of embedded assessmentsQuelle öffnenQuellen [1]]. Je nach Prüfung stehen ihnen unter anderem Quellcode, Trainings- und Evaluierungsdaten, Überwachungswerkzeuge sowie Gespräche mit den zuständigen Beschäftigten zur Verfügung[1OpenAIOur first phase of embedded assessmentsQuelle öffnenQuellen [1]].

Nach Angaben von Apollo Research werden sechs Prüfer vier Monate lang Modelle während des Trainings, der Evaluierung und des internen Einsatzes untersuchen. Für den Zugang gelten festgelegte Regeln[2Apollo ResearchA Pilot Towards Embedded EvaluationsQuelle öffnenQuellen [2]]. Die Organisation will untersuchen, ob Modelle versuchen, Kontrollmechanismen für sich selbst oder für Nachfolgemodelle zu unterlaufen. Geplant sind öffentliche Berichte, die auch die Grenzen der Untersuchung erläutern[2Apollo ResearchA Pilot Towards Embedded EvaluationsQuelle öffnenQuellen [2]].

Goodfire will nach eigenen Angaben seine Forschungsplattform nutzen, um das Training zu verfolgen und unerwünschtes Verhalten zu untersuchen[4GoodfireAnnouncing our collaboration with OpenAIQuelle öffnenQuellen [4]]. Die Ergebnisse richten sich in erster Linie an die Forschenden von OpenAI. Goodfire plant aber auch, im Verlauf der Arbeit Erkenntnisse zu veröffentlichen[4GoodfireAnnouncing our collaboration with OpenAIQuelle öffnenQuellen [4]].

Transluce will in einem sechswöchigen Pilotprojekt prüfen, ob die Evaluierungen von OpenAI Verhaltensweisen wie Täuschung und Manipulation erkennen[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIQuelle öffnenQuellen [3]]. Der Zugang soll nach Angaben der Organisation über das hinausgehen, was externe Prüfer üblicherweise erhalten, aber weniger weit reichen als der Zugang von Beschäftigten[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIQuelle öffnenQuellen [3]]. Die Organisationen planen für Anfang 2027 eine umfassendere Prüfung mit weitergehendem Zugang. Die Einzelheiten sind noch offen[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIQuelle öffnenQuellen [3]].

Quellen

  1. 1
    Our first phase of embedded assessments

    PrimärOpenAIAbgerufen

  2. 2
    A Pilot Towards Embedded Evaluations

    UnabhängigApollo ResearchAbgerufen

  3. 3
    Announcing an Embedded Assessment Pilot with OpenAI

    UnabhängigTransluceAbgerufen

  4. 4
    Announcing our collaboration with OpenAI

    UnabhängigGoodfireAbgerufen

Das Redaktionssystem von ITANU hat diesen Artikel mit KI erstellt und an den oben genannten Quellen geprüft. So arbeiten wir

ITANU Magazin

Neues aus Technik, KI und Wissenschaft