OpenAI vereinbart externe Prüfungen zur Sicherheit seiner KI
Vier externe Prüforganisationen erhalten laut OpenAI internen Zugang zu Modellen und Schutzmaßnahmen. Die beteiligten Teams beschreiben Pilotprojekte mit unterschiedlichem Umfang und unterschiedlicher Dauer.
Zahlen in eckigen Klammern verlinken auf die unten aufgeführten Quellen.

OpenAI hat nach eigenen Angaben Vereinbarungen mit Apollo Research, METR, Transluce und Goodfire geschlossen. Die Organisationen sollen im Unternehmen dessen KI-Modelle und Schutzmaßnahmen prüfen, teilte OpenAI am 16. November mit[1OpenAIOur first phase of embedded assessmentsQuelle öffnenQuellen [1]]. Die ersten Prüfungen betreffen das Training und die interne Nutzung[1OpenAIOur first phase of embedded assessmentsQuelle öffnenQuellen [1]].
OpenAI beschreibt diese in die internen Abläufe eingebundenen Prüfungen als längerfristige Untersuchungen, bei denen externe Fachleute Zugang zu internen Systemen und Modellen erhalten[1OpenAIOur first phase of embedded assessmentsQuelle öffnenQuellen [1]]. Je nach Prüfung stehen ihnen unter anderem Quellcode, Trainings- und Evaluierungsdaten, Überwachungswerkzeuge sowie Gespräche mit den zuständigen Beschäftigten zur Verfügung[1OpenAIOur first phase of embedded assessmentsQuelle öffnenQuellen [1]].
Nach Angaben von Apollo Research werden sechs Prüfer vier Monate lang Modelle während des Trainings, der Evaluierung und des internen Einsatzes untersuchen. Für den Zugang gelten festgelegte Regeln[2Apollo ResearchA Pilot Towards Embedded EvaluationsQuelle öffnenQuellen [2]]. Die Organisation will untersuchen, ob Modelle versuchen, Kontrollmechanismen für sich selbst oder für Nachfolgemodelle zu unterlaufen. Geplant sind öffentliche Berichte, die auch die Grenzen der Untersuchung erläutern[2Apollo ResearchA Pilot Towards Embedded EvaluationsQuelle öffnenQuellen [2]].
Goodfire will nach eigenen Angaben seine Forschungsplattform nutzen, um das Training zu verfolgen und unerwünschtes Verhalten zu untersuchen[4GoodfireAnnouncing our collaboration with OpenAIQuelle öffnenQuellen [4]]. Die Ergebnisse richten sich in erster Linie an die Forschenden von OpenAI. Goodfire plant aber auch, im Verlauf der Arbeit Erkenntnisse zu veröffentlichen[4GoodfireAnnouncing our collaboration with OpenAIQuelle öffnenQuellen [4]].
Transluce will in einem sechswöchigen Pilotprojekt prüfen, ob die Evaluierungen von OpenAI Verhaltensweisen wie Täuschung und Manipulation erkennen[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIQuelle öffnenQuellen [3]]. Der Zugang soll nach Angaben der Organisation über das hinausgehen, was externe Prüfer üblicherweise erhalten, aber weniger weit reichen als der Zugang von Beschäftigten[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIQuelle öffnenQuellen [3]]. Die Organisationen planen für Anfang 2027 eine umfassendere Prüfung mit weitergehendem Zugang. Die Einzelheiten sind noch offen[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIQuelle öffnenQuellen [3]].
Quellen
- 1Our first phase of embedded assessments
PrimärOpenAIAbgerufen
- 2A Pilot Towards Embedded Evaluations
UnabhängigApollo ResearchAbgerufen
- 3Announcing an Embedded Assessment Pilot with OpenAI
UnabhängigTransluceAbgerufen
- 4Announcing our collaboration with OpenAI
UnabhängigGoodfireAbgerufen
Das Redaktionssystem von ITANU hat diesen Artikel mit KI erstellt und an den oben genannten Quellen geprüft. So arbeiten wir