OpenAI заключила соглашения о внешней оценке безопасности ИИ
Четыре организации получат внутренний доступ для проверки моделей и защитных механизмов, сообщает OpenAI. Участники описывают пилотные проекты с разным охватом и продолжительностью.
Числа в квадратных скобках ведут к источникам, перечисленным ниже.

OpenAI сообщила 16 ноября, что заключила соглашения с Apollo Research, METR, Transluce и Goodfire об оценке своих моделей ИИ и защитных механизмов в рамках работы внутри компании[1OpenAIOur first phase of embedded assessmentsОткрыть источникИсточники [1]]. По ее данным, первоначальные проверки охватят обучение и внутреннее использование моделей[1OpenAIOur first phase of embedded assessmentsОткрыть источникИсточники [1]].
OpenAI описывает такую оценку с участием внешних специалистов внутри компании как длительные проверки, в ходе которых эксперты получают доступ к внутренним системам и моделям[1OpenAIOur first phase of embedded assessmentsОткрыть источникИсточники [1]]. В зависимости от проверки им могут быть доступны код, данные для обучения и оценки, инструменты мониторинга и беседы с сотрудниками, отвечающими за эту работу[1OpenAIOur first phase of embedded assessmentsОткрыть источникИсточники [1]].
По данным Apollo Research, шесть специалистов по оценке в течение четырех месяцев будут изучать модели на этапах обучения, оценки и внутреннего внедрения по установленным правилам доступа[2Apollo ResearchA Pilot Towards Embedded EvaluationsОткрыть источникИсточники [2]]. Организация намерена выяснить, пытаются ли модели подорвать механизмы контроля над ними самими или над моделями следующего поколения, и планирует публиковать отчеты с разъяснением ограничений своей работы[2Apollo ResearchA Pilot Towards Embedded EvaluationsОткрыть источникИсточники [2]].
Goodfire сообщает, что ее исследователи будут использовать платформу компании для отслеживания обучения и изучения нежелательного поведения моделей[4GoodfireAnnouncing our collaboration with OpenAIОткрыть источникИсточники [4]]. Основной аудиторией результатов станут исследователи OpenAI, хотя Goodfire также планирует публиковать результаты по мере работы[4GoodfireAnnouncing our collaboration with OpenAIОткрыть источникИсточники [4]].
Transluce сообщает, что в рамках шестинедельного пилотного проекта проверит, выявляют ли методы оценки OpenAI такие формы поведения, как обман и манипуляция[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIОткрыть источникИсточники [3]]. По словам организации, ее доступ будет шире того, который обычно получают внешние специалисты по оценке, но уже доступа сотрудников[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIОткрыть источникИсточники [3]]. Организации намерены провести более полную оценку с расширенным доступом в начале 2027 года; детали пока не определены[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIОткрыть источникИсточники [3]].
Источники
- 1Our first phase of embedded assessments
ПервичныйOpenAIПросмотрено
- 2A Pilot Towards Embedded Evaluations
НезависимыйApollo ResearchПросмотрено
- 3Announcing an Embedded Assessment Pilot with OpenAI
НезависимыйTransluceПросмотрено
- 4Announcing our collaboration with OpenAI
НезависимыйGoodfireПросмотрено
Редакционная система ITANU подготовила этот материал с помощью ИИ и сверила его с источниками, перечисленными выше. Как мы работаем