OpenAI заключила соглашения о внешней оценке безопасности ИИ

Четыре организации получат внутренний доступ для проверки моделей и защитных механизмов, сообщает OpenAI. Участники описывают пилотные проекты с разным охватом и продолжительностью.

Числа в квадратных скобках ведут к источникам, перечисленным ниже.

Современное офисное здание из стекла и металла на перекрёстке с пальмами в Сан-Франциско.
Архивное фото: Штаб-квартира OpenAI в Сан-Франциско, 2025 год.Фото: Coolcaesar / Wikimedia CommonsCC BY 4.0Источник

OpenAI сообщила 16 ноября, что заключила соглашения с Apollo Research, METR, Transluce и Goodfire об оценке своих моделей ИИ и защитных механизмов в рамках работы внутри компании[1OpenAIOur first phase of embedded assessmentsОткрыть источникИсточники [1]]. По ее данным, первоначальные проверки охватят обучение и внутреннее использование моделей[1OpenAIOur first phase of embedded assessmentsОткрыть источникИсточники [1]].

OpenAI описывает такую оценку с участием внешних специалистов внутри компании как длительные проверки, в ходе которых эксперты получают доступ к внутренним системам и моделям[1OpenAIOur first phase of embedded assessmentsОткрыть источникИсточники [1]]. В зависимости от проверки им могут быть доступны код, данные для обучения и оценки, инструменты мониторинга и беседы с сотрудниками, отвечающими за эту работу[1OpenAIOur first phase of embedded assessmentsОткрыть источникИсточники [1]].

По данным Apollo Research, шесть специалистов по оценке в течение четырех месяцев будут изучать модели на этапах обучения, оценки и внутреннего внедрения по установленным правилам доступа[2Apollo ResearchA Pilot Towards Embedded EvaluationsОткрыть источникИсточники [2]]. Организация намерена выяснить, пытаются ли модели подорвать механизмы контроля над ними самими или над моделями следующего поколения, и планирует публиковать отчеты с разъяснением ограничений своей работы[2Apollo ResearchA Pilot Towards Embedded EvaluationsОткрыть источникИсточники [2]].

Goodfire сообщает, что ее исследователи будут использовать платформу компании для отслеживания обучения и изучения нежелательного поведения моделей[4GoodfireAnnouncing our collaboration with OpenAIОткрыть источникИсточники [4]]. Основной аудиторией результатов станут исследователи OpenAI, хотя Goodfire также планирует публиковать результаты по мере работы[4GoodfireAnnouncing our collaboration with OpenAIОткрыть источникИсточники [4]].

Transluce сообщает, что в рамках шестинедельного пилотного проекта проверит, выявляют ли методы оценки OpenAI такие формы поведения, как обман и манипуляция[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIОткрыть источникИсточники [3]]. По словам организации, ее доступ будет шире того, который обычно получают внешние специалисты по оценке, но уже доступа сотрудников[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIОткрыть источникИсточники [3]]. Организации намерены провести более полную оценку с расширенным доступом в начале 2027 года; детали пока не определены[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIОткрыть источникИсточники [3]].

Источники

  1. 1
    Our first phase of embedded assessments

    ПервичныйOpenAIПросмотрено

  2. 2
    A Pilot Towards Embedded Evaluations

    НезависимыйApollo ResearchПросмотрено

  3. 3
    Announcing an Embedded Assessment Pilot with OpenAI

    НезависимыйTransluceПросмотрено

  4. 4
    Announcing our collaboration with OpenAI

    НезависимыйGoodfireПросмотрено

Редакционная система ITANU подготовила этот материал с помощью ИИ и сверила его с источниками, перечисленными выше. Как мы работаем

Журнал ITANU

Технологии, искусственный интеллект и наука