OpenAI firma acordos para avaliações externas da segurança da IA
Quatro organizações terão acesso interno para avaliar modelos e mecanismos de proteção, segundo a OpenAI. As equipas participantes descrevem projetos-piloto com diferentes âmbitos e durações.
Os números entre colchetes levam às fontes listadas abaixo.

A OpenAI anunciou em 16 de novembro que assinou acordos com Apollo Research, METR, Transluce e Goodfire para avaliar os seus modelos de IA e mecanismos de proteção por meio de trabalho realizado dentro da empresa[1OpenAIOur first phase of embedded assessmentsAbrir fonteFontes [1]]. Segundo a OpenAI, as avaliações iniciais abrangem o treino e o uso interno[1OpenAIOur first phase of embedded assessmentsAbrir fonteFontes [1]].
A OpenAI descreve estas avaliações integradas na empresa como análises prolongadas que dão a especialistas externos acesso a sistemas e modelos internos[1OpenAIOur first phase of embedded assessmentsAbrir fonteFontes [1]]. Conforme a avaliação, os recursos disponíveis incluem código, dados usados no treino e nas avaliações, ferramentas de monitorização e conversas com os funcionários responsáveis pelo trabalho[1OpenAIOur first phase of embedded assessmentsAbrir fonteFontes [1]].
A Apollo Research afirma que seis avaliadores passarão quatro meses a examinar modelos durante o treino, a avaliação e a utilização interna, com regras de acesso definidas[2Apollo ResearchA Pilot Towards Embedded EvaluationsAbrir fonteFontes [2]]. A organização pretende investigar se os modelos tentam comprometer os mecanismos de controlo que regem o seu funcionamento ou o de modelos sucessores. Também planeia publicar relatórios que expliquem as limitações do trabalho[2Apollo ResearchA Pilot Towards Embedded EvaluationsAbrir fonteFontes [2]].
A Goodfire afirma que os seus investigadores usarão a plataforma da empresa para acompanhar o treino e investigar comportamentos indesejados[4GoodfireAnnouncing our collaboration with OpenAIAbrir fonteFontes [4]]. Os investigadores da OpenAI serão o principal público dos resultados, embora a Goodfire também pretenda publicar conclusões à medida que o trabalho avançar[4GoodfireAnnouncing our collaboration with OpenAIAbrir fonteFontes [4]].
A Transluce diz que o seu projeto-piloto de seis semanas examinará se as avaliações da OpenAI detetam comportamentos como engano e manipulação[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIAbrir fonteFontes [3]]. Segundo a organização, o acesso será mais amplo do que o geralmente concedido a avaliadores externos, mas mais limitado do que o dos funcionários[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIAbrir fonteFontes [3]]. As organizações pretendem realizar uma avaliação mais completa, com acesso mais amplo, no início de 2027. Os detalhes ainda não foram definidos[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIAbrir fonteFontes [3]].
Fontes
- 1Our first phase of embedded assessments
PrimáriaOpenAIAcessada
- 2A Pilot Towards Embedded Evaluations
IndependenteApollo ResearchAcessada
- 3Announcing an Embedded Assessment Pilot with OpenAI
IndependenteTransluceAcessada
- 4Announcing our collaboration with OpenAI
IndependenteGoodfireAcessada
O sistema de redação da ITANU produziu este artigo com IA e o conferiu nas fontes listadas acima. Como trabalhamos