Nesta História, três meses após a sua formação, o novo Comitê de Segurança e Proteção da OpenAI é agora um comitê de supervisão independente da diretoria e fez suas recomendações iniciais de segurança e proteção para os projetos da OpenAI, de acordo com uma postagem no site da empresa.
Zico Kolter, diretor do departamento de aprendizado de máquina da Escola de Ciência da Computação da Carnegie Mellon, presidirá o conselho, disse a OpenAI. O conselho também inclui o co-fundador e diretor executivo do Quora, Adam D’Angelo, o general do Exército dos Estados Unidos aposentado Paul Nakasone e Nicole Seligman, ex-vice-presidente executiva da Sony Corporation.
A OpenAI anunciou o Comitê de Segurança e Proteção em maio, após a dissolução de sua equipe Superalignment, que era dedicada a controlar os perigos existenciais da IA. Ilya Sutskever e Jan Leike, os co-líderes da equipe Superalignment, renunciaram à empresa antes de sua dissolução.
O comitê revisou os critérios de segurança da OpenAI e os resultados das avaliações de segurança para seus mais novos modelos de IA que podem “raciocinar”, o1-preview, antes de serem lançados, disse a empresa. Após uma revisão de 90 dias das medidas de segurança e salvaguardas da OpenAI, o comitê fez recomendações em cinco áreas-chave que a empresa diz que irá implementar.
Veja o que o novo comitê independente de supervisão da OpenAI está recomendando à startup de IA conforme ela continua a desenvolver e implantar seus modelos.
“Estabelecendo Governança Independente para Segurança e Proteção”
Os líderes da OpenAI terão que informar o comitê sobre as avaliações de segurança de seus principais lançamentos de modelos, como fizeram com o o1-preview. O comitê também poderá exercer supervisão sobre os lançamentos de modelos da OpenAI ao lado da diretoria completa, o que significa que pode adiar o lançamento de um modelo até que as preocupações de segurança sejam resolvidas.
Essa recomendação é provavelmente uma tentativa de restaurar alguma confiança na governança da empresa após a tentativa do conselho da OpenAI de derrubar o diretor executivo Sam Altman em novembro. Altman foi destituído, disse o conselho, porque “não foi consistentemente franco em suas comunicações com o conselho”. Apesar da falta de transparência sobre o motivo exato de sua demissão, Altman foi restabelecido dias depois.
“Reforçando as Medidas de Segurança”
A OpenAI disse que adicionará mais pessoal para equipes de operações de segurança “24 horas por dia” e continuará investindo em segurança para sua infraestrutura de pesquisa e produto. Após a revisão do comitê, a empresa disse que encontrou maneiras de colaborar com outras empresas na indústria de IA em segurança, inclusive desenvolvendo um Centro de Compartilhamento e Análise de Informações para relatar inteligência e informações de segurança cibernética de ameaças.
Em fevereiro, a OpenAI disse que encontrou e desativou contas da OpenAI pertencentes a “cinco atores maliciosos afiliados a estados” usando ferramentas de IA, incluindo o ChatGPT, para realizar ataques cibernéticos.
“Send para casa”
