Nesta história
Três meses após sua formação, o novo Comitê de Segurança do OpenAI é agora um comitê independente de supervisão do conselho e fez suas recomendações iniciais de segurança para os projetos do OpenAI, de acordo com uma postagem no site da empresa.
Zico Kolter, diretor do departamento de aprendizado de máquina da Escola de Ciência da Computação da Universidade Carnegie Mellon, presidirá o conselho, disse a OpenAI. O conselho também inclui o co-fundador e diretor executivo da Quora, Adam D’Angelo, o general reformado do Exército dos EUA Paul Nakasone, e Nicole Seligman, ex-vice-presidente executiva da Sony Corporation.
A OpenAI anunciou o Comitê de Segurança em maio, após desmembrar sua equipe de Super-Aliança, que era dedicada a controlar os perigos existenciais da IA. Ilya Sutskever e Jan Leike, os co-líderes da equipe de Super-Aliança, renunciaram da empresa antes do desmembramento.
O comitê revisou os critérios de segurança e avaliações de segurança do OpenAI para seus novos modelos de IA que podem “raciocinar”, o1-preview, antes de seu lançamento, disse a empresa. Após a revisão de 90 dias das medidas de segurança e salvaguardas da OpenAI, o comitê fez recomendações em cinco áreas-chave que a empresa diz que irá implementar.
Aqui está o que o novo comitê independente de supervisão do OpenAI está recomendando que a startup de IA faça enquanto continua a desenvolver e implantar seus modelos.
“Estabelecendo Governança Independente para Segurança e Proteção”
Os líderes da OpenAI terão que informar o comitê sobre as avaliações de segurança de seus principais lançamentos de modelos, como fizeram com o o1-preview. O comitê também poderá exercer supervisão sobre os lançamentos de modelos da OpenAI junto ao conselho completo, o que significa que pode adiar o lançamento de um modelo até que as preocupações de segurança sejam resolvidas.
Esta recomendação é provavelmente uma tentativa de restaurar a confiança na governança da empresa depois que o conselho da OpenAI tentou derrubar o CEO Sam Altman em novembro. Altman foi destituído, disse o conselho, porque “não foi consistentemente franco em suas comunicações com o conselho”. Apesar da falta de transparência sobre o motivo exato de sua demissão, Altman foi reintegrado dias depois.
“Aprimorando as Medidas de Segurança”
A OpenAI disse que vai adicionar mais pessoal para formar equipes de operações de segurança “24 horas por dia” e continuar investindo em segurança para sua infraestrutura de pesquisa e produto. Após a revisão do comitê, a empresa disse que encontrou maneiras de colaborar com outras empresas do setor de IA em segurança, inclusive desenvolvendo um Centro de Compartilhamento e Análise de Informações para relatar inteligência de ameaças e informações de segurança cibernética.
Em fevereiro, a OpenAI disse que encontrou e desativou contas da OpenAI pertencentes a “cinco agentes maliciosos afiliados a estados” usando ferramentas de IA para realizar ciberataques.
“Send to H1B: Um texto reescrito”.
