Nesta história
Três meses após a sua formação, o novo Comitê de Segurança e Segurança da OpenAI é agora um comitê de supervisão independente e fez suas recomendações iniciais de segurança e proteção para os projetos da OpenAI, de acordo com uma postagem no site da empresa.
Zico Kolter, diretor do departamento de aprendizado de máquina da Escola de Ciência da Computação da Universidade Carnegie Mellon, presidirá o conselho, disse a OpenAI. O conselho também inclui o co-fundador e diretor executivo do Quora, Adam D’Angelo, o general reformado do Exército dos EUA Paul Nakasone e Nicole Seligman, ex-vice-presidente executiva da Sony Corporation.
A OpenAI anunciou o Comitê de Segurança e Segurança em maio, após a dissolução de sua equipe Superalinemento, que era dedicada a controlar os perigos existenciais da IA. Ilya Sutskever e Jan Leike, os co-líderes da equipe Superalinemento, renunciaram da empresa antes de sua dissolução.
O comitê revisou os critérios de segurança e segurança da OpenAI e os resultados das avaliações de segurança para seus novos modelos de IA, antes de seu lançamento, disse a empresa. Após uma revisão de 90 dias das medidas de segurança e salvaguardas da OpenAI, o comitê fez recomendações em cinco áreas-chave que a empresa diz que irá implementar.
Aqui estão as recomendações do recém-criado comitê de supervisão independente da OpenAI sobre o que a startup de IA deve fazer à medida que continua desenvolvendo e implantando seus modelos.
“Estabelecimento de Governança Independente para Segurança e Proteção”
Os líderes da OpenAI terão que informar o comitê sobre as avaliações de segurança de seus principais lançamentos de modelos, como fizeram com o o1-preview. O comitê também poderá exercer supervisão sobre os lançamentos de modelos da OpenAI junto com o conselho completo, o que significa que pode atrasar o lançamento de um modelo até que as preocupações de segurança sejam resolvidas.
Essa recomendação provavelmente é uma tentativa de restaurar a confiança na governança da empresa após o conselho da OpenAI tentar derrubar o CEO Sam Altman em novembro. Altman foi destituído, disse o conselho, porque “não foi consistentemente franco em suas comunicações com o conselho.” Apesar da falta de transparência sobre o motivo exato de sua demissão, Altman foi readmitido dias depois.
“Melhoria das Medidas de Segurança”
A OpenAI disse que irá adicionar mais funcionários para tornar as equipes de operações de segurança “24 horas por dia” e continuar investindo em segurança para sua infraestrutura de pesquisa e produto. Após a revisão do comitê, a empresa disse que encontrou maneiras de colaborar com outras empresas do setor de IA em segurança, incluindo o desenvolvimento de um Centro de Compartilhamento e Análise de Informações para relatar inteligência ameaças e informações de cibersegurança.
Em fevereiro, a OpenAI disse que encontrou e fechou contas da OpenAI pertencentes a “cinco atores maliciosos afiliados ao Estado” usando ferramentas de IA, incluindo ChatGPT, para realizar ataques cibernéticos.
“Transparência sobre Nosso Trabalho”
Embora tenha divulgado cartões de sistema detalhando as capacidades e riscos de seus últimos modelos, incluindo para o GPT-4o e o1-preview, a OpenAI disse que planeja encontrar mais maneiras de compartilhar e explicar seu trabalho em torno da segurança da IA.
A startup disse que desenvolveu novas medidas de treinamento de segurança para as habilidades de raciocínio do o1-preview, acrescentando que os modelos foram treinados “para refinar seu processo de pensamento, experimentar diferentes estratégias e reconhecer seus erros”. Por exemplo, em um dos “testes de jailbreak mais difíceis” da OpenAI, o1-preview obteve uma pontuação mais alta do que o GPT-4.
“Colaboração com Organizações Externas”
A OpenAI disse que deseja que mais avaliações de segurança de seus modelos sejam feitas por grupos independentes, acrescentando que já está colaborando com organizações de segurança de terceiros e laboratórios não afiliados ao governo. A startup também está trabalhando com os Institutos de Segurança da IA nos EUA e no Reino Unido em pesquisa e padrões.
Em agosto, a OpenAI e a Anthropic chegaram a um acordo com o governo dos EUA para permitir acesso a novos modelos antes e após o lançamento público.
“Unificar Nossos Quadros de Segurança para Desenvolvimento e Monitoramento de Modelos”
À medida que seus modelos se tornam mais complexos (por exemplo, afirma que seu novo modelo pode “pensar”), a OpenAI disse que está expandindo suas práticas anteriores para lançar modelos ao público e tem como objetivo ter um quadro integrado estabelecido de segurança e proteção. O comitê tem o poder de aprovar as avaliações de risco que a OpenAI usa para determinar se pode lançar seus modelos.
Helen Toner, uma das ex-membros do conselho da OpenAI que estava envolvida na demissão de Altman, disse que uma de suas principais preocupações com o líder foi sua falta de honestidade com o conselho “em várias ocasiões” sobre como a empresa estava lidando com seus procedimentos de segurança. Toner renunciou ao conselho depois que Altman retornou como diretor executivo.
