Nesta História
Três meses após a sua formação, o novo Comitê de Segurança e Proteção da OpenAI é agora um comitê de supervisão independente do conselho e fez suas recomendações iniciais de segurança e proteção para os projetos da OpenAI, de acordo com uma postagem no site da empresa.
Zico Kolter, diretor do departamento de aprendizado de máquina da Escola de Ciência da Computação da Carnegie Mellon, será o presidente do conselho, disse a OpenAI. O conselho também inclui o co-fundador e CEO do Quora, Adam D’Angelo, o general aposentado do Exército dos EUA Paul Nakasone e Nicole Seligman, ex-vice-presidente executiva da Sony Corporation.
A OpenAI anunciou o Comitê de Segurança e Proteção em maio, após desmantelar sua equipe Superalignment, dedicada a controlar os perigos existenciais da IA. Ilya Sutskever e Jan Leike, os co-líderes da equipe Superalignment, renunciaram da empresa antes de sua dissolução.
O comitê revisou os critérios de segurança e proteção da OpenAI e os resultados das avaliações de segurança para seus mais novos modelos de IA que podem “raciocinar”, o1-preview, antes de seu lançamento, disse a empresa. Após uma revisão de 90 dias das medidas de segurança e salvaguardas da OpenAI, o comitê fez recomendações em cinco áreas-chave que a empresa diz que irá implementar.
Eis o que o novo comitê de supervisão independente da OpenAI está recomendando que a startup de IA faça enquanto continua a desenvolver e implantar seus modelos.
“Estabelecimento de Governança Independente para Segurança e Proteção”
Os líderes da OpenAI terão que informar o comitê sobre as avaliações de segurança de seus principais lançamentos de modelos, como fizeram com o o1-preview. O comitê também poderá exercer supervisão sobre os lançamentos de modelos da OpenAI ao lado do conselho total, o que significa que pode adiar o lançamento de um modelo até que as preocupações de segurança sejam resolvidas.
Essa recomendação é provavelmente uma tentativa de restaurar alguma confiança na governança da empresa após o conselho da OpenAI tentar derrubar o CEO Sam Altman em novembro. Altman foi destituído, disse o conselho, porque “não foi consistentemente sincero em suas comunicações com o conselho”. Apesar da falta de transparência sobre o motivo exato de sua demissão, Altman foi reintegrado dias depois.
“Melhoria das Medidas de Segurança”
A OpenAI disse que adicionará mais pessoal para equipes de operações de segurança “24 horas por dia” e continuará investindo em segurança para sua infraestrutura de pesquisa e produtos. Após a revisão do comitê, a empresa disse ter encontrado maneiras de colaborar com outras empresas da indústria de IA em segurança, inclusive desenvolvendo um Centro de Compartilhamento e Análise de Informações para reportar inteligência de ameaças e informações de cibersegurança.
Em fevereiro, a OpenAI disse ter encontrado e desativado contas da OpenAI pertencentes a “cinco atores maliciosos afiliados a estados” que usavam ferramentas de IA, incluindo o ChatGPT, para realizar ciberataques.
“Transparência Sobre Nosso Trabalho”
Embora tenha lançado cartões de sistema detalhando as capacidades e riscos de seus últimos modelos, incluindo para o GPT-4o e o o1-preview, a OpenAI disse que planeja encontrar mais maneiras de compartilhar e explicar seu trabalho em torno da segurança da IA.
A startup disse ter desenvolvido novas medidas de treinamento de segurança para as capacidades de raciocínio do o1-preview, acrescentando que os modelos foram treinados “para refinar seu processo de pensamento, tentar diferentes estratégias e reconhecer seus erros”. Por exemplo, em um dos “testes de jailbreaking” mais difíceis da OpenAI, o o1-preview obteve uma pontuação maior do que o GPT-4.
“Colaboração com Organizações Externas”
A OpenAI disse que deseja que mais avaliações de segurança de seus modelos sejam feitas por grupos independentes, acrescentando que já está colaborando com organizações de segurança de terceiros e laboratórios não afiliados ao governo. A startup também está trabalhando com os Institutos de Segurança de IA nos EUA e no Reino Unido em pesquisa e padrões.
Em agosto, a OpenAI e a Anthropic assinaram um acordo com o governo dos EUA para permitir acesso a novos modelos antes e depois do lançamento público.
“Unificar Nossos Quadros de Segurança para Desenvolvimento e Monitoramento de Modelos”
À medida que seus modelos se tornam mais complexos, a OpenAI disse que está construindo sobre suas práticas anteriores de lançamento de modelos ao público e tem como objetivo ter um framework integrado estabelecido de segurança e proteção. O comitê tem o poder de aprovar as avaliações de risco que a OpenAI usa para determinar se pode lançar seus modelos.
Helen Toner, uma ex-membro do conselho da OpenAI envolvida na demissão de Altman, afirmou que uma de suas principais preocupações com o líder era sua desinformação repetida ao conselho “em várias ocasiões” sobre como a empresa estava lidando com seus procedimentos de segurança. Toner renunciou ao conselho depois que Altman retornou como CEO.
