Nesta história, três meses após a sua formação, o novo Comitê de Segurança e Proteção da OpenAI é agora um comitê de supervisão independente, e fez suas recomendações iniciais de segurança e proteção para os projetos da OpenAI, de acordo com um post no site da empresa.
Zico Kolter, diretor do departamento de aprendizado de máquina da Escola de Ciência da Computação da Universidade Carnegie Mellon, será o presidente do conselho, disse a OpenAI. O conselho também inclui o co-fundador do Quora e CEO Adam D’Angelo, o general do Exército dos Estados Unidos aposentado Paul Nakasone e Nicole Seligman, ex-vice-presidente executiva da Sony Corporation.
A OpenAI anunciou o Comitê de Segurança e Proteção em maio, após a dissolução de sua equipe de Super Aliança, que era dedicada ao controle dos perigos existenciais da IA. Ilya Sutskever e Jan Leike, os co-líderes da equipe de Super Aliança, renunciaram da empresa antes de sua dissolução.
O comitê revisou os critérios de segurança e proteção da OpenAI e os resultados das avaliações de segurança de seus novos modelos de IA que podem “raciocinar”, o1-preview, antes de seu lançamento, disse a empresa. Após conduzir uma revisão de 90 dias das medidas de segurança da OpenAI, o comitê fez recomendações em cinco áreas-chave que a empresa diz que irá implementar.
Aqui está o que o novo comitê de supervisão independente da OpenAI está recomendando à startup de IA à medida que continua desenvolvendo e implementando seus modelos.
“Estabelecendo Governança Independente para Segurança & Proteção”
Os líderes da OpenAI terão que informar o comitê sobre as avaliações de segurança de seus principais lançamentos de modelos, como fizeram com o o1-preview. O comitê também poderá exercer supervisão sobre os lançamentos de modelos da OpenAI juntamente com o conselho completo, o que significa que pode adiar o lançamento de um modelo até que as preocupações de segurança sejam resolvidas.
Esta recomendação é provavelmente uma tentativa de restaurar a confiança na governança da empresa depois que o conselho da OpenAI tentou derrubar o CEO Sam Altman em novembro. Altman foi destituído, disse o conselho, porque “não foi consistentemente franco em suas comunicações com o conselho.” Apesar da falta de transparência sobre o motivo exato de sua demissão, Altman foi reintegrado dias depois.
“Aprimorando Medidas de Segurança”
A OpenAI disse que vai contratar mais funcionários para equipes de operações de segurança “24 horas por dia” e continuar investindo em segurança para sua infraestrutura de pesquisa e produto. Após a revisão do comitê, a empresa disse ter encontrado formas de colaborar com outras empresas do setor de IA em segurança, inclusive desenvolvendo um Centro de Compartilhamento e Análise de Informações para relatar inteligência de ameaças e informações de cibersegurança.
Em fevereiro, a OpenAI disse ter encontrado e desativado contas da OpenAI pertencentes a “cinco atores maliciosos afiliados a estados” usando ferramentas de IA, incluindo o ChatGPT, para realizar ciberataques.
Esses atores geralmente buscavam usar os serviços da OpenAI para consultar informações de código aberto, traduzir, encontrar erros de codificação e executar tarefas básicas de codificação”, disse a OpenAI em comunicado. A OpenAI disse que “nossos resultados mostram que nossos modelos oferecem apenas capacidades limitadas e incrementais para tarefas maliciosas de cibersegurança.”
“Sendo Transparente Sobre Nosso Trabalho”
Embora tenha lançado cartões de sistema detalhando as capacidades e riscos de seus últimos modelos, inclusive para GPT-4o e o1-preview, a OpenAI disse que planeja encontrar mais maneiras de compartilhar e explicar seu trabalho em torno da segurança da IA.
A startup disse ter desenvolvido novas medidas de treinamento de segurança para as habilidades de raciocínio do o1-preview, acrescentando que os modelos foram treinados “para refinar seu processo de pensamento, experimentar diferentes estratégias e reconhecer seus erros.” Por exemplo, em um dos “testes mais difíceis de jailbreaking” da OpenAI, o1-preview teve uma pontuação mais alta que o GPT-4.
“Colaborando com Organizações Externas”
A OpenAI disse que deseja que mais avaliações de segurança de seus modelos sejam feitas por grupos independentes, acrescentando que já está colaborando com organizações de segurança de terceiros e laboratórios não afiliados ao governo. A startup também está trabalhando com os Institutos de Segurança de IA nos EUA e no Reino Unido em pesquisa e normas.
Em agosto, a OpenAI e a Anthropic assinaram um acordo com o governo dos EUA para permitir acesso a novos modelos antes e depois do lançamento público.
“Unificação de Nossos Frameworks de Segurança para o Desenvolvimento e Monitoramento de Modelos”
À medida que seus modelos se tornam mais complexos (por exemplo, afirma que seu novo modelo pode “pensar”), a OpenAI disse que está construindo sobre suas práticas anteriores de lançamento de modelos ao público e tem como objetivo ter um framework integrado de segurança e proteção estabelecido. O comitê tem o poder de aprovar as avaliações de risco que a OpenAI utiliza para determinar se pode lançar seus modelos.
Helen Toner, uma das ex-membros do conselho da OpenAI que esteve envolvida na demissão de Altman, disse que uma de suas principais preocupações com o líder foi sua desorientação do conselho “em múltiplas ocasiões” sobre como a empresa estava lidando com seus procedimentos de segurança. Toner renunciou ao conselho logo após o retorno de Altman como CEO.
