Nesta história
Três meses após sua formação, o novo Comitê de Segurança do OpenAI é agora um comitê independente de supervisão do conselho e fez suas recomendações iniciais de segurança para os projetos OpenAI, de acordo com um post no site da empresa.
Zico Kolter, diretor do departamento de aprendizado de máquina da Escola de Ciência da Computação de Carnegie Mellon, presidirá o conselho, disse a OpenAI. O conselho também inclui o co-fundador e CEO do Quora, Adam D’Angelo, o general do exército americano aposentado Paul Nakasone, e Nicole Seligman, ex-vice-presidente executiva da Sony Corporation (SONY).
OpenAI anunciou o Comitê de Segurança em maio, após desmantelar sua equipe Superalignment, que era dedicada ao controle dos perigos existenciais da IA. Ilya Sutskever e Jan Leike, co-líderes da equipe Superalignment, renunciaram ambos da empresa antes de seu desmantelamento.
O comitê revisou os critérios de segurança e segurança da OpenAI e os resultados das avaliações de segurança para seus mais novos modelos de IA que podem “raciocinar”, o1-preview, antes de seu lançamento, disse a empresa. Após uma revisão de 90 dias das medidas de segurança e salvaguardas da OpenAI, o comitê fez recomendações em cinco áreas-chave que a empresa diz que implementará.
Veja o que o novo comitê independente de supervisão do OpenAI está recomendando à startup de IA enquanto ela continua desenvolvendo e implantando seus modelos.
“Estabelecimento de Governança Independente para Segurança e Proteção”
Os líderes da OpenAI terão que apresentar ao comitê avaliações de segurança de seus principais lançamentos de modelos, como fizeram com o o1-preview. O comitê também poderá exercer supervisão sobre os lançamentos de modelos da OpenAI ao lado do conselho completo, o que significa que pode adiar o lançamento de um modelo até que as preocupações de segurança sejam resolvidas.
Esta recomendação é provavelmente uma tentativa de restaurar alguma confiança na governança da empresa depois que o conselho da OpenAI tentou derrubar o CEO Sam Altman em novembro. Altman foi destituído, disse o conselho, porque “não era consistentemente franco em suas comunicações com o conselho”. Apesar da falta de transparência sobre o motivo exato de sua demissão, Altman foi reintegrado dias depois.
“Aprimoramento das Medidas de Segurança”
A OpenAI disse que adicionará mais funcionários para equipes de operações de segurança “24 horas por dia” e continuará investindo em segurança para sua infraestrutura de pesquisa e produto. Após a revisão do comitê, a empresa disse que encontrou formas de colaborar com outras empresas da indústria de IA em segurança, inclusive no desenvolvimento de um Centro de Compartilhamento e Análise de Informações para relatar informações de inteligência ameaças e informações de segurança cibernética.
Em fevereiro, a OpenAI disse que encontrou e desativou contas da OpenAI pertencentes a “cinco atores maliciosos afiliados ao estado” usando ferramentas de IA, incluindo ChatGPT, para realizar ciberataques.
“Sendo Transparente Sobre Nosso Trabalho”
Embora tenha lançado cartões de sistema detalhando as capacidades e riscos de seus modelos mais recentes, incluindo o GPT-4o e o o1-preview, a OpenAI disse que planeja encontrar mais maneiras de compartilhar e explicar seu trabalho em torno da segurança da IA.
A startup disse que desenvolveu novas medidas de treinamento em segurança para as habilidades de raciocínio do o1-preview, acrescentando que os modelos foram treinados “para refinar seu processo de pensamento, tentar diferentes estratégias e reconhecer seus erros”. Por exemplo, em um dos “testes mais difíceis de jailbreaking” da OpenAI, o o1-preview obteve uma pontuação maior que o GPT-4.
“Colaborando com Organizações Externas”
A OpenAI disse que deseja que mais avaliações de segurança de seus modelos sejam feitas por grupos independentes, acrescentando que já está colaborando com organizações e laboratórios de segurança de terceiros não afiliados ao governo. A startup também está trabalhando com os Institutos de Segurança de IA nos EUA e no Reino Unido em pesquisa e padrões.
Em agosto, OpenAI e Anthropic alcançaram um acordo com o governo dos EUA para permitir acesso a novos modelos antes e depois do lançamento público.
“Unificando Nossos Frameworks de Segurança para Desenvolvimento e Monitoramento de Modelos”
À medida que seus modelos se tornam mais complexos (por exemplo, alega-se que seu novo modelo pode “pensar”), a OpenAI disse que está construindo sobre suas práticas anteriores para lançar modelos ao público e tem como objetivo ter um framework integrado de segurança e. O comitê tem o poder de aprovar as avaliações de risco que a OpenAI utiliza para determinar se pode lançar seus modelos.
Helen Toner, uma das ex-membros do conselho da OpenAI que esteve envolvida na demissão de Altman, disse que uma de suas principais preocupações com o líder era sua desinformação ao conselho “em várias ocasiões” sobre como a empresa estava lidando com seus procedimentos de segurança. Toner renunciou ao conselho após Altman retornar como CEO.
