Nesta história
Três meses após sua formação, o novo Comitê de Segurança da OpenAI é agora um comitê independente de supervisão do conselho, e fez suas recomendações iniciais de segurança e segurança para os projetos da OpenAI, de acordo com uma postagem no site da empresa.
Zico Kolter, diretor do departamento de aprendizado de máquina da Escola de Ciência da Computação da Universidade Carnegie Mellon, será o presidente do conselho, disse a OpenAI. O conselho também inclui o co-fundador e presidente-executivo da Quora, Adam D’Angelo, o general reformado do Exército dos Estados Unidos Paul Nakasone e Nicole Seligman, ex-vice-presidente executiva da Sony Corporation (SONY).
A OpenAI anunciou o Comitê de Segurança em maio, após a dissolução de sua equipe de Superalinhamento, dedicada a controlar os perigos existenciais da IA. Ilya Sutskever e Jan Leike, os co-líderes da equipe de Superalinhamento, renunciaram da empresa antes de sua dissolução.
O comitê revisou os critérios de segurança e segurança da OpenAI e os resultados das avaliações de segurança para seus modelos de IA mais recentes que podem “raciocinar”, o1-preview, antes de serem lançados, disse a empresa. Após uma revisão de 90 dias das medidas de segurança e salvaguardas da OpenAI, o comitê fez recomendações em cinco áreas-chave que a empresa diz que implementará.
Aqui está o que o novo comitê independente de supervisão da OpenAI está recomendando que a startup de IA faça enquanto continua a desenvolver e implantar seus modelos.
“Estabelecendo Governança Independente para Segurança e Segurança”
Os líderes da OpenAI terão que informar o comitê sobre as avaliações de segurança de seus principais lançamentos de modelos, como fizeram com o o1-preview. O comitê também poderá exercer supervisão sobre os lançamentos de modelos da OpenAI junto ao conselho completo, o que significa que pode adiar o lançamento de um modelo até que as preocupações de segurança sejam resolvidas.
Esta recomendação é provavelmente uma tentativa de restaurar alguma confiança na governança da empresa depois que o conselho da OpenAI tentou derrubar o diretor-executivo Sam Altman em novembro. Altman foi destituído, disse o conselho, porque “não foi consistentemente franco em suas comunicações com o conselho.” Apesar da falta de transparência sobre o motivo exato de sua demissão, Altman foi reintegrado dias depois.
“Aprimorando Medidas de Segurança”
A OpenAI disse que adicionará mais pessoal para formar equipes de operações de segurança “24 horas por dia” e continuará investindo em segurança para sua infraestrutura de pesquisa e produto. Após a revisão do comitê, a empresa disse que encontrou maneiras de colaborar com outras empresas do setor de IA em segurança, inclusive desenvolvendo um Centro de Compartilhamento e Análise de Informações para relatar inteligência de ameaças e informações de cibersegurança.
Em fevereiro, a OpenAI disse que encontrou e desativou contas da OpenAI pertencentes a “cinco atores maliciosos afiliados a estados” usando ferramentas de IA, incluindo ChatGPT, para realizar ciberataques.
Esses atores geralmente buscavam usar os serviços da OpenAI para consultar informações de código aberto, traduzir, encontrar erros de codificação e executar tarefas básicas de codificação, disse a OpenAI em comunicado. A OpenAI disse que suas “descobertas mostram que nossos modelos oferecem apenas capacidades limitadas e incrementais para tarefas maliciosas de cibersegurança.”
“Sendo Transparente Sobre Nosso Trabalho”
Embora tenha lançado cartões de sistema detalhando as capacidades e riscos de seus últimos modelos, incluindo para o GPT-4o e o1-preview, a OpenAI disse que planeja encontrar mais maneiras de compartilhar e explicar seu trabalho em torno da segurança da IA.
A startup disse que desenvolveu novas medidas de treinamento de segurança para as habilidades de raciocínio do o1-preview, acrescentando que os modelos foram treinados “para refinar seu processo de pensamento, tentar diferentes estratégias e reconhecer seus erros”. Por exemplo, em um dos “testes mais difíceis de fugas de prisões” da OpenAI, o1-preview teve uma pontuação mais alta do que o GPT-4.
“Colaborando com Organizações Externas”
A OpenAI disse que deseja que mais avaliações de segurança de seus modelos sejam feitas por grupos independentes, acrescentando que já está colaborando com organizações e laboratórios de segurança de terceiros não afiliados ao governo. A startup também está trabalhando com os Institutos de Segurança de IA nos EUA e no Reino Unido em pesquisa e padronização.
Em agosto, a OpenAI e a Anthropic assinaram um acordo com o governo dos EUA para permitir o acesso a novos modelos antes e depois do lançamento público.
“Unificando Nossos Frameworks de Segurança para Desenvolvimento e Monitoramento de Modelos”
À medida que seus modelos se tornam mais complexos (por exemplo, afirma que seu novo modelo pode “pensar”), a OpenAI disse que está construindo sobre suas práticas anteriores para o lançamento de modelos para o público e tem como objetivo ter um framework integrado de segurança estabelecido. O comitê tem o poder de aprovar as avaliações de risco que a OpenAI usa para determinar se pode lançar seus modelos.
Helen Toner, uma das ex-membros do conselho da OpenAI que esteve envolvida na demissão de Altman, afirmou que uma de suas principais preocupações com o líder foi sua desinformação ao conselho “em várias ocasiões” sobre como a empresa estava lidando com seus procedimentos de segurança. Toner renunciou ao conselho após o retorno de Altman como diretor-executivo.
