Nesta história
Três meses após a sua formação, o novo Comitê de Segurança da OpenAI agora é um comitê independente de supervisão do conselho, e fez suas recomendações iniciais de segurança e proteção para os projetos da OpenAI, de acordo com uma postagem no site da empresa.
Zico Kolter, diretor do departamento de aprendizado de máquina da Escola de Ciência da Computação da Carnegie Mellon, presidirá o conselho, disse a OpenAI. O conselho também inclui o co-fundador e CEO do Quora, Adam D’Angelo, o general reformado do Exército dos EUA, Paul Nakasone, e Nicole Seligman, ex-vice-presidente executiva da Sony Corporation (SONY).
A OpenAI anunciou o Comitê de Segurança em maio, após a dissolução de sua equipe Superalignment, dedicada ao controle dos perigos existenciais da IA. Ilya Sutskever e Jan Leike, os co-líderes da equipe Superalignment, renunciaram da empresa antes de sua dissolução.
O comitê revisou os critérios de segurança da OpenAI e os resultados das avaliações de segurança para seus mais novos modelos de IA que podem “raciocinar”, o1-preview, antes de seu lançamento, disse a empresa. Após uma revisão de 90 dias das medidas e salvaguardas de segurança da OpenAI, o comitê fez recomendações em cinco áreas-chave que a empresa diz que implementará.
Veja o que o novo comitê de supervisão do conselho independente da OpenAI está recomendando que a startup de IA faça enquanto continua a desenvolver e implantar seus modelos.
“Estabelecendo Governança Independente para Segurança e Proteção”
Os líderes da OpenAI terão que informar o comitê sobre as avaliações de segurança de seus principais lançamentos de modelo, como fizeram com o o1-preview. O comitê também poderá supervisionar os lançamentos de modelos da OpenAI ao lado do conselho completo, o que significa que pode atrasar o lançamento de um modelo até que as preocupações de segurança sejam resolvidas.
Esta recomendação é provavelmente uma tentativa de restaurar a confiança na governança da empresa após o conselho da OpenAI tentar derrubar o CEO Sam Altman em novembro. Altman foi destituído, disse o conselho, porque “não foi consistentemente franco em suas comunicações com o conselho”. Apesar da falta de transparência sobre por que exatamente ele foi demitido, Altman foi reinstalado dias depois.
“Reforçando Medidas de Segurança”
A OpenAI disse que adicionará mais funcionários para equipes de operações de segurança “24 horas por dia” e continuará investindo em segurança para sua infraestrutura de pesquisa e produtos. Após a revisão do comitê, a empresa disse que encontrou maneiras de colaborar com outras empresas da indústria de IA em segurança, inclusive desenvolvendo um Centro de Compartilhamento e Análise de Informações para relatar inteligência de ameaças e informações de cibersegurança.
Em fevereiro, a OpenAI disse que encontrou e desligou contas pertencentes a “cinco atores maliciosos afiliados ao estado” que usavam ferramentas de IA, incluindo ChatGPT, para realizar ciberataques.
“Ser Transparente Sobre o Nosso Trabalho”
Embora tenha lançado cartões de sistema detalhando as capacidades e riscos de seus últimos modelos, incluindo para GPT-4o e o1-preview, a OpenAI disse que planeja encontrar mais maneiras de compartilhar e explicar seu trabalho em torno da segurança da IA.
A startup disse ter desenvolvido novas medidas de treinamento de segurança para as capacidades de raciocínio do o1-preview, acrescentando que os modelos foram treinados “para refinar seu processo de pensamento, experimentar diferentes estratégias e reconhecer seus erros”. Por exemplo, em um dos “testes de violação de prisão mais difíceis” da OpenAI, o o1-preview obteve uma pontuação mais alta que o GPT-4.
“Colaborar com Organizações Externas”
A OpenAI disse que deseja mais avaliações de segurança de seus modelos feitas por grupos independentes, acrescentando que já está colaborando com organizações de segurança terceirizadas e laboratórios que não são afiliados ao governo. A startup também está trabalhando com os Institutos de Segurança de IA nos EUA e no Reino Unido em pesquisas e padrões.
Em agosto, a OpenAI e a Anthropic chegaram a um acordo com o governo dos EUA para permitir o acesso a novos modelos antes e após o lançamento público.
“Unificando Nossos Arcabouços de Segurança para Desenvolvimento e Monitoramento de Modelos”
À medida que seus modelos se tornam mais complexos (por exemplo, alega-se que seu novo modelo pode “pensar”), a OpenAI disse que está aprimorando suas práticas anteriores de lançamento de modelos para o público e tem como objetivo ter um arcabouço integrado de segurança e proteção estabelecido. O comitê tem o poder de aprovar as avaliações de risco que a OpenAI usa para determinar se pode lançar seus modelos.
Helen Toner, uma das ex-membros do conselho da OpenAI que esteve envolvida na demissão de Altman, disse que uma de suas principais preocupações com o líder era a sua omissão em relação aos procedimentos de segurança da empresa em várias ocasiões. Toner renunciou ao conselho depois que Altman voltou como CEO.
