A equipe Superalignment da OpenAI, encarregada de controlar o perigo existencial de um sistema de IA super-humana, foi supostamente desfeita, de acordo com a Wired na sexta-feira. A notícia vem apenas alguns dias depois que os fundadores da equipe, Ilya Sutskever e Jan Leike, deixaram simultaneamente a empresa.
A Wired relata que a equipe Superalignment da OpenAI, lançada pela primeira vez em julho de 2023 para evitar que os sistemas de IA super-humana do futuro se tornem rebeldes, não existe mais. O relatório afirma que o trabalho do grupo será absorvido nos outros esforços de pesquisa da OpenAI. A pesquisa sobre os riscos associados a modelos de IA mais poderosos será agora liderada pelo cofundador da OpenAI, John Schulman, de acordo com a Wired. Sutskever e Leike eram alguns dos principais cientistas da OpenAI focados em riscos de IA.
Leike postou um longo thread no X na sexta-feira, explicando vagamente por que saiu da OpenAI. Ele diz que tem lutado com a liderança da OpenAI sobre os valores principais há algum tempo, mas atingiu um ponto de ruptura nesta semana. Leike observou que a equipe Superalignment tem estado “lutando contra o vento”, com dificuldades para obter poder computacional suficiente para pesquisas cruciais. Ele acredita que a OpenAI precisa focar mais em segurança e alinhamento.
A equipe de imprensa da OpenAI nos direcionou para o tweet de Sam Altman quando perguntamos se a equipe Superalinement foi desfeita. Altman diz que terá um post mais extenso nos próximos dias e a OpenAI tem “muito mais a fazer”.
Mais tarde, um porta-voz da OpenAI esclareceu que “o Superalignment agora será mais profundamente integrado em toda a pesquisa, o que nos ajudará a alcançar melhor nossos objetivos de Superalignment.” A empresa diz que essa integração começou “semanas atrás” e acabará movendo os membros e projetos da equipe Superalignment para outras equipes.
“Atualmente, não temos uma solução para dirigir ou controlar uma AI potencialmente superinteligente e impedir que ela se torne rebelde,” disse a equipe Superalignment em um post do blog da OpenAI quando foi lançada em julho. “Mas os humanos não conseguirão supervisionar de forma confiável sistemas de IA muito mais inteligentes que nós, e por isso nossas técnicas de alinhamento atuais não escalarão para a superinteligência. Precisamos de novas descobertas científicas e técnicas”.
Agora, não está claro se a mesma atenção será dada a essas descobertas técnicas. Sem dúvida, existem outras equipes na OpenAI focadas em segurança. A equipe de Schulman, que está absorvendo responsabilidades do Superalignment, é atualmente responsável por ajustar modelos de IA após o treinamento. No entanto, o Superalignment focou especificamente nos resultados mais severos de uma IA rebelde.
No início deste ano, o grupo lançou um artigo de pesquisa notável sobre o controle de grandes modelos de IA com modelos de IA menores — considerado um primeiro passo para controlar sistemas de IA superinteligentes. Não está claro quem dará os próximos passos nesses projetos na OpenAI.
A startup de IA de Sam Altman iniciou esta semana ao revelar o GPT-4 Omni, o mais recente modelo de fronteira da empresa, que apresentava respostas ultrarrápidas e com sonoridade mais humana do que nunca. Muitos funcionários da OpenAI comentaram como o mais recente modelo de IA estava mais próximo do que nunca de algo da ficção científica, especificamente o filme “Her”.
