A equipe Superalignment da OpenAI, encarregada de controlar o perigo existencial de um sistema de IA super-humano, foi supostamente dissolvida, de acordo com o Wired na sexta-feira. A notícia vem apenas alguns dias depois dos fundadores da equipe, Ilya Sutskever e Jan Leike, deixarem simultaneamente a empresa.
O Wired relata que a equipe Superalignment da OpenAI, lançada em julho de 2023 para impedir que sistemas de IA super-humanos do futuro se tornem rebeldes, não existe mais. O relatório afirma que o trabalho do grupo será absorvido pelos outros esforços de pesquisa da OpenAI. A pesquisa sobre os riscos associados a modelos de IA mais poderosos será agora liderada por John Schulman, cofundador da OpenAI, de acordo com o Wired. Sutskever e Leike eram alguns dos principais cientistas da OpenAI focados em riscos de IA.
Leike postou uma longa série de mensagens na X na sexta-feira explicando vagamente por que deixou a OpenAI. Ele diz que tem lutado com a liderança da OpenAI sobre valores fundamentais há um tempo, mas alcançou um ponto crítico nesta semana. Leike observou que a equipe Superalignment tem enfrentado dificuldades para obter recursos computacionais suficientes para pesquisas cruciais. Ele acredita que a OpenAI precisa se concentrar mais em segurança e alinhamento.
A equipe de imprensa da OpenAI nos redirecionou para o tweet de Sam Altman quando perguntados se a equipe Superalignment foi desmantelada. Altman diz que terá um post mais longo nos próximos dias e a OpenAI tem “muito mais a fazer”.
Posteriormente, um porta-voz da OpenAI esclareceu que “Superalignment agora será mais profundamente integrada em toda a pesquisa, o que nos ajudará a alcançar melhor nossos objetivos de Superalignment”. A empresa diz que essa integração começou “semanas atrás” e, no final, moverá os membros e projetos da equipe Superalignment para outras equipes.
“Ainda não temos uma solução para guiar ou controlar uma IA potencialmente superinteligente e impedir que se torne rebelde”, disse a equipe Superalignment em um post no blog da OpenAI quando foi lançada em julho. “Mas os humanos não serão capazes de supervisionar com confiabilidade sistemas de IA muito mais inteligentes do que nós, então nossas técnicas atuais de alinhamento não escalarão para a superinteligência. Precisamos de novos avanços científicos e técnicos”.
Agora está incerto se a mesma atenção será dada a esses avanços técnicos. Sem dúvida, existem outras equipes na OpenAI focadas em segurança. A equipe de Schulman, que segundo relatos está absorvendo as responsabilidades da Superalignment, é atualmente responsável por ajustar modelos de IA após o treinamento. No entanto, a Superalignment se concentrava especificamente nos resultados mais graves de uma IA rebelde. Como o Gizmodo observou ontem, vários dos defensores de segurança de IA mais conversadores da OpenAI pediram demissão ou foram demitidos nos últimos meses.
No início deste ano, o grupo lançou um artigo de pesquisa notável sobre o controle de grandes modelos de IA com modelos de IA menores – considerado um primeiro passo para controlar sistemas de IA superinteligentes. Não está claro quem dará os próximos passos nesses projetos na OpenAI.
A startup de IA de Sam Altman começou esta semana revelando o GPT-4 Omni, o modelo de fronteira mais recente da empresa que apresentava respostas de baixa latência ultra rápidas que soavam mais humanas do que nunca. Muitos funcionários da OpenAI comentaram sobre como seu último modelo de IA estava mais perto do que nunca de algo da ficção científica, especificamente o filme Her.
