A equipe Superalignment da OpenAI, encarregada de controlar o perigo existencial de um sistema de inteligência artificial super-humana, foi supostamente desfeita, de acordo com a notícia divulgada na Wired na sexta-feira. A notícia vem apenas alguns dias após os fundadores da equipe, Ilya Sutskever e Jan Leike, deixarem simultaneamente a empresa.
Segundo a Wired, a equipe Superalignment da OpenAI, lançada em julho de 2023 para evitar que sistemas de IA super-humanos do futuro se rebelassem, não existe mais. O relatório afirma que o trabalho do grupo será absorvido em outros esforços de pesquisa da OpenAI. A pesquisa sobre os riscos associados a modelos de IA mais poderosos será liderada agora pelo cofundador da OpenAI, John Schulman, de acordo com a Wired. Sutskever e Leike eram alguns dos principais cientistas da OpenAI focados em riscos de IA.
Leike postou uma longa discussão no X na sexta-feira, explicando vagamente por que saiu da OpenAI. Ele diz que estava em conflito com a liderança da OpenAI sobre os valores básicos há algum tempo, mas atingiu um ponto crítico nesta semana. Leike observou que a equipe da Superaligment estava “velejando contra o vento”, lutando para obter poder de computação suficiente para pesquisa crucial. Ele acredita que a OpenAI precisa estar mais focada em segurança, proteção e alinhamento.
A equipe de imprensa da OpenAI nos direcionou para um tweet de Sam Altman quando questionados se a equipe Superalignment foi desfeita. Altman diz que terá um post mais longo nos próximos dias e que a OpenAI tem “muito mais o que fazer”.
Posteriormente, um porta-voz da OpenAI esclareceu que “a Superalignment agora será mais profundamente incorporada à pesquisa, o que nos ajudará a alcançar melhor nossos objetivos de Superalignment”. A empresa diz que essa integração começou “semanas atrás” e, no final, moverá os membros da equipe de Superalignment e os projetos para outras equipes.
“Atualmente, não temos uma solução para guiar ou controlar uma IA potencialmente superinteligente e impedir que ela se revolte”, disse a equipe Superalignement em um post no blog da OpenAI quando foi lançada em julho. “Mas os humanos não serão capazes de supervisionar de forma confiável sistemas de IA muito mais inteligentes que nós, então nossas técnicas de alinhamento atuais não escalarão para superinteligência. Precisamos de novos avanços científicos e técnicos.”
Agora é incerto se a mesma atenção será dada a esses avanços técnicos. Indubitavelmente, existem outras equipes na OpenAI focadas em segurança. A equipe de Schulman, que supostamente está absorvendo as responsabilidades da Superalinhamento, é atualmente responsável por ajustar modelos de IA após o treinamento. No entanto, o foco da Superalignement era especificamente nos resultados mais graves de uma IA desleixada. Como o Gizmodo observou ontem, vários dos defensores mais veementes da segurança de IA da OpenAI já renunciaram ou foram demitidos nos últimos meses.
No início deste ano, o grupo lançou um artigo de pesquisa notável sobre o controle de grandes modelos de IA com modelos de IA menores, considerado um primeiro passo para controlar sistemas de IA superinteligentes. Não está claro quem dará os próximos passos nesses projetos na OpenAI.
A startup de IA de Sam Altman iniciou esta semana revelando o GPT-4 Omni, o mais recente modelo de fronteira da empresa que apresentava respostas ultra rápidas com latência extremamente baixa, soando mais humanas do que nunca. Muitos funcionários da OpenAI comentaram como seu último modelo de IA estava mais próximo do que nunca de algo da ficção científica, especificamente o filme “Her”.
