A equipe Superalignment da OpenAI, encarregada de controlar o perigo existencial de um sistema de IA super-humano, foi supostamente dissolvida, de acordo com o Wired na sexta-feira. A notícia vem apenas alguns dias depois que os fundadores da equipe, Ilya Sutskever e Jan Leike, deixaram simultaneamente a empresa.
O Wired relata que a equipe Superalignment da OpenAI, lançada pela primeira vez em julho de 2023 para evitar que os sistemas de IA super-humanos do futuro se tornem hostis, não existe mais. O relatório afirma que o trabalho do grupo será absorvido pelos outros esforços de pesquisa da OpenAI. A pesquisa sobre os riscos associados a modelos de IA mais poderosos será liderada agora pelo cofundador da OpenAI, John Schulman, de acordo com o Wired. Sutskever e Leike eram alguns dos principais cientistas da OpenAI focados nos riscos da IA.
Leike postou um longo thread no X na sexta-feira explicando vagamente por que deixou a OpenAI. Ele afirma que tem lutado com a liderança da OpenAI sobre os valores principais há algum tempo, mas atingiu um ponto de ruptura nesta semana. Leike observou que a equipe Superalinhamento tem estado “velejando contra o vento”, com dificuldades para obter poder computacional suficiente para pesquisas cruciais. Ele acredita que a OpenAI precisa se concentrar mais em segurança e alinhamento.
A equipe de imprensa da OpenAI nos direcionou para o tweet de Sam Altman quando perguntamos se a equipe Superalignment foi dissolvida. Altman diz que terá um post mais longo nos próximos dias e a OpenAI tem “muito mais a fazer”.
Posteriormente, um porta-voz da OpenAI esclareceu que “Superalignment agora será incorporado mais profundamente em toda a pesquisa, o que nos ajudará a alcançar melhor nossos objetivos de Superalignment.” A empresa diz que essa integração começou “semanas atrás” e, no final, moverá os membros da equipe e os projetos do Superalignment para outras equipes.
“Atualmente, não temos uma solução para direcionar ou controlar uma IA potencialmente superinteligente e impedi-la de se tornar hostil”, disse a equipe Superalignment em um post no blog da OpenAI quando foi lançada em julho. “Mas os humanos não serão capazes de supervisionar de forma confiável os sistemas de IA muito mais inteligentes do que nós, então nossas técnicas de alinhamento atuais não escalarão para super-inteligência. Precisamos de novos avanços científicos e técnicos.”
Agora não está claro se a mesma atenção será dedicada a esses avanços técnicos. Sem dúvida, há outras equipes na OpenAI focadas em segurança. A equipe de Schulman, que está absorvendo as responsabilidades do Superalignment, é atualmente responsável pelo ajuste fino de modelos de IA após o treinamento. No entanto, o Superalignment se concentrava especificamente nos resultados mais graves de uma IA hostil. Como o Gizmodo observou ontem, vários dos defensores mais veementes da segurança da IA na OpenAI resignaram-se ou foram demitidos nos últimos meses.
No início deste ano, o grupo lançou um artigo de pesquisa notável sobre o controle de grandes modelos de IA com modelos menores de IA — considerado um primeiro passo em direção ao controle de sistemas de IA superinteligentes. Não está claro quem dará os próximos passos nesses projetos na OpenAI.
A startup de IA de Sam Altman começou esta semana anunciando o GPT-4 Omni, o modelo mais recente da empresa que apresentava respostas de baixa latência ultra-rápidas que soavam mais humanas do que nunca. Muitos funcionários da OpenAI comentaram como seu modelo de IA mais recente estava mais próximo do que nunca de algo saído da ficção científica, especificamente o filme “Her.”
