A equipe de Superalignamento da OpenAI, responsável por controlar o perigo existencial de um sistema de IA super-humano, foi supostamente desmantelada, de acordo com o Wired na sexta-feira. A notícia vem apenas dias depois que os fundadores da equipe, Ilya Sutskever e Jan Leike, saíram simultaneamente da empresa.
O Wired relata que a equipe de Superalignamento da OpenAI, lançada em julho de 2023 para evitar que sistemas de IA super-humanos do futuro se tornem rebeldes, não existe mais. O relatório afirma que o trabalho do grupo será absorvido em outros esforços de pesquisa da OpenAI. A pesquisa sobre os riscos associados a modelos de IA mais poderosos agora será liderada pelo cofundador da OpenAI, John Schulman, de acordo com o Wired. Sutskever e Leike eram alguns dos principais cientistas da OpenAI focados em riscos de IA.
Leike fez uma longa publicação no X na sexta-feira, explicando vagamente por que deixou a OpenAI. Ele diz que tem lutado com a liderança da OpenAI sobre valores centrais há algum tempo, mas atingiu um ponto de ruptura esta semana. Leike observou que a equipe de Superalignamento estava “navegando contra o vento”, lutando para obter poder computacional suficiente para pesquisas cruciais. Ele acredita que a OpenAI precisa estar mais focada em segurança, proteção e alinhamento.
A equipe de imprensa da OpenAI nos direcionou para um tweet de Sam Altman quando perguntamos se a equipe de Superalignamento foi desmantelada. Altman diz que terá um post mais longo nos próximos dias e a OpenAI tem “muito mais a fazer”.
Posteriormente, um porta-voz da OpenAI esclareceu que “o Superalignamento agora será mais profundamente incorporado em toda a pesquisa, o que nos ajudará a alcançar melhor nossos objetivos de Superalignment.” A empresa diz que essa integração começou “semanas atrás” e, eventualmente, moverá os membros da equipe e projetos de Superalignamento para outras equipes.
“No momento, não temos uma solução para guiar ou controlar uma IA potencialmente superinteligente e impedir que ela se torne rebelde”, disse a equipe de Superalignamento em um post de blog da OpenAI quando foi lançada em julho. “Mas os humanos não serão capazes de supervisionar AI sistemas muito mais inteligentes do que nós de forma confiável, e, portanto, nossas técnicas atuais de alinhamento não vão escalar para a superinteligência. Precisamos de novos avanços científicos e técnicos.”
Agora está incerto se a mesma atenção será dada a esses avanços técnicos. Sem dúvida, existem outras equipes na OpenAI focadas em segurança. A equipe de Schulman, que está absorvendo as responsabilidades de Superalignamento, é atualmente responsável pelo ajuste fino dos modelos de IA após o treinamento. No entanto, o Superalignamento focava especificamente nos desfechos mais graves de uma IA rebelde. Como o Gizmodo observou ontem, vários dos defensores mais ardorosos da segurança da IA da OpenAI se demitiram ou foram demitidos nos últimos meses.
No início deste ano, o grupo lançou um artigo de pesquisa notável sobre o controle de grandes modelos de IA com modelos menores de IA, considerado um primeiro passo para controlar sistemas de IA superinteligentes. Não está claro quem dará os próximos passos nesses projetos na OpenAI.
A startup de IA de Sam Altman iniciou esta semana revelando o GPT-4 Omni, o modelo de última geração da empresa que apresentava respostas com latência ultra baixa que soam mais humanas do que nunca. Muitos funcionários da OpenAI destacaram como seu último modelo de IA estava mais próximo do que nunca de algo da ficção científica, especificamente o filme Her.
