A equipe Superalignment da OpenAI, responsável por controlar o perigo existencial de um sistema de IA super-humano, foi supostamente encerrada, de acordo com o Wired na sexta-feira. A notícia vem apenas dias depois que os fundadores da equipe, Ilya Sutskever e Jan Leike, saíram simultaneamente da empresa.
O Wired relata que a equipe Superalignment da OpenAI, lançada pela primeira vez em julho de 2023 para evitar que sistemas de IA super-humanos do futuro saiam do controle, não existe mais. O relatório afirma que o trabalho do grupo será absorvido pelos outros esforços de pesquisa da OpenAI. A pesquisa sobre os riscos associados a modelos de IA mais poderosos agora será liderada pelo cofundador da OpenAI, John Schulman, de acordo com o Wired. Sutskever e Leike eram alguns dos principais cientistas da OpenAI focados em riscos de IA.
Leike postou um longo fio no X na sexta-feira explicando vagamente por que saiu da OpenAI. Ele diz que vem lutando com a liderança da OpenAI sobre valores centrais há algum tempo, mas chegou a um ponto de ruptura nesta semana. Leike observou que a equipe Superaligment tem estado “lutando contra o vento”, tendo dificuldades para obter recursos computacionais suficientes para pesquisas cruciais. Ele acredita que a OpenAI precisa se concentrar mais em segurança e alinhamento.
A equipe de imprensa da OpenAI nos direcionou para o tweet de Sam Altman quando perguntado se a equipe Superalignment foi desmantelada. Altman diz que terá um post mais longo nos próximos dias e a OpenAI tem “muito mais a fazer”.
Posteriormente, um porta-voz da OpenAI esclareceu que “o Superalignment agora será mais profundamente integrado em toda a pesquisa, o que nos ajudará a alcançar melhor nossos objetivos de Superalignment”. A empresa diz que essa integração começou “semanas atrás” e, eventualmente, moverá os membros e projetos da equipe Superalignment para outras equipes.
“Atualmente, não temos uma solução para guiar ou controlar uma IA potencialmente superinteligente e impedir que ela saia do controle”, disse a equipe Superalignment em um post no blog da OpenAI quando foi lançada em julho. “Mas os humanos não serão capazes de supervisionar de forma confiável sistemas de IA muito mais inteligentes do que nós, e, portanto, nossas técnicas atuais de alinhamento não escalarão até a superinteligência. Precisamos de novas descobertas científicas e técnicas.”
Agora não está claro se a mesma atenção será dada a essas descobertas técnicas. Sem dúvida, existem outras equipes na OpenAI focadas na segurança. A equipe de Schulman, que está absorvendo as responsabilidades da Superalignment, é atualmente responsável pelo ajuste fino de modelos de IA após o treinamento. No entanto, a Superalignment se concentrou especificamente nos resultados mais graves de uma IA descontrolada. Como o Gizmodo observou ontem, vários dos defensores mais expressivos da segurança da IA da OpenAI se demitiram ou foram demitidos nos últimos meses.
No início deste ano, o grupo lançou um artigo de pesquisa notável sobre o controle de grandes modelos de IA com modelos menores de IA – considerado um primeiro passo para controlar sistemas de IA superinteligentes. Não está claro quem dará os próximos passos nesses projetos na OpenAI.
A startup de IA de Sam Altman começou esta semana revelando o GPT-4 Omni, o mais recente modelo de ponta da empresa que apresentava respostas ultra-rápidas com latência ultra baixa que soavam mais humanas do que nunca. Muitos funcionários da OpenAI observaram como seu último modelo de IA estava mais próximo do que nunca de algo da ficção científica, especificamente do filme “Her”.
