A equipe de Superalinhamento da OpenAI, encarregada de controlar o perigo existencial de um sistema de IA super-humana, foi supostamente desativada, de acordo com o Wired na sexta-feira. A notícia vem apenas alguns dias após os fundadores da equipe, Ilya Sutskever e Jan Leike, saírem simultaneamente da empresa.
O Wired relata que a equipe de Superalinhamento da OpenAI, lançada pela primeira vez em julho de 2023 para evitar que sistemas de AI super-humanos do futuro saiam de controle, não existe mais. O relatório afirma que o trabalho do grupo será absorvido nos outros esforços de pesquisa da OpenAI. A pesquisa sobre os riscos associados a modelos de IA mais poderosos agora será liderada pelo cofundador da OpenAI, John Schulman, de acordo com o Wired. Sutskever e Leike eram alguns dos principais cientistas da OpenAI focados em riscos de IA.
Leike postou um longo tópico no X na sexta-feira, explicando vagamente por que ele deixou a OpenAI. Ele diz que tem lutado com a liderança da OpenAI sobre os valores fundamentais há algum tempo, mas atingiu um ponto de ruptura esta semana. Leike destacou que a equipe de Superalinhamento vinha “lutando contra o vento”, tendo dificuldade para obter recursos computacionais suficientes para pesquisas cruciais. Ele acredita que a OpenAI precisa se concentrar mais em segurança, proteção e alinhamento.
A equipe de imprensa da OpenAI nos direcionou ao tweet de Sam Altman quando perguntamos se a equipe de Superalinhamento havia sido desativada. Altman diz que terá um post mais longo nos próximos dias e a OpenAI tem “muito mais a fazer”.
Posteriormente, um porta-voz da OpenAI esclareceu que o “Superalinhamento agora será incorporado de forma mais profunda em toda a pesquisa, o que nos ajudará a alcançar melhor nossos objetivos de Superalinhamento”. A empresa diz que essa integração começou “semanas atrás” e, eventualmente, moverá os membros da equipe do Superalinhamento e seus projetos para outras equipes.
“Atualmente, não temos uma solução para orientar ou controlar uma IA potencialmente superinteligente e impedir que ela se torne maligna”, disse a equipe de Superalinhamento em um post no blog da OpenAI quando foi lançada em julho. “Mas os humanos não serão capazes de supervisionar de forma confiável sistemas de IA muito mais inteligentes do que nós, e assim nossas técnicas de alinhamento atuais não escalarão para a superinteligência. Precisamos de novas descobertas científicas e técnicas.”
Agora não está claro se a mesma atenção será direcionada para essas descobertas técnicas. Sem dúvida, existem outras equipes na OpenAI focadas em segurança. A equipe de Schulman, que está absorvendo as responsabilidades do Superalinhamento, é atualmente responsável pelo ajuste fino de modelos de IA após o treinamento. No entanto, o Superalinhamento se concentrou especificamente nos resultados mais severos de uma IA maligna. Como o Gizmodo observou ontem, vários dos defensores mais vocais da segurança de IA da OpenAI saíram ou foram demitidos nos últimos meses.
Mais cedo este ano, o grupo publicou um importante paper de pesquisa sobre o controle de grandes modelos de IA com modelos menores – considerado um primeiro passo para controlar sistemas de IA superinteligentes. Não está claro quem tomará as próximas medidas nesses projetos na OpenAI.
A startup de IA de Sam Altman começou esta semana revelando o GPT-4 Omni, o mais recente modelo de fronteira da empresa que apresentava respostas de latência ultra baixa que soavam mais humanas do que nunca. Muitos funcionários da OpenAI observaram como seu mais recente modelo de IA estava mais próximo do que nunca de algo da ficção científica, especificamente do filme “Her”.
