A equipe Superalignment da OpenAI, responsável por controlar o perigo existencial de um sistema de IA super-humano, foi supostamente dissolvida, de acordo com o Wired na sexta-feira. A notícia vem apenas alguns dias após os fundadores da equipe, Ilya Sutskever e Jan Leike, saírem simultaneamente da empresa.
O Wired relata que a equipe Superalignment da OpenAI, lançada pela primeira vez em julho de 2023 para evitar que os sistemas de IA super-humanos do futuro se desvirtuassem, não existe mais. O relatório afirma que o trabalho do grupo será absorvido em outros esforços de pesquisa da OpenAI. A pesquisa sobre os riscos associados a modelos de IA mais poderosos agora estará sob a liderança do cofundador John Schulman, de acordo com o Wired. Sutskever e Leike eram alguns dos principais cientistas da OpenAI focados em riscos de IA.
Leike publicou uma longa thread no X na sexta-feira, explicando vagamente por que saiu da OpenAI. Ele diz que vem lutando com a liderança da OpenAI sobre os valores centrais há algum tempo, mas atingiu um ponto de ruptura esta semana. Leike observou que a equipe Superalignment tem enfrentado dificuldades para obter recursos computacionais suficientes para pesquisas cruciais. Ele acredita que a OpenAI precisa se concentrar mais em segurança e alinhamento.
A equipe de imprensa da OpenAI nos direcionou para o tweet de Sam Altman quando perguntamos se a equipe Superalignment foi dissolvida. Altman diz que terá um post mais longo nos próximos dias e a OpenAI tem “muito mais a fazer.”
Posteriormente, um porta-voz da OpenAI esclareceu que “a Superalignment agora será mais profundamente integrada em toda a pesquisa, o que nos ajudará a alcançar melhor nossos objetivos de Superalignment.” A empresa diz que essa integração começou “semanas atrás” e, no final, moverá os membros da equipe e os projetos da Superalignment para outras equipes.
“Atualmente, não temos uma solução para orientar ou controlar uma IA potencialmente superinteligente e impedir que ela se desvirtue,” disse a equipe Superalignment em um post do blog da OpenAI quando foi lançada em julho. “Mas os humanos não serão capazes de supervisionar de forma confiável os sistemas de IA muito mais inteligentes do que nós, e, portanto, nossas técnicas de alinhamento atuais não escalarão para a superinteligência. Precisamos de novos avanços científicos e técnicos.”
Agora não está claro se a mesma atenção será dada a esses avanços técnicos. Indiscutivelmente, há outras equipes na OpenAI focadas em segurança. A equipe de Schulman, que está absorvendo as responsabilidades da Superalignment, é atualmente responsável por ajustar modelos de IA após o treinamento. No entanto, a Superalignment focava especificamente nos resultados mais graves de uma IA desvirtuada. Como o Gizmodo observou ontem, vários dos mais proeminentes defensores da segurança de IA da OpenAI saíram ou foram demitidos nos últimos meses.
No início deste ano, o grupo lançou uma pesquisa notável sobre como controlar modelos de IA grandes com modelos de IA menores – considerado um primeiro passo para controlar sistemas de IA superinteligentes. Não está claro quem dará os próximos passos nesses projetos na OpenAI.
A startup de IA de Sam Altman começou esta semana divulgando o GPT-4 Omni, o mais recente modelo de fronteira da empresa, que apresentava respostas com ultrabaixa latência que soavam mais humanas do que nunca. Muitos funcionários da OpenAI comentaram como o último modelo de IA estava mais perto do que nunca de algo saído da ficção científica, especificamente o filme Her.
