A equipe de Superalinhamento da OpenAI, encarregada de controlar o perigo existencial de um sistema de IA super-humano, foi supostamente desfeita conforme informou a Wired na sexta-feira. A notícia vem poucos dias depois que os fundadores da equipe, Ilya Sutskever e Jan Leike, saíram da empresa simultaneamente.
A Wired relata que a equipe de Superalinhamento da OpenAI, lançada pela primeira vez em julho de 2023 para prevenir que sistemas de IA super-humanos futuros se tornem descontrolados, não existe mais. Segundo o relatório, o trabalho do grupo será absorvido pelos outros esforços de pesquisa da OpenAI. A pesquisa sobre os riscos associados a modelos de IA mais poderosos agora será liderada pelo co-fundador da OpenAI, John Schulman, de acordo com a Wired. Sutskever e Leike eram alguns dos principais cientistas da OpenAI focados em riscos de IA.
Leike postou uma longa thread no X na sexta-feira explicando vagamente por que ele deixou a OpenAI. Ele diz que estava lutando com a liderança da OpenAI sobre valores fundamentais há algum tempo, mas atingiu um ponto de ruptura esta semana. Leike observou que a equipe de Superalinhamento estava “navegando contra o vento”, lutando para obter recursos computacionais suficientes para pesquisas cruciais. Ele acredita que a OpenAI precisa se concentrar mais em segurança e alinhamento.
A equipe de comunicações da OpenAI nos direcionou para um tweet de Sam Altman quando questionados se a equipe de Superalinhamento foi desfeita. Altman diz que terá um post mais longo nos próximos dias e a OpenAI tem “muito mais a fazer”. O tweet não responde realmente à nossa pergunta.
“Atualmente, não temos uma solução para direcionar ou controlar uma IA potencialmente superinteligente, e impedir que ela se torne descontrolada”, disse a equipe de Superalinhamento em um post no blog da OpenAI quando lançaram em julho. “Mas os humanos não poderão supervisionar com confiabilidade sistemas de IA muito mais inteligentes do que nós, e então nossas técnicas atuais de alinhamento não escalarão para superinteligência. Precisamos de novas descobertas científicas e técnicas.”
Agora não está claro se a mesma atenção será dada a essas novas descobertas técnicas. Sem dúvida, existem outras equipes na OpenAI focadas em segurança. A equipe de Schulman, que supostamente está absorvendo as responsabilidades do Superalinhamento, é atualmente responsável por ajustar modelos de IA após o treinamento. No entanto, o Superalinhamento se concentrou especificamente nos resultados mais graves de uma IA descontrolada. Como o Gizmodo observou ontem, vários dos defensores de segurança de IA mais vocal da OpenAI saíram ou foram demitidos nos últimos meses.
No início deste ano, o grupo lançou um artigo de pesquisa notável sobre o controle de grandes modelos de IA com modelos de IA menores – considerado um primeiro passo para controlar sistemas de IA superinteligentes. Não está claro quem dará os próximos passos nesses projetos na OpenAI.
A startup de IA de Sam Altman começou esta semana revelando o GPT-4 Omni, o mais recente modelo de fronteira da empresa que apresentava respostas de ultra-baixa latência que soavam mais humanas do que nunca. Muitos colaboradores da OpenAI comentaram como o seu último modelo de IA estava mais próximo do que nunca de algo de ficção científica, especificamente do filme “Her”.
