Quando Bebida Vira Pesadelo Em Uma Festa
A OpenAI anunciou na terça-feira que seu próximo modelo de IA, chamado Astra, é o primeiro a alcançar o limiar da empresa para o que ela chama de “capacidades críticas” de cibersegurança. A OpenAI diz que planeja lançar publicamente uma versão do Astra “em breve”, mas disponibilizará as capacidades avançadas de cibersegurança do modelo apenas para parceiros selecionados em seu programa de acesso antecipado Daybreak Blue.
Durante uma reunião com repórteres, líderes de segurança da OpenAI afirmaram que a empresa concluiu que o Astra atinge as capacidades críticas de cibersegurança delineadas em seu framework de preparação, o qual estabelece limites e protocolos para quando seus modelos de IA representam novos níveis de risco. A empresa afirma que um modelo de IA atinge seu limiar crítico de cibersegurança quando é capaz de encontrar e explorar independentemente vulnerabilidades previamente desconhecidas em softwares do mundo real. Os líderes da OpenAI disseram que a empresa seguiu seu procedimento para essa situação, que é interromper o desenvolvimento futuro até que salvaguardas e medidas de segurança apropriadas possam ser implementadas.
Anteriormente, a OpenAI disse que interrompeu algumas cargas de trabalho de treinamento relacionadas ao desenvolvimento do Astra e de um futuro modelo de IA por várias semanas. Executivos afirmam que a empresa retomou tal trabalho no Astra e no futuro modelo de IA, após implementar controles adicionais de segurança. A OpenAI afirma que a pausa de várias semanas foi produtiva e que agora está confiante de que pode lançar o Astra de forma ampla de maneira segura.
O anúncio ocorre em meio à preocupação do Vale do Silício com as capacidades avançadas de cibersegurança dos modelos de IA de ponta, e na tentativa de tranquilizar os usuários, legisladores e outras empresas de que pode mantê-los sob controle. Em julho, a OpenAI divulgou um incidente no qual agentes em execução em dois de seus modelos exploraram vulnerabilidades em um ambiente de teste que deveria estar isolado, obtendo acesso à internet e hackeando a plataforma de IA de código aberto Hugging Face. (A OpenAI ressalta que o Astra não foi um dos modelos envolvidos nesse caso.)
Outras empresas de IA, como Anthropic e Meta, divulgaram incidentes semelhantes nas últimas semanas. Na segunda-feira, a Anthropic também disse que pausou algumas cargas de trabalho de treinamento de IA enquanto endurecia suas práticas de segurança.
A OpenAI diz que está implementando uma abordagem de várias etapas para limitar o acesso de usuários comuns às capacidades avançadas de cibersegurança do Astra, incluindo um novo “monitor de desalinhamento”. Se alguém pedir ao Astra para ajudar a encontrar uma brecha em um sistema de software do mundo real, por exemplo, o modelo deve se recusar a responder. A OpenAI afirma também ter tornado o Astra mais resistente a tentativas de jailbreak e, em testes, ele recusou consultas inseguras em uma taxa significativamente maior do que os modelos anteriores.
No entanto, a OpenAI observa em um post em seu blog que seu monitor de desalinhamento pode “eventualmente sinalizar atividades legítimas como possível uso indevido cibernético ou comportamento não autorizado, levando ao seu inadvertido retardamento, pausa ou interrupção”. A OpenAI diz que a barreira pode ser acionada em alguns casos, mesmo quando um usuário está envolvido em atividades que aparentemente não estão relacionadas à segurança cibernética. Quando isso acontece, os usuários do ChatGPT e do Codex podem ser solicitados a revisar a ação do modelo antes de prosseguir, disse a OpenAI.
Os parceiros do programa Daybreak da OpenAI, que inclui provedores de infraestrutura digital como Cisco, Cloudflare e Palo Alto Networks, terão acesso antecipado a uma versão menos restrita do Astra com capacidades cibernéticas mais robustas. O objetivo do programa é garantir que essas empresas possam usar modelos de IA avançados como o Astra para fortalecer suas defesas antes que modelos igualmente capazes sejam amplamente disponibilizados. Os líderes da OpenAI também disseram que a empresa tem trabalhado em estreita colaboração com parceiros governamentais para garantir que eles estejam cientes das habilidades cibernéticas do Astra e possam acessá-las.
O Astra não só é capaz de encontrar vulnerabilidades de software inovadoras e desenvolver maneiras de explorá-las para hacking, mas também é capaz de “encadear” vários exploits juntos, uma técnica usada para penetrar cada vez mais fundo em um sistema alvo e obter acesso que não seria alcançável usando apenas uma vulnerabilidade.