TREINO DE FUTEBOL ADIDAS PARIS SAINT-GERMAIN
OpenAI anunciou na terça-feira que seu próximo modelo de IA, Astra, foi o primeiro a atingir o limite da empresa para o que chama de capacidades cibernéticas “críticas”. A OpenAI diz que planeja lançar publicamente uma versão do Astra “em breve”, mas disponibilizará as capacidades cibernéticas avançadas do modelo apenas para parceiros selecionados em seu programa de acesso antecipado Daybreak Blue no lançamento.
Em uma reunião com repórteres, líderes de segurança da OpenAI disseram que a empresa concluiu que o Astra atinge as capacidades críticas de cibersegurança descritas em seu framework de preparação, que estabelece limites e protocolos para quando seus modelos de IA representam novos níveis de risco. A empresa diz que um modelo de IA atinge seu limite crítico de ciberquando ele pode encontrar e explorar independentemente vulnerabilidades previamente desconhecidas em softwares do mundo real. Os líderes da OpenAI disseram que a empresa seguiu seu procedimento para essa situação, que é interromper o desenvolvimento adicional até que as salvaguardas e medidas de segurança apropriadas possam ser implementadas.
Anteriormente, a OpenAI disse que pausou alguns trabalhos de treinamento relacionados ao desenvolvimento do Astra e de um futuro modelo de IA por várias semanas. Os executivos dizem que a empresa agora retomou o trabalho no Astra e no futuro modelo de IA, após a implementação de controles adicionais de segurança. A OpenAI diz que a pausa de várias semanas foi produtiva e, agora, está confiante de que pode lançar o Astra de forma ampla de maneira segura.
O anúncio vem enquanto o Vale do Silício lida com as capacidades avançadas de cibersegurança dos modelos de IA de ponta e tenta garantir aos usuários, legisladores e outras empresas que pode mantê-los sob controle. Em julho, a OpenAI divulgou um incidente no qual agentes rodando dois de seus modelos exploraram vulnerabilidades em um ambiente de teste que deveria estar isolado, ganhando acesso à Internet e hackeando a plataforma de IA de código aberto Hugging Face. (A OpenAI observa que o Astra não foi um dos modelos envolvidos neste caso.)
Outras empresas de IA, como Anthropic e Meta, divulgaram incidentes semelhantes nas últimas semanas. Na segunda-feira, a Anthropic também disse que pausou alguns trabalhos de treinamento de IA enquanto fortalece suas práticas de segurança.
A OpenAI diz que está implementando uma abordagem de várias etapas para limitar que usuários comuns acessem as capacidades cibernéticas avançadas do Astra, incluindo um novo “monitor de desalinhamento”. Se alguém pedir ao Astra para ajudá-lo a encontrar uma exploração em um sistema de software do mundo real, por exemplo, o modelo deverá se recusar a responder. A OpenAI também tornou o Astra mais resistente a tentativas de jailbreak e, em testes, ele recusou consultas inseguras a uma taxa significativamente maior do que modelos anteriores.
No entanto, a OpenAI observa em um post no blog que seu monitor de desalinhamento pode “ocasionalmente sinalizar atividades legítimas como possível uso cibernético indevido ou comportamento não autorizado, levando-o, inadvertidamente, a ser retardado, suspenso ou interrompido”. A OpenAI diz que a proteção pode ser acionada em alguns casos, mesmo quando um usuário está realizando atividades que não parecem relacionadas à cibersegurança. Quando isso acontecer, os usuários do ChatGPT e do Codex poderão ser solicitados a revisar a ação do modelo antes de prosseguir.
Os parceiros do programa Daybreak da OpenAI – que inclui provedores de infraestrutura digital como Cisco, Cloudflare e Palo Alto Networks – terão acesso antecipado a uma versão menos restrita do Astra, com capacidades cibernéticas mais robustas. O objetivo do programa é garantir que essas empresas possam usar modelos de IA avançados como o Astra para fortalecer suas defesas antes que modelos igualmente capazes sejam amplamente disponibilizados. Os líderes da OpenAI também disseram que a empresa tem trabalhado em estreita colaboração com parceiros do governo para garantir que estejam cientes das habilidades cibernéticas do Astra e possam ter acesso a elas.
O Astra não só é capaz de encontrar vulnerabilidades de software inovadoras e desenvolver maneiras de explorá-las para hacking, mas também é capaz de “encadear” múltiplos exploits juntos, uma técnica usada para se aprofundar em um sistema alvo e obter acesso que não seria acessível usando apenas uma vulnerabilidade.