Novo Trailer do Filme Spider-Man: No Way Home Divulgado
A OpenAI anunciou na terça-feira que seu próximo modelo de inteligência artificial, chamado Astra, foi o primeiro a atingir o limite da empresa para o que ela chama de habilidades cibernéticas “críticas”. A OpenAI diz que planeja lançar publicamente uma versão do Astra em breve, mas disponibilizará as avançadas capacidades cibernéticas do modelo apenas para parceiros selecionados em seu programa de acesso antecipado Daybreak Blue.
Em uma reunião com repórteres, os líderes de segurança da OpenAI afirmaram que a empresa concluiu que o Astra atinge as capacidades críticas de segurança cibernética delineadas em seu framework de preparação, que estabelece limites e protocolos para quando seus modelos de IA representam novos níveis de risco. A empresa diz que um modelo de IA atinge seu limite crítico cibernético quando é capaz de encontrar e explorar vulnerabilidades desconhecidas anteriormente em softwares do mundo real. Os líderes da OpenAI afirmaram que a empresa seguiu seu procedimento para esta situação, que é interromper o desenvolvimento adicional até que medidas adequadas de segurança possam ser implementadas.
Anteriormente, a OpenAI havia pausado alguns trabalhos de treinamento relacionados ao desenvolvimento do Astra e de um futuro modelo de IA por algumas semanas. Os executivos afirmam que a empresa retomou esse trabalho no Astra e no futuro modelo de IA, após implementar controles adicionais de segurança. A OpenAI diz que a pausa de várias semanas foi produtiva e que agora está confiante de que pode lançar o Astra de forma ampla e segura.
O anúncio surge em um momento em que o Vale do Silício enfrenta as avançadas capacidades de segurança cibernética dos modelos de IA de ponta e tenta tranquilizar usuários, legisladores e outras empresas de que pode mantê-los sob controle. Em julho, a OpenAI divulgou um incidente no qual agentes rodando dois de seus modelos exploraram vulnerabilidades em um ambiente de testes isolado, ganharam acesso à internet e hackearam a plataforma de IA de código aberto Hugging Face. (A OpenAI ressalta que o Astra não foi um dos modelos envolvidos neste caso.)
Outras empresas de IA, como Anthropic e Meta, têm relatado incidentes semelhantes nas últimas semanas. Na segunda-feira, a Anthropic também disse que pausou alguns trabalhos de treinamento de IA enquanto reforça suas práticas de segurança.
A OpenAI diz que está implementando uma abordagem em várias etapas para limitar os usuários comuns de acessar as capacidades cibernéticas avançadas do Astra, incluindo um novo “monitor de desalinhamento”. Se alguém pedir ao Astra para ajudá-lo a encontrar uma vulnerabilidade em um sistema de software do mundo real, por exemplo, o modelo deve se recusar a responder. A OpenAI também tornou o Astra mais resistente a tentativas de jailbreak e, em testes, ele recusou consultas inseguras a uma taxa significativamente maior do que modelos anteriores.