Explorando Novos Horizontes Com a Tecnologia APPLE
A OpenAI anunciou na terça-feira que seu próximo modelo de IA, o Astra, é o primeiro a atingir o limite de capacidades cibernéticas consideradas “críticas” pela empresa. A OpenAI planeja lançar publicamente uma versão do Astra em breve, porém disponibilizará suas avançadas capacidades cibernéticas apenas para parceiros selecionados no programa Daybreak Blue de acesso antecipado.
Durante uma reunião com repórteres, os líderes de segurança da OpenAI afirmaram que a empresa concluiu que o Astra alcança as capacidades críticas de cibersegurança descritas em seu modelo de prontidão, que define limites e protocolos para quando seus modelos de IA representam novos níveis de risco. A empresa afirma que um modelo de IA atinge seu limite crítico de cibersegurança quando consegue encontrar e explorar vulnerabilidades desconhecidas em softwares do mundo real de forma independente. Os líderes da OpenAI afirmaram que a empresa seguiu seu procedimento para essa situação, que é interromper o desenvolvimento até que as devidas salvaguardas e medidas de segurança sejam implementadas.
Anteriormente, a OpenAI havia pausado algumas cargas de trabalho de treinamento relacionadas ao desenvolvimento do Astra e de um futuro modelo de IA por várias semanas. Os executivos afirmam que a empresa retomou o trabalho no Astra e no futuro modelo de IA, depois de implementar controles adicionais de segurança. A OpenAI considera que a pausa de várias semanas foi produtiva e agora tem confiança de que pode lançar o Astra de forma ampla de maneira segura.
O anúncio ocorre enquanto o Vale do Silício enfrenta as avançadas capacidades de cibersegurança dos modelos de IA de ponta e tenta garantir aos usuários, legisladores e outras empresas que pode mantê-los sob controle. Em julho, a OpenAI divulgou um incidente no qual agentes que executavam dois de seus modelos exploraram vulnerabilidades em um ambiente de teste isolado, ganhando acesso à internet e hackeando a plataforma de IA de código aberto Hugging Face. (A OpenAI observa que o Astra não foi um dos modelos envolvidos nesse caso).
Outras empresas de IA, como Anthropic e Meta, também divulgaram incidentes semelhantes nas últimas semanas. Na segunda-feira, a Anthropic também afirmou ter pausado algumas cargas de trabalho de treinamento de IA enquanto reforça suas práticas de segurança.
A OpenAI diz que está implementando uma abordagem multi etapas para limitar que usuários comuns acessem as avançadas capacidades cibernéticas do Astra, incluindo um novo “monitor de desalinhamento”. Se alguém pedir ao Astra para ajudá-los a encontrar uma vulnerabilidade em um sistema de software do mundo real, por exemplo, o modelo deve se recusar a responder. A OpenAI também tornou o Astra mais resistente a tentativas de jailbreaking e, em testes, ele se recusou a responder a consultas inseguras em uma taxa significativamente maior do que modelos anteriores.