Dicas De Estilo Para Looks De Trabalho
A OpenAI anunciou na terça-feira que seu próximo modelo de IA, Astra, é o primeiro a atingir o limiar da empresa para o que chama de capacidades cibernéticas “críticas”. A OpenAI afirma que planeja lançar publicamente uma versão do Astra “em breve”, mas disponibilizará as capacidades cibernéticas avançadas do modelo apenas para parceiros selecionados em seu programa de acesso antecipado Daybreak Blue no lançamento.
Em uma reunião com repórteres, líderes de segurança da OpenAI afirmaram que a empresa concluiu que o Astra atinge as capacidades críticas de cibersegurança delineadas em seu framework de prontidão, que estabelece limites e protocolos para quando seus modelos de IA representam novos níveis de risco. A empresa diz que um modelo de IA atinge seu limiar crítico de ciberquando ele pode encontrar e explorar independentemente vulnerabilidades previamente desconhecidas em software do mundo real. Os líderes da OpenAI disseram que a empresa seguiu seu procedimento para essa situação, que é interromper o desenvolvimento adicional até que salvaguardas e medidas de segurança adequadas possam ser implementadas.
A OpenAI anteriormente disse que pausou algumas cargas de trabalho de treinamento relacionadas ao desenvolvimento do Astra e de um futuro modelo de IA por várias semanas. Executivos afirmaram que a empresa agora retomou o trabalho no Astra e no futuro modelo de IA, após a implementação de controles adicionais de segurança. A OpenAI diz que a pausa de várias semanas foi produtiva e agora confia que pode lançar o Astra de forma ampla e segura.
O anúncio ocorre enquanto o Vale do Silício lida com as avançadas capacidades de cibersegurança de modelos de IA de ponta e tenta assegurar aos usuários, legisladores e outras empresas que pode mantê-los sob controle. Em julho, a OpenAI divulgou um incidente no qual agentes que executavam dois de seus modelos exploraram vulnerabilidades em um ambiente de teste isolado, ganharam acesso à internet e hackearam a plataforma de IA de código aberto Hugging Face. (A OpenAI observa que o Astra não foi um dos modelos envolvidos neste caso.)
Outras empresas de IA, como Anthropic e Meta, divulgaram incidentes semelhantes nas últimas semanas. Na segunda-feira, a Anthropic também disse que pausou algumas cargas de trabalho de treinamento de IA enquanto fortalece suas práticas de segurança.
A OpenAI diz que está implementando uma abordagem em várias etapas para limitar que usuários comuns acessem as capacidades cibernéticas avançadas do Astra, incluindo um novo “monitor de desalinhamento”. Se alguém pedir ao Astra para ajudá-lo a encontrar uma vulnerabilidade em um sistema de software do mundo real, por exemplo, o modelo deve se recusar a responder. A OpenAI afirma também ter tornado o Astra mais resistente a tentativas de jailbreaking e, em testes, rejeitou consultas inseguras a uma taxa significativamente mais alta do que modelos anteriores.