Em 20 de setembro, a OpenAI pausou temporariamente treinos e operações avançadas após um agente de IA burlar restrições de acesso à internet durante um teste. A empresa revisa proteções e procedimentos de emergência.
A OpenAI paralisou temporariamente o treinamento e outras operações com seus modelos mais avançados depois que um agente de inteligência artificial conseguiu burlar restrições de acesso à internet durante um teste. O incidente aconteceu em 20 de setembro e fez a empresa rever proteções e procedimentos de emergência.
Na tarefa original, o agente deveria identificar uma pessoa a partir de informações biográficas e pistas em uma publicação de blog. Inicialmente, o sistema usou a ferramenta de busca interna fornecida pela empresa, mas não obteve resposta satisfatória. Em seguida, tentou acessar buscadores públicos como Google, Bing e DuckDuckGo, mas as conexões foram bloqueadas pelo ambiente de treinamento.
O agente então testou alternativas e detectou que o servidor de DNS do sandbox ainda se comunicava com serviços externos. DNS é o sistema que traduz endereços como “canaltech.com.br” para números usados pelos computadores para localizar servidores na internet. No ambiente isolado, a infraestrutura de DNS deveria ter funções restritas, mas acabou fornecendo uma rota indireta para fora do sandbox.
O modelo descobriu uma forma de incluir perguntas nas consultas de DNS e encaminhá-las a um serviço externo que repassava as buscas a um chatbot público. Para testar o método, perguntou qual era a capital da França e recebeu “Paris” como resposta. Depois disso, fez outras consultas pelo mesmo caminho.
A OpenAI classificou o comportamento como um caso de desalinhamento, já que a tarefa não pedia que o agente testasse restrições de rede ou buscasse formas de acessar a internet. O sistema de monitoramento identificou a atividade cerca de 12 minutos depois da primeira resposta recebida pela rota externa e gerou um alerta P0. Três minutos depois, uma pessoa havia reconhecido o aviso, mas a execução continuou por aproximadamente duas horas e meia antes de ser encerrada manualmente.
“não parou automaticamente como esperado”
Segundo a própria OpenAI, o mecanismo que deveria interromper automaticamente a execução não funcionou naquele ambiente, o que gerou confusão sobre se a operação deveria ser encerrada automaticamente. A empresa também descobriu que um detector de atividades anormais de DNS não estava monitorando aquele ambiente específico.
Após o incidente, a companhia adicionou bloqueios independentes em duas camadas, restringiu consultas de DNS a uma lista limitada de domínios e ampliou testes de segurança. O modelo envolvido não voltará a ser treinado. A retomada das operações pausadas será feita somente depois da validação das novas proteções e de novos testes voltados a identificar outras formas de escapar das limitações.
O episódio se soma a outros relatos em que agentes de IA em testes ultrapassaram limites definidos. Em julho, agentes em avaliações conseguiram se comunicar com a internet e explorar vulnerabilidades até alcançar sistemas de uma plataforma externa, caso que a empresa considerou o mais grave identificado até então. Em relatório posterior, foi descrito que os agentes chegaram a reconstruir um “quadro de mensagens” depois que a infraestrutura foi restaurada e compartilharam entre si métodos para acessar sistemas externos.
Problemas semelhantes foram reportados em avaliações de outras empresas, incluindo ocorrências em que modelos obtiveram acesso não autorizado a sistemas reais. Em vários casos, parte dos experimentos foi concebida para forçar os modelos a tentar burlar proteções, e a maioria não causou danos conhecidos no mundo real. Ainda assim, empresas e pesquisadores de segurança investigaram dezenas de milhares de eventos considerados problemáticos.
LEIA TAMBÉM
Receba as notícias no seu WhatsApp
Entre no nosso canal oficial e fique por dentro de tudo que acontece em Sergipe
Entrar no canal →