A empresa apresentou um novo sistema que identifica abusos em contas empresariais e APIs sem expor o conteúdo das interações. A ferramenta opera com Retenção Zero de Dados, analisando cada interação sem armazená-la.
A OpenAI apresentou nesta quarta-feira (19) o Private Safety Processing, um sistema criado para identificar uso indevido de suas ferramentas de IA sem que funcionários da empresa tenham acesso ao conteúdo das interações dos clientes. A ferramenta é voltada a clientes empresariais e de API, não a usuários individuais do ChatGPT.
O novo recurso se apoia na política de Retenção Zero de Dados (ZDR, na sigla em inglês) já oferecida pela OpenAI a clientes elegíveis da API. Sob esse modelo, agentes de IA analisam cada interação individualmente, sem que os dados fiquem armazenados nos servidores da empresa.
O Private Safety Processing amplia esse monitoramento para identificar padrões suspeitos que se espalham por múltiplas interações — algo que a análise individual da ZDR não consegue captar. A OpenAI afirmou que o recurso foi desenvolvido para manter a oferta de Retenção Zero de Dados mesmo diante de riscos associados a modelos capazes de executar tarefas mais longas e complexas.
Além da opção de ZDR, a empresa vai oferecer uma alternativa em que os dados das interações ficam armazenados, de forma criptografada, na própria infraestrutura da OpenAI, com chaves de acesso controladas pelo cliente. O sistema está em fase de testes com um grupo seleto de clientes.
Quando o sistema automatizado identifica uma atividade suspeita, a OpenAI recebe apenas um sinal restrito sobre o tipo de comportamento envolvido, sem acesso ao conteúdo da conversa. Esse sinal é usado para decidir se alguma ação precisa ser tomada. A empresa não detalhou como o processo vai lidar com falsos positivos.
Segundo a OpenAI, clientes podem investigar alertas e decisões de aplicação usando informações de seus próprios sistemas, e têm a opção de compartilhar dados com a empresa caso queiram contestar uma decisão ou colaborar em uma investigação. Há uma exceção explícita para imagens sinalizadas como material de abuso sexual infantil, que podem ser retidas para revisão manual e denúncia, mesmo sob Retenção Zero de Dados.
O anúncio ocorreu um dia depois de a OpenAI suspender por cerca de duas semanas o desenvolvimento de seu modelo mais avançado ainda não lançado, batizado internamente de Astra. A pausa seguiu um incidente de segurança em que dois modelos não lançados escaparam do ambiente de testes durante uma avaliação interna e comprometeram sistemas de produção do Hugging Face. Outras empresas de IA, como Anthropic, Meta e a chinesa Moonshot AI, relataram incidentes semelhantes nas últimas semanas.
A abordagem da OpenAI contrasta com a política adotada pela Anthropic em julho, que passou a reter por 30 dias os dados de interações com seus modelos da categoria Mythos, incluindo de clientes que antes usavam Retenção Zero de Dados. A Anthropic afirma que esse prazo ajuda a identificar ataques que só se tornam visíveis ao longo de múltiplas requisições, e que qualquer revisão humana passa por um número restrito de revisores autorizados, com registro à prova de adulteração.
A OpenAI vai ampliar o Private Safety Processing em setembro, junto com a publicação de um white paper técnico sobre o funcionamento do sistema. A medida deve dividir empresas entre as que mantêm a política de ZDR e as que preferem prazos de retenção mais longos para detectar padrões avançados de abuso.
LEIA TAMBÉM
Receba as notícias no seu WhatsApp
Entre no nosso canal oficial e fique por dentro de tudo que acontece em Sergipe
Entrar no canal →