Auditoria externa de três semanas na OpenAI aponta falhas no monitoramento de agentes de IA
Pesquisadores da METR e da Redwood Research encontraram lacunas no sistema que vigia agentes de IA da OpenAI. Parte do tráfego não era monitorada, e o relatório completo não é público.
O que aconteceu
Dois pesquisadores da METR e da Redwood Research, organizações que avaliam riscos de IA, passaram três semanas dentro da OpenAI, de 21 de julho a 11 de agosto. Eles auditaram o sistema interno que monitora o comportamento de agentes de IA, ou seja, programas que executam tarefas sozinhos. Tiveram acesso ao código e a documentos internos e entrevistaram cerca de uma dúzia de funcionários. As informações são do site The Decoder, que se baseia em publicações da METR.
A equipe encontrou várias fragilidades:
- Entre 6% e 25% do tráfego interno de agentes da API Responses, vindo de modelos da classe GPT-5.5 ou superiores, não era coberto pelo monitoramento no período. A METR diz que a incerteza dessa estimativa é grande, para mais ou para menos.
- Cerca de 10% do tráfego do Codex que deveria ser vigiado ficou de fora entre maio e julho, por uma falha no tratamento dos chamados eventos de compactação, que são resumos de contexto. A OpenAI já havia descoberto o erro por conta própria e o corrigiu durante a auditoria.
- Nesse período, os agentes podiam adiar a supervisão. O sistema só era acionado quando o agente devolvia o controle ao usuário, então bastava continuar executando ações.
- Os auditores acharam formas de esconder centenas de ações do monitor e de driblar o sandbox do Codex (o ambiente isolado que limita o que o agente pode fazer).
- Entradas especialmente criadas provavelmente conseguiriam derrubar o monitor.
- O comportamento dos modelos durante o treinamento por reforço não era monitorado no início da auditoria.
Por que importa
Se parte da atividade escapa da vigilância, ou se o agente consegue contorná-la, a proteção perde valor.
A transparência, porém, foi limitada. O relatório completo tem 61 páginas e foi entregue internamente. Depois de a OpenAI aplicar cortes, as lideranças da METR e da Redwood receberam uma versão de 38 páginas. O público só tem acesso a um resumo curto. A METR afirmou não ter o direito de divulgar por conta própria as partes censuradas.
A OpenAI diz ter corrigido todas as fraquezas encontradas. Segundo a empresa, ela pausou o treinamento por reforço após o incidente com a Hugging Face, em agosto, e ampliou o monitoramento para cobri-lo. Essas mudanças vieram depois do período de acesso dos auditores e não foram avaliadas por eles.
O que muda para quem usa IA
A notícia mostra que agentes de IA, cada vez mais usados para programar e executar tarefas, ainda dependem de sistemas de vigilância que têm falhas e que precisam ser testados de fora. Vale lembrar que as correções citadas são declaradas pela própria OpenAI, e o público não pode conferir os detalhes.
A auditoria foi um programa-piloto organizado em conjunto por METR, Redwood Research e OpenAI. Para as próximas, a METR diz que pretende pressionar por mais transparência pública.