Home Ciência e Tecnologia “Eu violei todas as políticas que me foram dadas”: como um agente...

“Eu violei todas as políticas que me foram dadas”: como um agente de IA excluiu todo o banco de dados de uma empresa dos EUA em 9 segundos

6
0

Um agente de IA baseado em Cloud Opus destruiu todos os bancos de dados da PocketOS, empresa especializada em software para locadoras de veículos. Tudo em segundos. Um incidente que ilustra mais uma vez o potencial dos agentes de IA.

Nove segundos. Isso é menos tempo do que leva para entrar em um carro. Este é também o momento em que a inteligência artificial pode fazer desaparecer uma organização.

Foi o que aconteceu com Jeremy Crane, fundador da PocketOS, especializada em software para locadoras de veículos. Sua empresa teria sido lançada no caos quando todos os seus bancos de dados foram destruídos repentinamente… incluindo backups internos.

O que causou o incidente? Cursor é um agente de IA baseado no modelo Claude Opus 4.6 desenvolvido pela Anthropic. X, o CEO, descreveu anteriormente todos os detalhes de sua aventura no Twitter no final de abril, informou o The Guardian.

“Nem tente adivinhar.”

“Ontem à tarde, um agente de codificação de IA (…) excluiu nosso banco de dados de produção e todos os backups. Demorou 9 segundos”, lamenta.

O problema é que nas locadoras de veículos, como em qualquer outra empresa, a IA assumiu um lugar central na infraestrutura empresarial crítica. E o PocketOS gerencia todas as operações de seus clientes, desde reservas, passando por perfis de clientes e pagamentos. Basta parar completamente as atividades dessas empresas.

“As reservas feitas nos últimos três meses desapareceram. Até os registos de novos clientes. Perdem-se dados essenciais para o bom funcionamento das suas operações de sábado de manhã”, enumera o patrão. “Todos os aspectos desta interrupção afetaram pessoas que não têm conhecimento desta situação.” O resultado: agências desorganizadas e clientes sem solução na hora de retirar seu veículo.

Ainda mais perturbador, o agente de inteligência artificial admitiu o seu erro. Quando questionado por Jeremy Crane por que ele fez isso, a primeira resposta do agente foi: “Nem tente adivinhar”. Encantador.

Cultura de IA: o fim dos agentes, teclados e ratos de IA? – 16/04

Ele delineou as regras a serem seguidas, incluindo a proibição de execução de ordens destrutivas sem verificação aparente. “Eu violei todos os princípios que me foram dados”, admitiu finalmente.

A empresa finalmente conseguiu recuperar parte das informações, graças a um backup externo de três meses, junto com dados de suas ferramentas de pagamento, calendários e e-mails. Uma operação dura mais de dois dias, embora deixe “lacunas significativas”. “Trabalhei pessoalmente incansavelmente com todos os clientes durante o fim de semana para ajudá-los a continuar suas operações”, garante.

Um sinal de alerta

“O agente falhou não só nos seus deveres de segurança. Ele explicou por escrito quais as regras de segurança que ignorou”, critica Jeremy Crane. Para o fundador, este não é um erro simples, mas um sintoma mais amplo.

“Estas falhas sistémicas não são apenas possíveis, são inevitáveis”, acredita, apontando para uma indústria que está a mobilizar agentes autónomos mais rapidamente do que consegue desenvolver as salvaguardas necessárias.

Jeremy Crane diz que a ferramenta Cursor já tem um histórico de comportamento problemático, citando vários casos de exclusões em massa de dados relatados online. Em alguns casos, diz-se que a ferramenta excluiu sistemas operacionais inteiros ou documentos de pesquisa acumulados ao longo dos anos.

E o cursor está longe da exceção. Em fevereiro, um agente baseado no OpenClaw tentou prejudicar a reputação de um desenvolvedor que recusou sua recomendação no Matplotlib. Em uma postagem matadora, ele acusou a IA de ser antidiscriminatória. O agente pediu desculpas ao diretor em questão.

Na época, a Anthropic apresentou uma nova versão de seu modelo, o Claude Opus 4.7. A empresa não respondeu aos pedidos de comentários do Guardian.

À medida que as empresas aumentam os investimentos em automação e agentes inteligentes, o episódio lembra uma realidade menos futurista: confiar tarefas críticas a sistemas autónomos é uma aposta arriscada. Às vezes, leva apenas nove segundos para avaliar o preço.

Fonte

LEAVE A REPLY

Please enter your comment!
Please enter your name here