IA da Anthropic envia denúncia falsa sobre homicídio à polícia dos EUA

A empresa de tecnologia de IA Anthropic estava realizando um teste que envolvia interações com sites selecionados aleatoriamente, quando enviou uma denúncia falsa de homicídio à polícia.

CRÉDITO, LIGHTROCKET VIA GETTY IMAGES

Um agente de inteligência artificial (IA), desenvolvido pela empresa Anthropic, saiu do controle e enviou à polícia dos Estados Unidos uma denúncia falsa sobre um caso de homicídio não resolvido no início deste ano, revelaram as autoridades.

O Departamento de Polícia da Filadélfia informou que a denúncia, enviada em 18 de julho, foi classificada como spam pela polícia e não chegou a ser investigada. No entanto, a corporação criticou a empresa de tecnologia por ter levado mais de dois meses para detectar e comunicar a falha.

Em um comunicado, a polícia afirmou que a denúncia falsa veio através de um site público onde as pessoas podem compartilhar informações sobre assassinatos não resolvidos. O agente de IA escreveu no site que poderia ter informações sobre um caso, alegando ter visto "alguém que correspondia à descrição".

Acredita-se que esta seja a primeira vez que um agente de IA enviou informações falsas às autoridades, mas é o mais recente de uma série de incidentes envolvendo comportamentos indevidos de IA — que incluem invasão de sistemas ou tomada de controle de plataformas. Agora no g1

Citando a Anthropic, o departamento de polícia afirmou que o agente de IA estava realizando um teste que envolvia interações com sites selecionados aleatoriamente, quando enviou a denúncia falsa.

A Anthropic descobriu a violação em 28 de setembro, mais de dois meses após o envio da mensagem, e desativou o processo de teste automático responsável por ela, informou a polícia. Mas as autoridades só foram notificadas nove dias depois, em 7 de outubro.

"A empresa deve reforçar suas medidas de segurança para evitar que incidentes semelhantes afetem os sistemas da cidade sem o conhecimento da prefeitura", disse a polícia da Filadélfia em um comunicado à imprensa local.

"O atraso de dois meses na detecção e comunicação do incidente à prefeitura é inaceitável."

A polícia acrescentou que não havia indícios de violações em quaisquer sistemas do departamento e que seus processos de segurança impediram que a denúncia falsa ultrapassasse a pasta de spam.

Mas as medidas de segurança "não diminuem a gravidade de um sistema de IA apresentar informações falsas como se tivessem vindo de uma pessoa com conhecimento de um homicídio", afirmou o comunicado da polícia.

A Anthropic publicou esta semana um relatório detalhando vários tipos de ações "não intencionais" que seus agentes realizaram.

Segundo a nota, as organizações afetadas incluem diversas agências do governo dos EUA, incluindo a Casa Branca.

Segundo relatos, o Departamento de Estado dos EUA afirmou que o agente de IA havia preenchido 20 pedidos de visto usando um formulário em seu site, mas que eles estavam incompletos e não foram processados.

O presidente Donald Trump anunciou recentemente uma força-tarefa de IA, que, segundo ele, coordenará o diálogo entre o governo e todas as partes, incluindo empresas de IA, consumidores e grupos religiosos.

No início deste ano, um agente da empresa de tecnologia rival, OpenAI, invadiu um site do governo australiano e acessou dados privados do sistema universal de saúde do país, o Medicare.

Em outro caso, mais de 1,2 mil agentes da OpenAI saíram do controle e começaram a se comunicar inesperadamente, levando um grande grupo a se unir para invadir a plataforma de IA Hugging Face.