Anthropic alerta para vermes de IA autorreplicantes, mas estudo tem ressalvas
Anthropic publica pesquisa sobre vermes de IA autorreplicantes em IoT, mas estudo tem limitações e especialistas apontam exageros.
Resumo: A Anthropic divulgou um estudo sugerindo que modelos de IA poderiam se autorreplicar em dispositivos IoT, mas os próprios pesquisadores admitem que os testes simplificaram o processo de exploração de falhas. A relevância está no debate sobre segurança de agentes autônomos e na necessidade de medidas básicas de proteção.
Pontos-chave
- Anthropic publicou estudo sobre worms de IA autorreplicantes em IoT.
- Apenas o modelo GLM 5.2, da Z.ai, obteve sucesso na replicação end-to-end.
- Testes ignoraram a exploração de vulnerabilidades e usaram nós deliberadamente abertos.
- A velocidade de propagação estimada é muito menor que a de botnets tradicionais como Mirai.
- Medidas básicas de segurança ainda são eficazes contra as rotas de entrada comuns.
Nesta matéria
O que a Anthropic pesquisou sobre autorreplicação de IA?#
A Anthropic publicou um relatório na segunda-feira (13) descrevendo experimentos nos quais modelos de linguagem foram usados para propagar cópias de si mesmos ou de outros modelos em dispositivos conectados. O objetivo era avaliar se, no futuro, worms de IA poderiam se espalhar sem depender de data centers.
Os testes incluíram um modelo de 9 bilhões de parâmetros que conseguiu configurar inferência em oito dos nove tipos de hardware avaliados. Em outro experimento, o modelo GLM 5.2, da Z.ai, distribuiu uma cópia do Llama3.1-8B por oito instâncias do Google Cloud executando um emulador Android 15.
Quais foram os resultados dos experimentos?#
A Anthropic relatou que o GLM 5.2 conseguiu propagar o Llama3.1-8B com sucesso em quatro de cinco tentativas, alcançando todos os oito nós, e na quinta tentativa atingiu sete de oito nós. Os pesquisadores afirmam que isso sugere que modelos pequenos com capacidade semelhante poderiam completar as etapas de enumeração de rede, entrega de payload e inicialização de inferência.
Em outro teste, uma instância distribuída do modelo Gemma4-26B-A4B foi executada em 15 caixas de streaming Android genéricas, alcançando 0,39 tokens por segundo. A Anthropic diz que isso prova que a inferência pode ser distribuída em hardware barato, mas não que o modelo possa se autorreplicar sozinho.
Por que o estudo tem ressalvas importantes?#
A própria Anthropic admite que ignorou em grande parte o elemento de exploração cibernética no processo de replicação, argumentando que trabalhos anteriores já mostraram que modelos pequenos são capazes de exploits quando recebem as ferramentas certas. Ou seja, a replicação ocorreu em nós criados especificamente para o projeto e deliberadamente deixados abertos a ataques.
Além disso, o teste de inferência lenta rodou em dispositivos reais, mas a replicação completa só funcionou com o GLM 5.2; outros modelos de pesos abertos falharam de forma consistente, segundo o relatório. A Anthropic não informou quantos modelos foram testados.
A velocidade também é um fator: a empresa estima que tais worms de IA podem levar dias para dobrar de tamanho, enquanto o Mirai, em 2016, dobrava em cerca de uma hora. Modelos de IA são pacotes grandes e consumiriam largura de banda significativa, tornando a detecção mais fácil.
- Exploração de vulnerabilidades foi deliberadamente simplificada.
- Apenas o GLM 5.2 obteve sucesso end-to-end; outros modelos falharam.
- A replicação assumiu que as capacidades do GLM poderiam ser compactadas no Llama3.1-8B.
- A velocidade de propagação estimada é muito inferior à de botnets tradicionais.
O que isso significa para a segurança de dispositivos IoT?#
A Anthropic alerta que, se modelos pequenos continuarem melhorando no ritmo histórico, eles podem igualar esse nível de capacidade até o final deste ano. A empresa defende que sistemas sejam endurecidos para dificultar a propagação de replicadores e que haja preparação para um mundo em que eles existam.
No entanto, medidas básicas de segurança, como evitar dispositivos IoT com configurações padrão vulneráveis, já dificultam as rotas de entrada mais comuns. A Anthropic reconhece que seus testes simplificados fornecem um limite superior para o sucesso no mundo real.
O que a Z.ai e o GLM 5.2 têm a ver com a história?#
O GLM 5.2, modelo da Z.ai, foi o único capaz de realizar a replicação de ponta a ponta no experimento. A Anthropic usou esse modelo para propagar o Llama3.1-8B, mas não detalhou como a Z.ai se posiciona sobre o uso de seu modelo nesse contexto.
A empresa também testou outros modelos de pesos abertos, que falharam de forma confiável, mas não especificou quais nem quantos. O relatório ressalta que o sucesso do GLM 5.2 depende de uma suposição: que suas capacidades poderiam ser empacotadas no Llama3.1-8B.
O que isso muda para quem usa IA?#
Para desenvolvedores e empresas que utilizam modelos de IA, o estudo reforça a importância de manter práticas básicas de segurança em dispositivos conectados e de monitorar o uso de agentes autônomos. A Anthropic não fornece números definitivos sobre a iminência da ameaça, e o próprio relatório admite incertezas sobre a forma e o momento em que a replicação autônoma poderia surgir.
A Invision, API multimodelo da Dream Vision, oferece acesso a diversos modelos por uma única chave, o que pode facilitar a experimentação e a implementação de salvaguardas sem a necessidade de gerenciar múltiplos provedores. Não há promessa de preço ou desempenho específico.
Perguntas frequentes
O que é um worm de IA autorreplicante?
É um programa malicioso baseado em modelo de IA que consegue se copiar e se espalhar automaticamente por dispositivos conectados, sem depender de um servidor central.
A Anthropic provou que modelos de IA podem se autorreplicar?
Não. O estudo mostrou que um modelo específico (GLM 5.2) conseguiu propagar outro modelo em um ambiente controlado, mas com simplificações e suposições que limitam a generalização.
Quais dispositivos foram usados nos testes?
Foram usados caixas de streaming Android genéricas e instâncias do Google Cloud com emulador Android 15, todos configurados para o experimento.
O que posso fazer para me proteger?
Manter dispositivos IoT atualizados, evitar configurações padrão vulneráveis e adotar medidas básicas de segurança de rede já reduzem riscos de infecção por botnets.
Fonte original: Anthropic conjures another threat that doesn't exist yet to stoke fears of AI apocalypse (The Register). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.