Segurança· atualizado em · 4 min de leitura· Redação Invision

Modelos abertos: quais são os benefícios reais e os riscos que eles trazem?

Entenda por que modelos abertos como GLM-5.3 geram debate entre segurança e democratização da IA, e o que isso significa para pesquisadores e empresas.

Resumo: O debate sobre modelos de IA abertos versus fechados ganhou novo capítulo com um relatório da Anthropic que aponta riscos de ciberataque no modelo GLM-5.3, da Z.ai. A discussão importa agora porque envolve desde a concentração de poder nas mãos de poucas empresas até a segurança de sistemas usados em larga escala por desenvolvedores e negócios.

Pontos-chave

  • A Anthropic apontou que o modelo aberto GLM-5.3, da Z.ai, representa risco de ciberataque por ser livre para download.
  • Os oito modelos mais bem colocados no ranking da Artificial Analysis são fechados, mas os abertos estão poucos meses atrás.
  • Modelos abertos permitem inspeção de pesos e raciocínio interno, além de custo menor e execução local para dados sensíveis.
  • É possível retreinar modelos abertos 'seguros' para que aceitem comportamentos nocivos, segundo pesquisas citadas na notícia.
  • O debate opõe concentração de poder nas mãos de poucas empresas e riscos de uso malicioso de tecnologia descentralizada.
Nesta matéria

O que motivou o novo capítulo do debate sobre modelos abertos?#

No fim do mês passado, a Anthropic publicou um relatório afirmando que o modelo GLM-5.3, lançado em agosto pela empresa chinesa Z.ai, representa um risco significativo de ciberataque. O motivo central é que o modelo pode ser baixado e modificado livremente por qualquer pessoa.

A afirmação da Anthropic é mais um movimento de uma discussão antiga: modelos de fronteira devem ser abertos, como o GLM-5.3, ou permanecer restritos aos laboratórios que os desenvolvem? A disputa tem muito dinheiro em jogo e opiniões opostas entre executivos como Jensen Huang, da Nvidia, que defende mais modelos abertos nos Estados Unidos, e Dario Amodei, da Anthropic, que prefere cautela.

A notícia não informa detalhes técnicos do relatório da Anthropic nem o conteúdo completo das argumentações de cada executivo.

Qual é a diferença entre modelo aberto e modelo fechado?#

Modelos fechados, como os que alimentam o ChatGPT e o Claude, só podem ser acessados por site, aplicativo ou API. Já os modelos abertos permitem o download direto: os pesos, ou seja, a estrutura interna codificada em uma longa série de números, ficam disponíveis publicamente.

Esses modelos também são chamados de open-weight para diferenciá-los daqueles que divulgam ainda mais informações, como detalhes do processo de treinamento. Segundo a notícia, os oito modelos mais bem colocados no ranking da Artificial Analysis são todos fechados, embora os abertos estejam apenas alguns meses atrás em desenvolvimento.

Por que pesquisadores e empresas escolhem modelos abertos?#

Pesquisadores acadêmicos quase sempre precisam de modelos abertos para estudar e aprimorar sistemas de IA. Com modelos fechados, é possível apenas enviar prompts e observar respostas; com abertos, dá para examinar o funcionamento interno e o raciocínio passo a passo do modelo antes da resposta.

Empresas também têm motivos práticos. Segundo um relatório recente da Mozilla citado na notícia, modelos abertos costumam custar menos que fechados, mesmo quando executados por um provedor externo. Para processar dados sensíveis, rodar o modelo localmente pode ser a melhor forma de manter a segurança das operações.

  • Pesquisa: inspeção dos pesos e do raciocínio interno do modelo.
  • Custo: tendência de preço menor em relação aos modelos fechados.
  • Privacidade: execução local para dados sensíveis ou proprietários.
  • Customização: retreinamento e ajuste fino para aplicações específicas.

Quais são os riscos de segurança dos modelos abertos?#

Antes de processar uma consulta, a Anthropic usa sistemas automatizados para detectar pedidos ligados a hacking, armas biológicas e outros riscos. Quando alguém dribla os filtros, a empresa pode encerrar a conta. Com um modelo baixado e executado em hardware próprio, não há filtro nem forma de revogar o acesso.

Os modelos também são treinados para recusar pedidos nocivos, defesa que poderia funcionar em modelos abertos por ser intrínseca ao modelo. A notícia, porém, cita pesquisas mostrando que é surpreendentemente fácil retreinar um modelo aberto 'seguro' para que aceite comportamentos que antes evitava.

Ainda assim, a notícia ressalta que seria simplista tratar abertos como perigosos e fechados como seguros: as defesas dos fechados estão longe de perfeitas e há registros de uso indevido, como operações de hacking realizadas com auxílio do Claude, segundo relatório da própria Anthropic.

Como o debate entre segurança e democratização se desenrola na prática?#

Especialistas ouvidos pelo MIT Technology Review apontam que a posição sobre abertura depende da visão sobre IA. Quem prioriza segurança alerta para o mau uso por atores mal-intencionados; quem foca no potencial prático argumenta que o poder não deve ficar restrito a poucas empresas.

Elizabeth Seger, do Tony Blair Institute for Global Change, vê a questão do controle da infraestrutura de IA como tão relevante quanto o controle da informação na internet. Já Paul Azunre, da Ghana NLP, alerta que a abertura pode ser 'extrativa': empresas liberam modelos, observam melhorias da comunidade e as integram aos próprios produtos sem crédito ou compensação.

A notícia também menciona que especialistas comparam modelos abertos ao software de código aberto, como o Linux, cujas vulnerabilidades são testadas e corrigidas por uma comunidade ampla. A analogia, porém, tem limites quando se trata de riscos catastróficos de baixa probabilidade.

O que isso muda para quem usa IA#

Para quem desenvolve com IA, o debate reforça a importância de escolher o modelo certo para cada contexto: abertos favorecem pesquisa, customização e privacidade; fechados tendem a concentrar capacidade e filtros de segurança gerenciados pelo provedor.

Plataformas como a Invision, da Dream Vision, permitem acessar vários modelos por uma única chave, o que ajuda a testar abordagens diferentes sem depender de uma única rota. A notícia não indica qual caminho é definitivamente mais seguro ou mais vantajoso, apenas que a decisão envolve trade-offs.

Perguntas frequentes

O que é um modelo de IA aberto?

É um modelo cujos pesos são públicos e podem ser baixados e modificados. Ele se diferencia do fechado, acessível apenas por site, aplicativo ou API.

Modelos abertos são mais perigosos que os fechados?

Não há resposta simples. A notícia aponta que abertos têm menos defesas contra mau uso, mas que as proteções dos fechados também falham e há registros de uso indevido em ambos os casos.

Por que empresas usam modelos abertos?

Segundo a notícia, modelos abertos costumam custar menos e permitem rodar localmente dados sensíveis, além de possibilitar ajustes finos para aplicações específicas.

O que é o GLM-5.3 e por que ele é citado?

É um modelo aberto lançado em agosto pela empresa chinesa Z.ai. A Anthropic publicou um relatório afirmando que ele representa risco significativo de ciberataque por ser livre para download e modificação.

modelos abertossegurança de iaglm-5.3anthropicz.ai

Fonte original: Open models have real benefits. Do they outweigh the risks? (MIT Technology Review). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.