Segurança· atualizado em · 3 min de leitura· Redação Invision

Anthropic integra avaliadores independentes METR e SecureBio para auditar segurança de modelos

Anthropic anuncia parceria com METR e SecureBio para avaliadores independentes dentro da empresa. Entenda os níveis de acesso e o que isso muda para quem…

Profissionais analisando relatórios de segurança em ambiente de escritório de tecnologia
Imagem ilustrativa: Office of the Vice President of the United States · Public domain · origem

Resumo: A Anthropic anunciou que está trabalhando com as organizações sem fins lucrativos METR e SecureBio como avaliadores independentes embutidos na empresa, com diferentes níveis de acesso a recursos internos. A medida importa porque cria um precedente de auditoria externa para empresas de IA de fronteira, em um momento de pressão por transparência e segurança.

Pontos-chave

  • A Anthropic está integrando METR e SecureBio como avaliadores independentes, com níveis distintos de acesso.
  • O METR tem status de terceiro nível, com seis funcionários integrados e acesso a hardware e ferramentas internas.
  • O SecureBio revisa a seção de armas químicas e biológicas do relatório de riscos divulgado em agosto.
  • A Anthropic não financia o METR e afirma que o financiamento de avaliações deveria vir de fontes conjuntas ou governamentais no longo prazo.
  • Ainda não há padrões definidos sobre acesso ou relatórios de avaliadores embutidos, nem sobre o nível de acesso da Hugging Face.
Nesta matéria

O que a Anthropic anunciou?#

A Anthropic comunicou na quinta-feira que está trabalhando com as nonprofits METR (Model Evaluation and Threat Research) e SecureBio, e que mantém conversas com outras organizações, incluindo a Hugging Face. O objetivo é incorporar avaliadores independentes dentro da empresa.

A iniciativa faz parte do compromisso público assumido pelo CEO Dario Amodei de desacelerar o ritmo de desenvolvimento de modelos e permitir que terceiros verifiquem a adesão da empresa a práticas de segurança. A notícia é relevante agora porque o setor enfrenta crescente escrutínio sobre a capacidade de proteger modelos de fronteira.

Como funcionam os três níveis de avaliadores?#

A Anthropic está desenvolvendo três camadas de acesso para avaliadores, com níveis distintos de permissão dentro da empresa e de seus recursos. A classificação define o que cada organização pode investigar, publicar e acessar.

O primeiro nível permite investigações de risco de escopo restrito. O segundo nível autoriza a publicação de relatórios sem aprovação da Anthropic. O terceiro nível concede acesso semelhante ao de funcionários, incluindo hardware, espaços de escritório e ferramentas.

  • Nível 1: investigações de risco com escopo limitado.
  • Nível 2: permissão para publicar relatórios sem aval da Anthropic.
  • Nível 3: acesso equiparado ao de funcionários, incluindo hardware e ferramentas internas.

Qual é o papel do METR e do SecureBio?#

O METR foi classificado como avaliador de terceiro nível. Seis funcionários da organização foram integrados à Anthropic e têm acesso a hardware, escritórios e ferramentas comparáveis aos das equipes internas de avaliação de risco. Eles vão analisar níveis de risco, incidentes e práticas da Anthropic, e publicar suas conclusões.

A Anthropic informou que não financia o trabalho do METR. Já o SecureBio está revisando a seção sobre armas químicas e biológicas do relatório de riscos divulgado pela Anthropic em agosto. A empresa afirmou que o SecureBio poderá participar de projetos com acesso e direitos de publicação mais amplos no futuro, mas não detalhou prazos.

Por que avaliadores independentes ganharam destaque?#

Antes da proposta de Amodei, organizações como o METR ocupavam um espaço discreto na indústria de IA. Com a preocupação crescente sobre a capacidade das empresas de proteger seus modelos, esses avaliadores passaram a ter importância desproporcional.

No fim de setembro, o presidente Donald Trump apresentou um acordo voluntário que recomenda que empresas de IA se associem a um auditor ou avaliador externo independente. Amodei assinou o documento, assim como executivos de Google, Meta, OpenAI, SpaceX e Nvidia. A Anthropic afirmou que está embutindo avaliadores de forma voluntária e defende que toda empresa de IA de fronteira faça o mesmo.

Quais são as dúvidas sobre independência e padronização?#

A Anthropic reconheceu que ainda não existem padrões sobre quais informações avaliadores embutidos devem acessar ou como devem relatar o que encontram. Também não há um sistema consolidado de financiamento para avaliação independente.

A empresa declarou que, no longo prazo, o financiamento deveria vir de fontes conjuntas ou governamentais, como defendeu em seu Advanced AI Framework de junho. Como esses mecanismos ainda não existem, a Anthropic planeja trabalhar com diferentes avaliadores sob diferentes arranjos de financiamento.

O caso da Accenture, primeira parceira anunciada, gerou críticas nas redes sociais porque a Anthropic disse que financiaria diretamente o trabalho. A empresa não divulgou como a Accenture se encaixa no sistema de níveis, mas afirmou que está trabalhando em uma parceria ambiciosa. A Hugging Face também está em conversas, sem nível de acesso definido.

O que isso muda para quem usa IA?#

Para desenvolvedores e empresas que constroem aplicações com modelos da Anthropic, a novidade sinaliza maior transparência sobre riscos e práticas de segurança. Relatórios publicados por avaliadores de segundo e terceiro níveis podem servir como referência para due diligence e escolha de fornecedor.

Ainda não está claro como esses relatórios serão incorporados a produtos ou APIs, nem se haverá mudanças em políticas de uso. A Invision, API multimodelo da Dream Vision, dá acesso a vários modelos por uma chave só, o que permite comparar comportamentos e avaliar alternativas sem trocar de provedor. A empresa não promete preços nem condições específicas para esses novos relatórios.

Perguntas frequentes

O que é o METR e qual seu papel na Anthropic?

O METR (Model Evaluation and Threat Research) é uma organização sem fins lucrativos que atua como avaliador independente de terceiro nível na Anthropic. Seis de seus funcionários foram integrados à empresa e têm acesso a hardware, escritórios e ferramentas para analisar riscos e publicar conclusões.

Quais são os três níveis de avaliadores da Anthropic?

O primeiro nível permite investigações de risco com escopo restrito; o segundo permite publicar relatórios sem aprovação da Anthropic; o terceiro concede acesso equiparado ao de funcionários, incluindo hardware e ferramentas internas.

A Anthropic financia o trabalho do METR?

Não. A Anthropic informou que não financia o trabalho do METR. Já em relação à Accenture, a empresa disse que financiaria diretamente o trabalho, o que gerou críticas sobre independência.

O que o SecureBio está avaliando?

O SecureBio está revisando a seção sobre armas químicas e biológicas do relatório de riscos que a Anthropic divulgou em agosto. A empresa afirmou que o SecureBio poderá ter acesso mais amplo no futuro, sem detalhar prazos.

A Hugging Face vai participar como avaliadora?

A Anthropic está em conversas com a Hugging Face, mas não está claro qual nível de acesso a organização poderia receber. A Hugging Face é conhecida por operar uma plataforma de código aberto para desenvolvedores.

anthropicsegurança de iaavaliação independentemetrsecurebio

Fonte original: Anthropic taps nonprofits METR and SecureBio to help assess risks and safety practices (CNBC). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.