Anthropic integra avaliadores independentes METR e SecureBio para auditar segurança de modelos
Anthropic anuncia parceria com METR e SecureBio para avaliadores independentes dentro da empresa. Entenda os níveis de acesso e o que isso muda para quem…
Resumo: A Anthropic anunciou que está trabalhando com as organizações sem fins lucrativos METR e SecureBio como avaliadores independentes embutidos na empresa, com diferentes níveis de acesso a recursos internos. A medida importa porque cria um precedente de auditoria externa para empresas de IA de fronteira, em um momento de pressão por transparência e segurança.
Pontos-chave
- A Anthropic está integrando METR e SecureBio como avaliadores independentes, com níveis distintos de acesso.
- O METR tem status de terceiro nível, com seis funcionários integrados e acesso a hardware e ferramentas internas.
- O SecureBio revisa a seção de armas químicas e biológicas do relatório de riscos divulgado em agosto.
- A Anthropic não financia o METR e afirma que o financiamento de avaliações deveria vir de fontes conjuntas ou governamentais no longo prazo.
- Ainda não há padrões definidos sobre acesso ou relatórios de avaliadores embutidos, nem sobre o nível de acesso da Hugging Face.
Nesta matéria
O que a Anthropic anunciou?#
A Anthropic comunicou na quinta-feira que está trabalhando com as nonprofits METR (Model Evaluation and Threat Research) e SecureBio, e que mantém conversas com outras organizações, incluindo a Hugging Face. O objetivo é incorporar avaliadores independentes dentro da empresa.
A iniciativa faz parte do compromisso público assumido pelo CEO Dario Amodei de desacelerar o ritmo de desenvolvimento de modelos e permitir que terceiros verifiquem a adesão da empresa a práticas de segurança. A notícia é relevante agora porque o setor enfrenta crescente escrutínio sobre a capacidade de proteger modelos de fronteira.
Como funcionam os três níveis de avaliadores?#
A Anthropic está desenvolvendo três camadas de acesso para avaliadores, com níveis distintos de permissão dentro da empresa e de seus recursos. A classificação define o que cada organização pode investigar, publicar e acessar.
O primeiro nível permite investigações de risco de escopo restrito. O segundo nível autoriza a publicação de relatórios sem aprovação da Anthropic. O terceiro nível concede acesso semelhante ao de funcionários, incluindo hardware, espaços de escritório e ferramentas.
- Nível 1: investigações de risco com escopo limitado.
- Nível 2: permissão para publicar relatórios sem aval da Anthropic.
- Nível 3: acesso equiparado ao de funcionários, incluindo hardware e ferramentas internas.
Qual é o papel do METR e do SecureBio?#
O METR foi classificado como avaliador de terceiro nível. Seis funcionários da organização foram integrados à Anthropic e têm acesso a hardware, escritórios e ferramentas comparáveis aos das equipes internas de avaliação de risco. Eles vão analisar níveis de risco, incidentes e práticas da Anthropic, e publicar suas conclusões.
A Anthropic informou que não financia o trabalho do METR. Já o SecureBio está revisando a seção sobre armas químicas e biológicas do relatório de riscos divulgado pela Anthropic em agosto. A empresa afirmou que o SecureBio poderá participar de projetos com acesso e direitos de publicação mais amplos no futuro, mas não detalhou prazos.
Por que avaliadores independentes ganharam destaque?#
Antes da proposta de Amodei, organizações como o METR ocupavam um espaço discreto na indústria de IA. Com a preocupação crescente sobre a capacidade das empresas de proteger seus modelos, esses avaliadores passaram a ter importância desproporcional.
No fim de setembro, o presidente Donald Trump apresentou um acordo voluntário que recomenda que empresas de IA se associem a um auditor ou avaliador externo independente. Amodei assinou o documento, assim como executivos de Google, Meta, OpenAI, SpaceX e Nvidia. A Anthropic afirmou que está embutindo avaliadores de forma voluntária e defende que toda empresa de IA de fronteira faça o mesmo.
Quais são as dúvidas sobre independência e padronização?#
A Anthropic reconheceu que ainda não existem padrões sobre quais informações avaliadores embutidos devem acessar ou como devem relatar o que encontram. Também não há um sistema consolidado de financiamento para avaliação independente.
A empresa declarou que, no longo prazo, o financiamento deveria vir de fontes conjuntas ou governamentais, como defendeu em seu Advanced AI Framework de junho. Como esses mecanismos ainda não existem, a Anthropic planeja trabalhar com diferentes avaliadores sob diferentes arranjos de financiamento.
O caso da Accenture, primeira parceira anunciada, gerou críticas nas redes sociais porque a Anthropic disse que financiaria diretamente o trabalho. A empresa não divulgou como a Accenture se encaixa no sistema de níveis, mas afirmou que está trabalhando em uma parceria ambiciosa. A Hugging Face também está em conversas, sem nível de acesso definido.
O que isso muda para quem usa IA?#
Para desenvolvedores e empresas que constroem aplicações com modelos da Anthropic, a novidade sinaliza maior transparência sobre riscos e práticas de segurança. Relatórios publicados por avaliadores de segundo e terceiro níveis podem servir como referência para due diligence e escolha de fornecedor.
Ainda não está claro como esses relatórios serão incorporados a produtos ou APIs, nem se haverá mudanças em políticas de uso. A Invision, API multimodelo da Dream Vision, dá acesso a vários modelos por uma chave só, o que permite comparar comportamentos e avaliar alternativas sem trocar de provedor. A empresa não promete preços nem condições específicas para esses novos relatórios.
Perguntas frequentes
O que é o METR e qual seu papel na Anthropic?
O METR (Model Evaluation and Threat Research) é uma organização sem fins lucrativos que atua como avaliador independente de terceiro nível na Anthropic. Seis de seus funcionários foram integrados à empresa e têm acesso a hardware, escritórios e ferramentas para analisar riscos e publicar conclusões.
Quais são os três níveis de avaliadores da Anthropic?
O primeiro nível permite investigações de risco com escopo restrito; o segundo permite publicar relatórios sem aprovação da Anthropic; o terceiro concede acesso equiparado ao de funcionários, incluindo hardware e ferramentas internas.
A Anthropic financia o trabalho do METR?
Não. A Anthropic informou que não financia o trabalho do METR. Já em relação à Accenture, a empresa disse que financiaria diretamente o trabalho, o que gerou críticas sobre independência.
O que o SecureBio está avaliando?
O SecureBio está revisando a seção sobre armas químicas e biológicas do relatório de riscos que a Anthropic divulgou em agosto. A empresa afirmou que o SecureBio poderá ter acesso mais amplo no futuro, sem detalhar prazos.
A Hugging Face vai participar como avaliadora?
A Anthropic está em conversas com a Hugging Face, mas não está claro qual nível de acesso a organização poderia receber. A Hugging Face é conhecida por operar uma plataforma de código aberto para desenvolvedores.
Fonte original: Anthropic taps nonprofits METR and SecureBio to help assess risks and safety practices (CNBC). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.