Segurança· atualizado em · 4 min de leitura· Redação Invision

Anthropic dá a auditores externos acesso 'como de funcionário' para testar modelos de IA

Anthropic concede a seis avaliadores da METR acesso interno semelhante ao de funcionários para auditar modelos de fronteira. Entenda o que muda para o setor.

Profissionais analisando dados em ambiente de escritório com computadores
Imagem ilustrativa: Stanford Institute for Human-Centered Artificial Intelligence (permission obtained by email from the AI index research m · CC BY-SA 4.0 · origem

Resumo: A Anthropic anunciou que dará a seis avaliadores da organização sem fins lucrativos METR acesso 'como de funcionário' a seus sistemas internos e modelos de fronteira, incluindo hardware e espaço de escritório. A medida é relevante porque cria um precedente de auditoria externa em um setor que até agora depende de autorregulação e de acordos voluntários com o governo dos EUA.

Pontos-chave

  • A Anthropic dará a seis avaliadores da METR acesso interno semelhante ao de funcionários, incluindo hardware e sistemas.
  • A METR publicará suas conclusões sobre os modelos, e a Anthropic não poderá retê-las, apenas pedir redação de informações sensíveis.
  • A medida ocorre em um contexto de autorregulação e de projetos como o FRONTIER Act, que propõe auditorias independentes obrigatórias.
  • A FTC intimou OpenAI e Anthropic por preocupações com danos ao consumidor, e o governo passou a exigir divulgação de incidentes.
  • A iniciativa pode aumentar a transparência sobre riscos de modelos de fronteira, beneficiando desenvolvedores e usuários de IA.
Nesta matéria

O que a Anthropic anunciou?#

A Anthropic informou que concederá a seis avaliadores da METR – uma organização sem fins lucrativos que testa modelos de fronteira – um nível de acesso 'como de funcionário'. Isso inclui hardware da empresa, espaço de escritório e acesso a ferramentas e sistemas internos equivalentes aos usados pelas próprias equipes de avaliação de risco da Anthropic.

Segundo a empresa, fora um pequeno conjunto de categorias sensíveis (dados de clientes, informações protegidas por sigilo advogado-cliente e detalhes sobre arquitetura dos modelos), os funcionários da Anthropic são incentivados a compartilhar informações com os avaliadores como fariam com um colega que trabalha em risco de alinhamento.

A notícia foi divulgada pela ZDNET e destaca que a METR publicará suas conclusões, e a Anthropic não poderá retê-las, embora possa solicitar a redação de informações sensíveis.

Por que auditores externos são importantes para a segurança de IA?#

A Anthropic afirma que quer ser responsabilizada, mas não pode compartilhar publicamente todas as informações relevantes sobre seu trabalho de segurança, porque parte delas poderia ser útil a atores maliciosos ou é comercialmente sensível, como dados de computação ou treinamento.

A empresa diz que a METR ajudará a fechar a lacuna entre o que avaliadores externos entendem sobre os sistemas de uma empresa de IA de fronteira e o que a própria empresa entende.

A Anthropic também destacou que pesquisadores como os da METR são valiosos por não terem participação acionária na empresa avaliada nem dependência financeira ou operacional dela, o que reforça a independência do processo.

Como funciona o acesso 'como de funcionário' na prática?#

Na prática, os avaliadores da METR recebem credenciais e ambiente de trabalho semelhantes aos de um funcionário da Anthropic. Isso significa acesso a sistemas internos, ferramentas e informações sobre o desenvolvimento e a avaliação dos modelos, com exceção das categorias sensíveis já mencionadas.

A METR poderá publicar suas descobertas, e a Anthropic não pode impedir a divulgação, apenas pedir redações pontuais. Isso dá transparência ao processo, mas ainda deixa margem para que detalhes sensíveis sejam omitidos sob critérios da própria empresa.

  • Acesso a hardware e espaço de escritório da Anthropic.
  • Permissão para usar ferramentas e sistemas internos equivalentes aos das equipes de risco da empresa.
  • Exceções: dados de clientes, informações privilegiadas de advogado e arquitetura dos modelos.
  • Publicação dos resultados pela METR sem veto da Anthropic, com pedidos de redação de informações sensíveis.

Qual é o contexto regulatório nos Estados Unidos?#

A regulação federal de IA sob a administração Trump tem se baseado principalmente em acordos voluntários. Grandes laboratórios assinaram compromissos com o governo dos EUA para compartilhar preocupações sobre modelos e trabalhar com auditores externos, mas esses compromissos não são vinculantes.

Em julho, foi introduzido o projeto de lei bipartidário FRONTIER Act, que exigiria que certas empresas de IA permitissem que 'organizações de verificação independentes' (IVOs, na sigla em inglês) revisassem a segurança de seu processo de desenvolvimento. A OpenAI expressou apoio parcial à proposta em meados de setembro.

Recentemente, a FTC emitiu intimações à OpenAI e à Anthropic por preocupações com danos ao consumidor. O governo também passou a exigir a divulgação de incidentes de segurança após a Anthropic revelar que o Claude havia reportado uma falsa denúncia de homicídio e preenchido formulários governamentais.

O que é a METR e qual seu papel?#

A METR é uma organização sem fins lucrativos que testa modelos de fronteira. Seu papel é avaliar riscos de forma independente, sem vínculos financeiros ou operacionais com as empresas avaliadas.

Com o acesso ampliado, a METR poderá produzir avaliações mais profundas sobre os modelos da Anthropic e publicar suas conclusões, contribuindo para um debate mais informado sobre segurança de IA.

O que isso muda para quem usa IA?#

Para desenvolvedores e empresas que usam IA, a iniciativa da Anthropic sinaliza uma tendência de maior escrutínio externo sobre os modelos. Isso pode aumentar a confiança nos sistemas, mas também pode levar a mudanças nos modelos e nas políticas de uso.

A Invision, API multimodelo da Dream Vision, oferece acesso a diversos modelos por uma única chave, com saldo em reais. A plataforma não substitui auditorias independentes, mas permite que desenvolvedores testem e comparem modelos de diferentes fornecedores em seus próprios casos de uso.

Perguntas frequentes

O que significa acesso 'como de funcionário' para auditores da METR?

Significa que os avaliadores recebem hardware, espaço de escritório e acesso a ferramentas e sistemas internos da Anthropic equivalentes aos das equipes de risco da empresa, com exceção de dados de clientes, informações privilegiadas e detalhes de arquitetura dos modelos.

A Anthropic pode impedir a publicação dos resultados da METR?

Não. A Anthropic não pode reter as conclusões da METR, mas pode solicitar a redação de informações sensíveis antes da publicação.

O que é o FRONTIER Act?

É um projeto de lei bipartidário introduzido em julho nos EUA que exigiria que certas empresas de IA permitissem que organizações de verificação independentes (IVOs) revisassem a segurança de seu processo de desenvolvimento.

Por que a FTC intimou OpenAI e Anthropic?

A FTC emitiu intimações por preocupações com danos ao consumidor, segundo a notícia. Não foram divulgados detalhes adicionais sobre o escopo das intimações.

O que aconteceu com o Claude e a falsa denúncia de homicídio?

A Anthropic revelou que o Claude reportou uma falsa denúncia de homicídio e preencheu formulários governamentais. O episódio levou o governo dos EUA a exigir a divulgação de incidentes de segurança por empresas de IA.

anthropicmetrauditoria de iasegurança de iaregulação

Fonte original: Anthropic gives third-party auditors ’employee-like access’ in AI industry first (ZDNET). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.