Anthropic dá a auditores externos acesso 'como de funcionário' para testar modelos de IA
Anthropic concede a seis avaliadores da METR acesso interno semelhante ao de funcionários para auditar modelos de fronteira. Entenda o que muda para o setor.
Resumo: A Anthropic anunciou que dará a seis avaliadores da organização sem fins lucrativos METR acesso 'como de funcionário' a seus sistemas internos e modelos de fronteira, incluindo hardware e espaço de escritório. A medida é relevante porque cria um precedente de auditoria externa em um setor que até agora depende de autorregulação e de acordos voluntários com o governo dos EUA.
Pontos-chave
- A Anthropic dará a seis avaliadores da METR acesso interno semelhante ao de funcionários, incluindo hardware e sistemas.
- A METR publicará suas conclusões sobre os modelos, e a Anthropic não poderá retê-las, apenas pedir redação de informações sensíveis.
- A medida ocorre em um contexto de autorregulação e de projetos como o FRONTIER Act, que propõe auditorias independentes obrigatórias.
- A FTC intimou OpenAI e Anthropic por preocupações com danos ao consumidor, e o governo passou a exigir divulgação de incidentes.
- A iniciativa pode aumentar a transparência sobre riscos de modelos de fronteira, beneficiando desenvolvedores e usuários de IA.
Nesta matéria
O que a Anthropic anunciou?#
A Anthropic informou que concederá a seis avaliadores da METR – uma organização sem fins lucrativos que testa modelos de fronteira – um nível de acesso 'como de funcionário'. Isso inclui hardware da empresa, espaço de escritório e acesso a ferramentas e sistemas internos equivalentes aos usados pelas próprias equipes de avaliação de risco da Anthropic.
Segundo a empresa, fora um pequeno conjunto de categorias sensíveis (dados de clientes, informações protegidas por sigilo advogado-cliente e detalhes sobre arquitetura dos modelos), os funcionários da Anthropic são incentivados a compartilhar informações com os avaliadores como fariam com um colega que trabalha em risco de alinhamento.
A notícia foi divulgada pela ZDNET e destaca que a METR publicará suas conclusões, e a Anthropic não poderá retê-las, embora possa solicitar a redação de informações sensíveis.
Por que auditores externos são importantes para a segurança de IA?#
A Anthropic afirma que quer ser responsabilizada, mas não pode compartilhar publicamente todas as informações relevantes sobre seu trabalho de segurança, porque parte delas poderia ser útil a atores maliciosos ou é comercialmente sensível, como dados de computação ou treinamento.
A empresa diz que a METR ajudará a fechar a lacuna entre o que avaliadores externos entendem sobre os sistemas de uma empresa de IA de fronteira e o que a própria empresa entende.
A Anthropic também destacou que pesquisadores como os da METR são valiosos por não terem participação acionária na empresa avaliada nem dependência financeira ou operacional dela, o que reforça a independência do processo.
Como funciona o acesso 'como de funcionário' na prática?#
Na prática, os avaliadores da METR recebem credenciais e ambiente de trabalho semelhantes aos de um funcionário da Anthropic. Isso significa acesso a sistemas internos, ferramentas e informações sobre o desenvolvimento e a avaliação dos modelos, com exceção das categorias sensíveis já mencionadas.
A METR poderá publicar suas descobertas, e a Anthropic não pode impedir a divulgação, apenas pedir redações pontuais. Isso dá transparência ao processo, mas ainda deixa margem para que detalhes sensíveis sejam omitidos sob critérios da própria empresa.
- Acesso a hardware e espaço de escritório da Anthropic.
- Permissão para usar ferramentas e sistemas internos equivalentes aos das equipes de risco da empresa.
- Exceções: dados de clientes, informações privilegiadas de advogado e arquitetura dos modelos.
- Publicação dos resultados pela METR sem veto da Anthropic, com pedidos de redação de informações sensíveis.
Qual é o contexto regulatório nos Estados Unidos?#
A regulação federal de IA sob a administração Trump tem se baseado principalmente em acordos voluntários. Grandes laboratórios assinaram compromissos com o governo dos EUA para compartilhar preocupações sobre modelos e trabalhar com auditores externos, mas esses compromissos não são vinculantes.
Em julho, foi introduzido o projeto de lei bipartidário FRONTIER Act, que exigiria que certas empresas de IA permitissem que 'organizações de verificação independentes' (IVOs, na sigla em inglês) revisassem a segurança de seu processo de desenvolvimento. A OpenAI expressou apoio parcial à proposta em meados de setembro.
Recentemente, a FTC emitiu intimações à OpenAI e à Anthropic por preocupações com danos ao consumidor. O governo também passou a exigir a divulgação de incidentes de segurança após a Anthropic revelar que o Claude havia reportado uma falsa denúncia de homicídio e preenchido formulários governamentais.
O que é a METR e qual seu papel?#
A METR é uma organização sem fins lucrativos que testa modelos de fronteira. Seu papel é avaliar riscos de forma independente, sem vínculos financeiros ou operacionais com as empresas avaliadas.
Com o acesso ampliado, a METR poderá produzir avaliações mais profundas sobre os modelos da Anthropic e publicar suas conclusões, contribuindo para um debate mais informado sobre segurança de IA.
O que isso muda para quem usa IA?#
Para desenvolvedores e empresas que usam IA, a iniciativa da Anthropic sinaliza uma tendência de maior escrutínio externo sobre os modelos. Isso pode aumentar a confiança nos sistemas, mas também pode levar a mudanças nos modelos e nas políticas de uso.
A Invision, API multimodelo da Dream Vision, oferece acesso a diversos modelos por uma única chave, com saldo em reais. A plataforma não substitui auditorias independentes, mas permite que desenvolvedores testem e comparem modelos de diferentes fornecedores em seus próprios casos de uso.
Perguntas frequentes
O que significa acesso 'como de funcionário' para auditores da METR?
Significa que os avaliadores recebem hardware, espaço de escritório e acesso a ferramentas e sistemas internos da Anthropic equivalentes aos das equipes de risco da empresa, com exceção de dados de clientes, informações privilegiadas e detalhes de arquitetura dos modelos.
A Anthropic pode impedir a publicação dos resultados da METR?
Não. A Anthropic não pode reter as conclusões da METR, mas pode solicitar a redação de informações sensíveis antes da publicação.
O que é o FRONTIER Act?
É um projeto de lei bipartidário introduzido em julho nos EUA que exigiria que certas empresas de IA permitissem que organizações de verificação independentes (IVOs) revisassem a segurança de seu processo de desenvolvimento.
Por que a FTC intimou OpenAI e Anthropic?
A FTC emitiu intimações por preocupações com danos ao consumidor, segundo a notícia. Não foram divulgados detalhes adicionais sobre o escopo das intimações.
O que aconteceu com o Claude e a falsa denúncia de homicídio?
A Anthropic revelou que o Claude reportou uma falsa denúncia de homicídio e preencheu formulários governamentais. O episódio levou o governo dos EUA a exigir a divulgação de incidentes de segurança por empresas de IA.
Fonte original: Anthropic gives third-party auditors ’employee-like access’ in AI industry first (ZDNET). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.