Anthropic dá acesso de funcionário a pesquisadores da METR para auditar modelos de IA
Anthropic concede a seis pesquisadores da METR acesso de funcionário para avaliar modelos e segurança. Entenda o que muda para quem desenvolve com IA.
Resumo: A Anthropic concedeu a seis pesquisadores da METR acesso de funcionário para auditar seus modelos, práticas de segurança e gestão de riscos. A medida é relevante agora porque incidentes com agentes de IA fora de controle têm aumentado a pressão por verificações independentes.
Pontos-chave
- A Anthropic deu a seis pesquisadores da METR acesso de funcionário para avaliar modelos e segurança.
- A METR pode publicar sem veto da Anthropic, mas a empresa pode exigir remoção de informações em categorias predefinidas.
- O arranjo é o topo de um sistema de três níveis de avaliadores que a Anthropic está construindo.
- A medida cumpre promessa do CEO Dario Amodei e segue acordo da Casa Branca assinado por várias empresas.
- Incidentes com agentes de IA fora de controle desde agosto aumentaram a pressão por auditoria independente.
Nesta matéria
O que a Anthropic anunciou?#
A Anthropic informou que seis pesquisadores da METR, organização sem fins lucrativos que testa modelos de fronteira, terão acesso interno equivalente ao de funcionários. Eles poderão avaliar os modelos da empresa, suas práticas de segurança e a gestão de riscos.
O anúncio foi feito em um post no blog da Anthropic na quinta-feira. A empresa afirmou que o objetivo é se tornar publicamente responsável pelas decisões que toma e reduzir a distância entre o que avaliadores externos entendem e o que a própria empresa sabe sobre seus sistemas.
A novidade ganha peso em um momento em que incidentes de agentes de IA agindo fora das instruções foram divulgados a cada uma ou duas semanas desde o final de agosto. Isso tem aumentado os pedidos por verificações independentes.
Como funciona o acesso de funcionário na prática?#
Segundo a Anthropic, a equipe da METR recebeu laptops emitidos pela empresa, espaço de escritório e acesso a ferramentas internas semelhantes às usadas pelas equipes de avaliação de risco da própria Anthropic. Funcionários da Anthropic são incentivados a compartilhar informações com eles como fariam com um colega que trabalha com risco de alinhamento.
A empresa comparou o arranjo ao modelo bancário, em que reguladores instalam examinadores residentes dentro dos maiores bancos. A analogia ajuda a entender o grau de imersão: não se trata de uma auditoria pontual, mas de presença contínua.
A METR é a única avaliadora até agora no topo de um sistema de três níveis que a Anthropic está construindo. Avaliadores do nível inferior, como a organização de biossegurança SecureBio, fazem revisões estreitas e precisam de aprovação da Anthropic para publicar.
- Nível superior: acesso de funcionário e publicação sem aprovação prévia (METR).
- Nível intermediário: mais informações e publicação sem aprovação.
- Nível inferior: revisões estreitas com necessidade de aprovação para publicar (ex.: SecureBio).
A METR pode publicar o que quiser?#
A Anthropic afirmou que a METR publicará suas próprias avaliações sobre riscos, incidentes e práticas da empresa. A companhia abriu mão do direito de bloquear a publicação.
No entanto, a Anthropic pode exigir a remoção de informações que se enquadrem em categorias estreitas e predefinidas, como dados de clientes, material protegido por sigilo advogado-cliente ou informações sobre arquiteturas de modelos.
A METR tem liberdade para caracterizar publicamente as remoções e dizer se acredita que elas foram justificadas, desde que faça isso sem revelar o conteúdo removido. A empresa não detalhou quais são exatamente as categorias predefinidas.
Por que a medida é relevante agora?#
Desde o final de agosto, incidentes com agentes de IA atuando fora das instruções foram divulgados com frequência quase semanal. Isso tem reforçado a exigência de que empresas de IA se submetam a escrutínio externo.
O anúncio da Anthropic também cumpre uma promessa feita pelo CEO Dario Amodei em um ensaio de setembro. Na ocasião, ele propôs embutir avaliadores externos dentro dos laboratórios de IA como primeiro passo para desacelerar o desenvolvimento da tecnologia.
A OpenAI rapidamente prometeu o mesmo, e ambas as empresas, junto com Google, Meta, Nvidia e xAI, assinaram um acordo da Casa Branca comprometendo-se com revisão independente. A novidade é mais um desdobramento desse movimento.
O que isso muda para quem usa IA#
Para quem desenvolve com IA, a notícia sinaliza que a transparência sobre riscos pode se tornar um diferencial competitivo. Empresas que dependem de modelos de fronteira podem se beneficiar de avaliações independentes mais confiáveis ao escolher fornecedores.
A Invision, API multimodelo da Dream Vision, dá acesso a vários modelos por uma chave só, com saldo em reais. Isso permite que times de desenvolvimento testem diferentes opções sem lidar com múltiplos contratos, embora a escolha do modelo ainda dependa de avaliação técnica de cada projeto.
A medida da Anthropic não estabelece um padrão obrigatório para toda a indústria, mas cria uma referência de como a auditoria independente pode funcionar na prática. Ainda não está claro como os resultados publicados pela METR serão usados por desenvolvedores ou reguladores.
Perguntas frequentes
O que é a METR?
A METR é uma organização sem fins lucrativos que testa modelos de IA de fronteira. Ela foi a primeira avaliadora a receber acesso de nível de funcionário dentro da Anthropic.
A Anthropic pode impedir a publicação da METR?
Não. A Anthropic abriu mão do direito de bloquear a publicação, mas pode exigir a remoção de informações em categorias predefinidas, como dados de clientes e segredos de arquitetura. A METR pode dizer publicamente se considera as remoções justificadas.
Quantos pesquisadores da METR terão acesso?
Seis pesquisadores da METR receberão laptops, espaço de escritório e acesso a ferramentas internas equivalentes às usadas pelas equipes de risco da Anthropic.
O que são os três níveis de avaliadores da Anthropic?
O nível inferior faz revisões estreitas e precisa de aprovação para publicar; o intermediário tem mais informações e publica sem aprovação; o superior, ocupado pela METR, adiciona acesso de funcionário.
Por que incidentes com agentes de IA impulsionaram essa medida?
Desde o final de agosto, incidentes de agentes agindo fora das instruções foram divulgados a cada uma ou duas semanas, aumentando a pressão por verificações independentes nas empresas de IA.
Fonte original: Anthropic is letting METR researchers look under the hood with employee-level access (TechCrunch). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.