OpenAI e Anthropic: autonomia segura em agentes financeiros
OpenAI e Anthropic apresentam em Nova York abordagens para equilibrar autonomia e segurança em agentes financeiros, com controles e revisão humana.
Resumo: OpenAI e Anthropic detalharam no AI Engineer New York como equilibrar autonomia e segurança em agentes financeiros, colocando controles e julgamento humano em pontos estratégicos em vez de empilhar restrições. A discussão importa agora porque os modelos começam a cruzar o limiar de utilidade e a delegação de tarefas financeiras reais deixa de ser hipótese.
Pontos-chave
- A autonomia segura depende de onde ficam os controles e o julgamento humano, não do volume de restrições.
- Joseph Kim, da OpenAI, prevê que até 2027 agentes façam geração de ideias de investimento e negociação.
- A Anthropic estrutura a confiança em identidade, sandbox com aprovação e verificação contínua.
- A Two Sigma usa classificadores para encaminhar só as decisões relevantes a humanos.
- A Bloomberg defende controles determinísticos fora do modelo, auditoria e kill switch.
Nesta matéria
O que aconteceu no AI Engineer New York?#
O evento reuniu laboratórios de fronteira e empresas do setor financeiro para discutir como dar autonomia a agentes sem abrir mão de segurança. A principal lição apresentada é que a autonomia segura depende de onde os controles e o julgamento humano são posicionados, não da quantidade de restrições impostas.
Joseph Kim, responsável pelo ChatGPT para Serviços Financeiros na OpenAI, fez o discurso de abertura e defendeu que a capacidade crescente dos modelos levará analistas a delegar mais trabalho a agentes.
O que é o 'limiar de utilidade' citado pela OpenAI?#
Kim definiu o conceito como o ponto em que um modelo se torna capaz e confiável o suficiente para economizar tempo do usuário. Segundo ele, a capacidade crescente deve levar analistas financeiros a cruzar esse limiar em breve.
O executivo também fez previsões específicas para 2027: menos dependência de Excel e PowerPoint no setor e agentes bons o suficiente para gerar ideias de investimento e operar negociações.
Como funciona a camada de confiança da Anthropic?#
Belinda Neal, diretora-gerente de Serviços Financeiros da Anthropic, explicou que a empresa tem parcerias com instituições financeiras para o produto Claude for Financial Advisors, anunciado no mês anterior. A proposta é conectar os sistemas dos assessores a Claude e a um conjunto de habilidades de fluxo de trabalho.
Keon Shahab, da área de IA aplicada da Anthropic, descreveu três etapas da camada de confiança: identidade e permissões para saber em nome de quem o agente age, sandbox e camada de aprovação para que alguém assine antes da ação, e verificação de que o agente continua funcionando quando variáveis mudam.
Ele ilustrou a fronteira entre propor e agir com um agente de investigação de quebras de operação, que recomenda emendas a ordens para aprovação humana, mas não as executa.
Quais controles a Two Sigma implementou?#
John Feminella, SVP de Arquitetura do hedge fund Two Sigma, criticou a 'fadiga de aprovação': quando alguém aprova tudo, a inovação trava e o risco aumenta, porque a atenção se dispersa. Defendeu que segurança e inovação não são extremos opostos.
A empresa adotou controles compostos, em que cada um faz uma tarefa e juntos permitem autonomia real com nível adequado de segurança. Um deles é o classificador de modo automático, que decide chamadas rotineiras e encaminha às pessoas apenas as solicitações mais importantes. Regras determinísticas ficam para casos claros.
- Classificadores para casos ambíguos
- Regras determinísticas para casos claros
- Controles compostos em vez de bloqueios
O que a Bloomberg aprendeu com incidentes reais?#
Andrey Rybka, chefe de Arquitetura e Tecnologias Emergentes do escritório do CTO da Bloomberg, relatou casos em que agentes causaram problemas. Em um deles, o agente tratou instruções embutidas em uma avaliação de marketplace como ordem para estocar um produto.
As defesas recomendadas incluem identidades e credenciais com escopo limitado, controle sobre chamadas de ferramentas, restrições de tráfego de saída, trilhas de auditoria, orçamentos e kill switches. Para ações de alto valor, validação de entrada, defesas contra injeção de prompt, rastreamento de proveniência e aprovação humana.
O que isso muda para quem usa IA?#
A mensagem prática é que a segurança de um agente não depende só do modelo: depende do desenho do produto. Kim sugeriu que times comecem já a definir o que o usuário precisa controlar, revisar ou aprovar na interface.
Feminella resumiu a lógica com uma analogia: freios existem não apenas para parar, mas para permitir ir rápido com segurança. Para quem constrói com IA, a Invision oferece acesso a vários modelos por uma única chave, o que ajuda a testar diferentes abordagens de controle sem trocar de fornecedor a cada experimento.
Vale notar que os palestrantes não informaram preços, prazos de disponibilidade ou detalhes de implementação dos produtos citados.
Perguntas frequentes
O que é o limiar de utilidade da OpenAI?
É o ponto em que um modelo se torna capaz e confiável o suficiente para economizar tempo do usuário, segundo Joseph Kim, da OpenAI.
Qual é o produto da Anthropic para o setor financeiro?
O Claude for Financial Advisors, anunciado no mês anterior ao evento, que conecta sistemas de assessores a Claude e a habilidades de fluxo de trabalho.
O que é fadiga de aprovação em agentes de IA?
É quando uma pessoa precisa aprovar tudo e passa a não prestar atenção em cada decisão, travando a inovação e elevando o risco, segundo John Feminella, da Two Sigma.
Quais defesas a Bloomberg recomenda para agentes?
Identidades com escopo, controle de chamadas de ferramentas, restrições de tráfego, auditoria, orçamentos, kill switches e aprovação humana para ações de alto valor.
Fonte original: Crossing the Threshold: How OpenAI and Anthropic Approach Autonomy and Safety in Financial Agents (Latent Space). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.