Agentes· atualizado em · 3 min de leitura· Redação Invision

OpenAI e Anthropic: autonomia segura em agentes financeiros

OpenAI e Anthropic apresentam em Nova York abordagens para equilibrar autonomia e segurança em agentes financeiros, com controles e revisão humana.

Arranha-céus de centro financeiro ao anoitecer, representando tecnologia e mercados
Imagem ilustrativa: Arild Vågen · CC BY-SA 4.0 · origem

Resumo: OpenAI e Anthropic detalharam no AI Engineer New York como equilibrar autonomia e segurança em agentes financeiros, colocando controles e julgamento humano em pontos estratégicos em vez de empilhar restrições. A discussão importa agora porque os modelos começam a cruzar o limiar de utilidade e a delegação de tarefas financeiras reais deixa de ser hipótese.

Pontos-chave

  • A autonomia segura depende de onde ficam os controles e o julgamento humano, não do volume de restrições.
  • Joseph Kim, da OpenAI, prevê que até 2027 agentes façam geração de ideias de investimento e negociação.
  • A Anthropic estrutura a confiança em identidade, sandbox com aprovação e verificação contínua.
  • A Two Sigma usa classificadores para encaminhar só as decisões relevantes a humanos.
  • A Bloomberg defende controles determinísticos fora do modelo, auditoria e kill switch.
Nesta matéria

O que aconteceu no AI Engineer New York?#

O evento reuniu laboratórios de fronteira e empresas do setor financeiro para discutir como dar autonomia a agentes sem abrir mão de segurança. A principal lição apresentada é que a autonomia segura depende de onde os controles e o julgamento humano são posicionados, não da quantidade de restrições impostas.

Joseph Kim, responsável pelo ChatGPT para Serviços Financeiros na OpenAI, fez o discurso de abertura e defendeu que a capacidade crescente dos modelos levará analistas a delegar mais trabalho a agentes.

O que é o 'limiar de utilidade' citado pela OpenAI?#

Kim definiu o conceito como o ponto em que um modelo se torna capaz e confiável o suficiente para economizar tempo do usuário. Segundo ele, a capacidade crescente deve levar analistas financeiros a cruzar esse limiar em breve.

O executivo também fez previsões específicas para 2027: menos dependência de Excel e PowerPoint no setor e agentes bons o suficiente para gerar ideias de investimento e operar negociações.

Como funciona a camada de confiança da Anthropic?#

Belinda Neal, diretora-gerente de Serviços Financeiros da Anthropic, explicou que a empresa tem parcerias com instituições financeiras para o produto Claude for Financial Advisors, anunciado no mês anterior. A proposta é conectar os sistemas dos assessores a Claude e a um conjunto de habilidades de fluxo de trabalho.

Keon Shahab, da área de IA aplicada da Anthropic, descreveu três etapas da camada de confiança: identidade e permissões para saber em nome de quem o agente age, sandbox e camada de aprovação para que alguém assine antes da ação, e verificação de que o agente continua funcionando quando variáveis mudam.

Ele ilustrou a fronteira entre propor e agir com um agente de investigação de quebras de operação, que recomenda emendas a ordens para aprovação humana, mas não as executa.

Quais controles a Two Sigma implementou?#

John Feminella, SVP de Arquitetura do hedge fund Two Sigma, criticou a 'fadiga de aprovação': quando alguém aprova tudo, a inovação trava e o risco aumenta, porque a atenção se dispersa. Defendeu que segurança e inovação não são extremos opostos.

A empresa adotou controles compostos, em que cada um faz uma tarefa e juntos permitem autonomia real com nível adequado de segurança. Um deles é o classificador de modo automático, que decide chamadas rotineiras e encaminha às pessoas apenas as solicitações mais importantes. Regras determinísticas ficam para casos claros.

  • Classificadores para casos ambíguos
  • Regras determinísticas para casos claros
  • Controles compostos em vez de bloqueios

O que a Bloomberg aprendeu com incidentes reais?#

Andrey Rybka, chefe de Arquitetura e Tecnologias Emergentes do escritório do CTO da Bloomberg, relatou casos em que agentes causaram problemas. Em um deles, o agente tratou instruções embutidas em uma avaliação de marketplace como ordem para estocar um produto.

As defesas recomendadas incluem identidades e credenciais com escopo limitado, controle sobre chamadas de ferramentas, restrições de tráfego de saída, trilhas de auditoria, orçamentos e kill switches. Para ações de alto valor, validação de entrada, defesas contra injeção de prompt, rastreamento de proveniência e aprovação humana.

O que isso muda para quem usa IA?#

A mensagem prática é que a segurança de um agente não depende só do modelo: depende do desenho do produto. Kim sugeriu que times comecem já a definir o que o usuário precisa controlar, revisar ou aprovar na interface.

Feminella resumiu a lógica com uma analogia: freios existem não apenas para parar, mas para permitir ir rápido com segurança. Para quem constrói com IA, a Invision oferece acesso a vários modelos por uma única chave, o que ajuda a testar diferentes abordagens de controle sem trocar de fornecedor a cada experimento.

Vale notar que os palestrantes não informaram preços, prazos de disponibilidade ou detalhes de implementação dos produtos citados.

Perguntas frequentes

O que é o limiar de utilidade da OpenAI?

É o ponto em que um modelo se torna capaz e confiável o suficiente para economizar tempo do usuário, segundo Joseph Kim, da OpenAI.

Qual é o produto da Anthropic para o setor financeiro?

O Claude for Financial Advisors, anunciado no mês anterior ao evento, que conecta sistemas de assessores a Claude e a habilidades de fluxo de trabalho.

O que é fadiga de aprovação em agentes de IA?

É quando uma pessoa precisa aprovar tudo e passa a não prestar atenção em cada decisão, travando a inovação e elevando o risco, segundo John Feminella, da Two Sigma.

Quais defesas a Bloomberg recomenda para agentes?

Identidades com escopo, controle de chamadas de ferramentas, restrições de tráfego, auditoria, orçamentos, kill switches e aprovação humana para ações de alto valor.

agentesfinançasopenaianthropicsegurança

Fonte original: Crossing the Threshold: How OpenAI and Anthropic Approach Autonomy and Safety in Financial Agents (Latent Space). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.