# ThinkingBox: benchmark da Microsoft avalia agentes de IA pelo que eles deixam no banco de dados, e não pelo que dizem

> A Microsoft lançou no Hugging Face o ThinkingBox, um benchmark que executa tarefas de negócio repetidamente e verifica o estado final do banco de dados e os efeitos colaterais deixados por agentes de IA. Em 121.680 tentativas válidas, 79.853 falharam nas checagens executáveis, e apenas três de 18 modelos mantiveram a maior parte do desempenho em 20 repetições. A notícia importa agora porque empresas estão colocando agentes em produção e precisam distinguir um acerto ocasional de um comportamento

Publicado em 2026-10-04 · https://invision.dreamvision.com.br/blog/thinkingbox-benchmark-da-microsoft-avalia-agentes-de-ia-pelo-que-eles-deixam-no

## Pontos-chave
- O ThinkingBox avalia agentes pelo estado final do banco de dados e efeitos colaterais, não pela resposta gerada.
- Cada uma das 507 tarefas é executada 20 vezes para medir consistência.
- Em 121.680 tentativas válidas, 79.853 falharam nas checagens executáveis.
- Apenas GPT-6-Astra, Claude Opus 5.5 e Claude Opus 5 mantiveram a maior parte do desempenho em 20 repetições.
- Cerca de quatro em cinco falhas envolvem manuseio de ferramentas, e não raciocínio do modelo.

## O que é o ThinkingBox da Microsoft?
O ThinkingBox é um ambiente de testes que coloca agentes de IA contra sessões isoladas de ferramentas MCP e, ao final de cada tentativa, verifica o estado do banco de dados e os efeitos colaterais produzidos. A abordagem foi adaptada de um artigo da Microsoft e está disponível publicamente no Hugging Face.

O benchmark contém 507 fluxos de trabalho de negócio com estado, cobrindo áreas como varejo, seguros e atendimento ao cliente. Cada tarefa define um estado inicial do backend, um objetivo do usuário, as ferramentas disponíveis, políticas do domínio e checagens executáveis sobre o estado final.


## Por que a resposta final do agente não basta?
A notícia usa um exemplo de atendimento: um agente faz nove chamadas de ferramenta corretas, mas encerra o chamado como resolvido enquanto o estado exigido era de espera. O problema não está na redação da resposta, e sim no registro que ficou no banco.

Segundo o texto, respostas finais e chamadas de ferramenta válidas são apenas proxies. Só os registros deixados pelo agente respondem se a tarefa foi realmente cumprida.


## Quais foram os resultados de consistência dos modelos?
O estudo rodou cada uma das 507 tarefas 20 vezes, sempre a partir de um backend limpo, para medir se o acerto se mantém. Na avaliação pass@1, Claude Opus 5.5 lidera com 67,16%, seguido de perto por Claude Opus 5, e o modelo open-weights Kimi-K3 fica próximo do GPT-6-Astra.

Quando a métrica passa a ser a execução bem-sucedida nas 20 tentativas, o cenário muda. Apenas GPT-6-Astra, Claude Opus 5.5 e Claude Opus 5 mantêm a maior parte do desempenho original, com retenção de 78%, 71% e 71%, respectivamente.

Na outra ponta, GLM-5.1, Kimi-K2.6 e DeepSeek-V4-Pro mantêm cerca de 8% do resultado. Kimi-K3 é o modelo com maior cobertura, resolvendo ao menos uma vez 93,89% das tarefas, mas acerta todas as 20 tentativas em apenas 13,41% delas.


## Qual é o custo de um resultado confiável?
O artigo calcula o custo por tentativa bem-sucedida a partir do uso de tokens em campanhas completas, preços de tabela sem desconto e endpoints sem quantização declarada. A fronteira de custo identificada tem três modelos: GPT-5.6 Sol, GPT-5.4 e Claude Opus 5.5.

A análise também mede o custo por tarefa confiável, dividindo o custo total da campanha de 20 execuções pelo número de tarefas aprovadas em todas as tentativas. GPT-5.4 aparece como o mais barato nesse critério, com 6,80 dólares, embora apenas 128 tarefas atinjam o padrão, enquanto GPT-6-Astra chega a 231 tarefas por 7,45 dólares e Claude Opus 5.5 a 241 por 7,80 dólares.

O texto reforça que esses valores são índices comparativos e não faturas de produção.


## Onde estão as falhas dos agentes?
Em uma análise de ablação com 121.680 tentativas válidas em 12 modelos, 79.853 falharam nas checagens executáveis. Entre essas falhas, 67,24% terminaram de forma limpa, chamaram ferramentas que alteram estado e não relataram erro final de ferramenta.

As checagens executáveis encontraram valores de campo errados em 77,61% dos casos, efeitos extras não pretendidos em 43,30% e efeitos obrigatórios ausentes em 25,36%. O diagnóstico predominante é de manuseio de ferramentas, e não de raciocínio: cerca de quatro em cada cinco falhas envolvem recuperação de erros de ferramenta, pré-condições não atendidas ou buscas vazias.


## Como executar o benchmark?
O ThinkingBox está disponível no Hugging Face, tanto o harness quanto o dataset, e o benchmark pode ser executado via OpenEnv. O ambiente inclui etapas como instalar dependências, iniciar o Typesense, subir os servidores MCP e o servidor OpenEnv, verificar prontidão e pontuar um episódio.

A notícia não detalha versões, licenças ou requisitos mínimos de infraestrutura além do que está descrito no guia.


## O que isso muda para quem usa IA
Para quem desenvolve agentes, a principal lição é que verificar o estado final antes de confirmar uma operação vale mais do que confiar no resumo gerado pelo modelo. Classificar erros de ferramenta para direcionar novas tentativas e reduzir a superfície de ferramentas também aparece como recomendação prática.

A Invision, API multimodelo de IA da Dream Vision, permite acessar vários modelos por uma chave só, com saldo em reais, o que pode facilitar testes de diferentes modelos em fluxos que exigem consistência antes de ir à produção.


## Perguntas frequentes
### O que é o ThinkingBox da Microsoft?
É um ambiente de testes que executa agentes de IA em fluxos de negócio com estado e avalia o que eles deixam registrado no banco de dados e nos efeitos colaterais, em vez de julgar apenas a resposta final.

### Quantas vezes cada tarefa é executada no benchmark?
Cada uma das 507 tarefas é executada 20 vezes, sempre a partir de um backend limpo, para medir se o acerto se mantém.

### Qual modelo teve melhor consistência no ThinkingBox?
GPT-6-Astra reteve 78% do desempenho de uma tentativa quando repetido 20 vezes. Claude Opus 5.5 e Claude Opus 5 ficaram logo atrás, com 71% cada.

### Por que a resposta final do agente não é suficiente?
Porque o agente pode parecer correto e ainda deixar um registro errado, criar um efeito extra ou não produzir o efeito obrigatório. As checagens no banco de dados capturam essas diferenças.

### O ThinkingBox está disponível para uso?
Sim, o harness e o dataset estão disponíveis no Hugging Face, e o benchmark pode ser executado via OpenEnv.

Fonte original: [The Agent Said It Was Done. The Database Disagreed.](https://huggingface.co/blog/microsoft/thinkingbox) (Hugging Face).
