# Agentes de IA têm 'gosto' ruim em decisões de longo prazo, mostra novo benchmark Taste-Bench

> Pesquisadores da Microsoft e da City University of Hong Kong criaram o Taste-Bench, um benchmark que mede a qualidade das decisões intermediárias de agentes de IA em tarefas longas, e não apenas o resultado final. A importância está em revelar que mesmo o melhor modelo testado acertou só 59,7% das escolhas, um sinal de que agentes ainda planejam mal a longo prazo.

Publicado em 2026-10-18 · https://invision.dreamvision.com.br/blog/agentes-de-ia-tem-gosto-ruim-em-decisoes-de-longo-prazo-mostra-novo-benchmark-ta

## Pontos-chave
- Pesquisadores da Microsoft e da City University of Hong Kong criaram o Taste-Bench para medir a qualidade das decisões de agentes em tarefas longas.
- O melhor modelo, GPT-5.6 Sol, acertou 59,7% das escolhas, seguido pelo GPT-5.5, com 59,5%.
- Quando a pista decisiva só aparece após muito trabalho, a precisão média dos modelos cai para 21%, perto do chute.
- Aumentar o esforço de raciocínio quase não alterou a precisão nas bifurcações mais difíceis.
- Destilar o julgamento em um modelo aluno elevou a precisão de 30% para 47,9% em tarefas não vistas.

## O que é o 'gosto' de um agente de IA?
Agentes de IA já assumem tarefas de várias etapas, como escrever um artigo de pesquisa ou construir um projeto de software. No caminho, precisam decidir qual hipótese testar, sobre qual código avançar ou qual experimento rodar em seguida.

Essas escolhas raramente mostram efeito imediato. Uma decisão ruim costuma parecer correta no início, e o custo real só aparece depois que o agente já gastou boa parte do orçamento disponível.

Os autores do estudo chamam de 'gosto' a capacidade de fazer bem esse tipo de escolha. Benchmarks existentes medem se o agente termina a tarefa, mas não a qualidade dos passos ao longo do caminho — e é essa lacuna que o Taste-Bench tenta preencher.


## Como o Taste-Bench avalia decisões sem precisar de humanos
Julgar uma escolha de longo prazo não é trivial: uma implementação limpa e outra descuidada podem gerar o mesmo resultado inicial e passar nos mesmos testes. A diferença aparece só quando mudanças futuras se tornam mais fáceis em um dos casos.

Avaliação humana seria cara, exigiria especialistas de domínio e não escalaria. Por isso, os pesquisadores usam a retrospectiva: o trecho posterior da trajetória — o registro da execução do agente com todos os passos e observações — mostra se uma decisão anterior funcionou.

Como sistemas de agentes tentam a mesma tarefa várias vezes, as tentativas acabam se separando em direções diferentes. Esse ponto de bifurcação é chamado de 'decision fork', ou bifurcação de decisão. Para medir o gosto, a execução é congelada ali, todo o trabalho posterior é escondido e um modelo escolhe entre os dois caminhos.


## O que compõe o conjunto de testes
O Taste-Bench reúne 502 questões. Cada uma traz a tarefa original, a trajetória até a bifurcação e duas direções possíveis.

O primeiro tipo vem de duas tentativas independentes da mesma tarefa que divergem, sem que o agente veja o caminho errado. O segundo vem de um agente que se corrige dentro de uma mesma execução e faz um desvio: a direção descartada e a que funcionou depois formam as duas opções. Essa variante testa se um modelo consegue identificar o erro antes do próprio agente que executava a tarefa.

Os dados brutos vieram de milhares de execuções avaliadas em tarefas de programação e pesquisa em IA, incluindo SWE-bench Pro e o MALT, release público de transcrições do METR. Um modelo gerador filtrou bifurcações adequadas, descartando perguntas triviais e casos indecidíveis, e a revisão humana confirmou quase todas as etiquetas geradas automaticamente.


## Qual foi o desempenho dos modelos testados?
A equipe avaliou 14 modelos atuais das famílias Claude, GPT, Grok, DeepSeek, GLM, MiniMax e Mistral. Cada pergunta foi feita duas vezes, uma na ordem normal e outra com as opções invertidas, e só contou se o modelo acertasse nas duas. O chute puro acerta 25%.

O melhor resultado foi do GPT-5.6 Sol, com média de 59,7%, seguido de perto pelo GPT-5.5, com 59,5%. Os demais ficaram bem abaixo, e nenhum chegou perto de resolver o benchmark, mesmo com todas as questões sendo apenas escolhas binárias.

Bifurcações do tipo desvio foram consistentemente mais difíceis que as paralelas. A equipe também mediu quanto tempo à frente um observador precisaria olhar para que o melhor caminho ficasse claro: quando a pista já está visível nos passos anteriores, a precisão média chega a 62,3%; quando ela só aparece após muito trabalho posterior, cai para 21%, perto do chute.


## Pensar mais não resolve o problema
Os pesquisadores repetiram o teste com três níveis de raciocínio em dois modelos. Passar do nível mais baixo para o mais alto quase não mudou a precisão.

Os modelos gastaram mais tokens de raciocínio no nível mais difícil, ou seja, pensaram por mais tempo justamente nas questões que mais erravam. A equipe interpreta isso como sinal de que a pista necessária simplesmente ainda não está disponível naquelas bifurcações.

Quanto mais tarde a evidência decisiva aparece na trajetória, pior o desempenho dos modelos — e mais orçamento de raciocínio não altera esse quadro.


## É possível ensinar 'gosto' a um agente?
Os autores mostram que o gosto pode ser ensinado. Eles destilaram o julgamento de um modelo professor, que conhece o caminho correto, em um modelo aluno que vê apenas a pergunta. A base usada foi o Qwen3.6-27B.

Em tarefas não vistas, a precisão do aluno subiu de 30% para 47,9%. O ganho apareceu na prática: com o julgamento do aluno inserido como conselho no contexto da tarefa em cada bifurcação, a taxa de sucesso em 41 tarefas reservadas do SWE-bench Pro subiu de 14,6% para 33,7%. O conselho perfeitamente correto chegaria a 39%, então o aluno capturou a maior parte dos ganhos possíveis.

A conclusão da equipe é que o julgamento de agentes de planejamento de longo prazo pode ser medido e melhorado. O benchmark e o código estão disponíveis publicamente.


## O que isso muda para quem usa IA
O resultado reforça que testar apenas se o agente entrega o resultado final pode esconder decisões intermediárias ruins. Para quem constrói aplicações com agentes, vale acompanhar as trajetórias e não só o desfecho de cada execução.

A Invision oferece acesso a vários modelos por uma única chave, o que permite comparar como diferentes famílias se comportam em tarefas longas e escolher a que melhor se adapta a cada fluxo, sem prometer preço ou desempenho específico.

O benchmark é público, o que ajuda a equipe a reproduzir a avaliação e a incorporar esse tipo de checagem no próprio processo de desenvolvimento.


## Perguntas frequentes
### O que é o Taste-Bench?
É um benchmark criado por pesquisadores da Microsoft e da City University of Hong Kong para medir o 'gosto' de agentes de IA, ou seja, a qualidade das decisões intermediárias em tarefas longas. Ele usa bifurcações de decisão extraídas de execuções reais.

### Qual modelo teve o melhor desempenho no Taste-Bench?
O GPT-5.6 Sol, com média de 59,7%, seguido pelo GPT-5.5, com 59,5%. Nenhum dos 14 modelos testados chegou perto de resolver o benchmark.

### Por que pensar por mais tempo não melhora o resultado?
Segundo os autores, nas bifurcações mais difíceis a pista necessária ainda não está disponível na trajetória. Por isso, aumentar o orçamento de raciocínio quase não muda a precisão.

### É possível melhorar o julgamento de um agente?
Sim. Os pesquisadores destilaram o julgamento de um modelo professor em um aluno baseado no Qwen3.6-27B, e a precisão em tarefas não vistas subiu de 30% para 47,9%. A taxa de sucesso em tarefas do SWE-bench Pro também aumentou.

### O Taste-Bench está disponível publicamente?
Sim. A notícia informa que o benchmark e o código estão disponíveis publicamente. Os detalhes de licença e de acesso não foram informados na notícia.

Fonte original: [AI agents have bad taste in long-term decisions and a new benchmark proves it](https://the-decoder.com/ai-agents-have-bad-taste-in-long-term-decisions-and-a-new-benchmark-proves-it/) (The Decoder).
