# ProAS propõe atribuição de crédito por progresso em agentes de IA com RL

> Pesquisadores propõem o ProAS, um framework plug-and-play que substitui a atribuição uniforme de crédito dos algoritmos de RL sem crítico por um esquema baseado em progresso, usando um Agentic Reference Graph. A relevância agora está em tornar o treinamento de agentes LLM mais preciso e rápido sem adicionar a sobrecarga de um crítico, com ganhos reportados em ALFWorld e WebShop.

Publicado em 2026-10-13 · https://invision.dreamvision.com.br/blog/proas-propoe-atribuicao-de-credito-por-progresso-em-agentes-de-ia-com-rl

## Pontos-chave
- ProAS é um framework plug-and-play para atribuição de crédito em RL de agentes LLM sem crítico.
- Ele usa o Agentic Reference Graph com Masking Unreasonable Incentives e Asymmetric Penalty Redistribution.
- Experimentos com Qwen2.5-1.5B-Instruct e Qwen2.5-7B-Instruct atingiram 91,9% e 94,3% no ALFWorld.
- No WebShop, as taxas de sucesso reportadas foram 66,7% e 70,8%.
- O treinamento converge até 2,44 vezes mais rápido, segundo o artigo.

## O que o ProAS propõe para o treinamento de agentes LLM?
O ProAS é apresentado como um framework plug-and-play para aprendizado por reforço de agentes baseados em LLMs. A proposta é melhorar a atribuição de crédito sem introduzir um crítico, mantendo a eficiência dos algoritmos sem crítico.

O trabalho parte da observação de que algoritmos populares como o GRPO distribuem a mesma vantagem da trajetória para todas as ações. Para os autores, isso é um dilema de atribuição uniforme de crédito.


## Por que a atribuição uniforme de crédito é um problema?
Segundo a análise dos autores, tratar todas as ações de uma trajetória da mesma forma reforça ações estruturalmente inválidas em trajetórias preferidas. Ou seja, o modelo pode aprender a repetir passos ruins só porque o resultado final foi bom.

No caso das trajetórias não preferidas, a uniformidade ignora o efeito cascata de desvios iniciais decisivos. Um erro cometido cedo pode contaminar todo o restante da execução, mas recebe o mesmo peso que ações posteriores.


## Como funcionam o Agentic Reference Graph e as duas técnicas do ProAS?
O ProAS usa um Agentic Reference Graph (ARG) que evolui dinamicamente para dar suporte a uma atribuição de crédito mais granular. A partir desse grafo, o framework aplica duas técnicas complementares.

A primeira é o Masking Unreasonable Incentives (MUI), que busca evitar o incentivo a ações não razoáveis. A segunda é o Asymmetric Penalty Redistribution (APR), que redistribui penalidades de forma assimétrica ao longo da trajetória.

- Agentic Reference Graph (ARG): grafo de referência que evolui durante o treinamento.
- Masking Unreasonable Incentives (MUI): mascara incentivos a ações consideradas não razoáveis.
- Asymmetric Penalty Redistribution (APR): redistribui penalidades de maneira assimétrica.

## Quais resultados foram reportados no ALFWorld e no WebShop?
Os experimentos usaram Qwen2.5-1.5B-Instruct e Qwen2.5-7B-Instruct. Segundo o artigo, o ProAS eleva baselines baseados em grupo a novos patamares de estado da arte nas duas tarefas avaliadas.

No ALFWorld, as taxas de sucesso de pico chegaram a 91,9% e 94,3%. No WebShop, os valores reportados foram 66,7% e 70,8%, respectivamente, para os dois modelos.


## O ProAS acelera a convergência e é robusto a grafos imperfeitos?
O artigo afirma que o framework acelera a convergência do treinamento em até 2,44 vezes. Esse ganho é apresentado como consequência da atribuição de crédito mais precisa, sem a sobrecarga de um crítico.

Os autores também relatam robustez contra Agentic Reference Graphs imperfeitos ou destilados. Isso indica que o método não depende de um grafo de referência perfeito para funcionar.

O código está disponível no repositório do projeto no GitHub, conforme indicado na notícia.


## O que isso muda para quem usa IA
Para quem desenvolve agentes com IA, o ProAS sinaliza uma alternativa para melhorar o treinamento sem trocar toda a pilha de RL. Como é plug-and-play, a ideia é acoplá-lo a baselines existentes baseados em grupo.

A Invision oferece acesso a vários modelos por uma única chave, o que ajuda a testar diferentes configurações de agentes sem multiplicar integrações. A plataforma não promete preço nem resultado de treinamento; a decisão depende da avaliação de cada projeto.

Vale acompanhar a reprodutibilidade dos números em outros ambientes e tarefas antes de adotar o método em produção.


## Perguntas frequentes
### O que é o ProAS?
É um framework plug-and-play para aprendizado por reforço de agentes LLM que faz atribuição de crédito por progresso usando um Agentic Reference Graph, sem crítico.

### Quais problemas ele resolve no GRPO?
Ele busca corrigir a atribuição uniforme de crédito, que reforça ações inválidas em trajetórias boas e ignora desvios iniciais decisivos em trajetórias ruins.

### Quais resultados foram reportados?
O artigo relata 91,9% e 94,3% no ALFWorld e 66,7% e 70,8% no WebShop com Qwen2.5-1.5B-Instruct e Qwen2.5-7B-Instruct, além de convergência até 2,44 vezes mais rápida.

### O ProAS funciona com grafos de referência imperfeitos?
Os autores afirmam que o método mantém robustez contra Agentic Reference Graphs imperfeitos ou destilados.

### Onde encontrar o código?
O código está no repositório do projeto no GitHub, indicado na notícia como https://github.com/LINs-lab/ProAS.

Fonte original: [ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning](https://tldr.takara.ai/p/2610.18683) (Hugging Face Papers).
