Agentes· atualizado em · 3 min de leitura· Redação Invision

ProAS propõe atribuição de crédito por progresso em agentes de IA com RL

ProAS é um framework plug-and-play que usa um Agentic Reference Graph para atribuir crédito por progresso em RL de agentes LLM, elevando baselines como GRPO…

Servidores de treinamento de aprendizado de máquina em um data center
Imagem ilustrativa: Syced · CC0 · origem

Resumo: Pesquisadores propõem o ProAS, um framework plug-and-play que substitui a atribuição uniforme de crédito dos algoritmos de RL sem crítico por um esquema baseado em progresso, usando um Agentic Reference Graph. A relevância agora está em tornar o treinamento de agentes LLM mais preciso e rápido sem adicionar a sobrecarga de um crítico, com ganhos reportados em ALFWorld e WebShop.

Pontos-chave

  • ProAS é um framework plug-and-play para atribuição de crédito em RL de agentes LLM sem crítico.
  • Ele usa o Agentic Reference Graph com Masking Unreasonable Incentives e Asymmetric Penalty Redistribution.
  • Experimentos com Qwen2.5-1.5B-Instruct e Qwen2.5-7B-Instruct atingiram 91,9% e 94,3% no ALFWorld.
  • No WebShop, as taxas de sucesso reportadas foram 66,7% e 70,8%.
  • O treinamento converge até 2,44 vezes mais rápido, segundo o artigo.
Nesta matéria

O que o ProAS propõe para o treinamento de agentes LLM?#

O ProAS é apresentado como um framework plug-and-play para aprendizado por reforço de agentes baseados em LLMs. A proposta é melhorar a atribuição de crédito sem introduzir um crítico, mantendo a eficiência dos algoritmos sem crítico.

O trabalho parte da observação de que algoritmos populares como o GRPO distribuem a mesma vantagem da trajetória para todas as ações. Para os autores, isso é um dilema de atribuição uniforme de crédito.

Por que a atribuição uniforme de crédito é um problema?#

Segundo a análise dos autores, tratar todas as ações de uma trajetória da mesma forma reforça ações estruturalmente inválidas em trajetórias preferidas. Ou seja, o modelo pode aprender a repetir passos ruins só porque o resultado final foi bom.

No caso das trajetórias não preferidas, a uniformidade ignora o efeito cascata de desvios iniciais decisivos. Um erro cometido cedo pode contaminar todo o restante da execução, mas recebe o mesmo peso que ações posteriores.

Como funcionam o Agentic Reference Graph e as duas técnicas do ProAS?#

O ProAS usa um Agentic Reference Graph (ARG) que evolui dinamicamente para dar suporte a uma atribuição de crédito mais granular. A partir desse grafo, o framework aplica duas técnicas complementares.

A primeira é o Masking Unreasonable Incentives (MUI), que busca evitar o incentivo a ações não razoáveis. A segunda é o Asymmetric Penalty Redistribution (APR), que redistribui penalidades de forma assimétrica ao longo da trajetória.

  • Agentic Reference Graph (ARG): grafo de referência que evolui durante o treinamento.
  • Masking Unreasonable Incentives (MUI): mascara incentivos a ações consideradas não razoáveis.
  • Asymmetric Penalty Redistribution (APR): redistribui penalidades de maneira assimétrica.

Quais resultados foram reportados no ALFWorld e no WebShop?#

Os experimentos usaram Qwen2.5-1.5B-Instruct e Qwen2.5-7B-Instruct. Segundo o artigo, o ProAS eleva baselines baseados em grupo a novos patamares de estado da arte nas duas tarefas avaliadas.

No ALFWorld, as taxas de sucesso de pico chegaram a 91,9% e 94,3%. No WebShop, os valores reportados foram 66,7% e 70,8%, respectivamente, para os dois modelos.

O ProAS acelera a convergência e é robusto a grafos imperfeitos?#

O artigo afirma que o framework acelera a convergência do treinamento em até 2,44 vezes. Esse ganho é apresentado como consequência da atribuição de crédito mais precisa, sem a sobrecarga de um crítico.

Os autores também relatam robustez contra Agentic Reference Graphs imperfeitos ou destilados. Isso indica que o método não depende de um grafo de referência perfeito para funcionar.

O código está disponível no repositório do projeto no GitHub, conforme indicado na notícia.

O que isso muda para quem usa IA#

Para quem desenvolve agentes com IA, o ProAS sinaliza uma alternativa para melhorar o treinamento sem trocar toda a pilha de RL. Como é plug-and-play, a ideia é acoplá-lo a baselines existentes baseados em grupo.

A Invision oferece acesso a vários modelos por uma única chave, o que ajuda a testar diferentes configurações de agentes sem multiplicar integrações. A plataforma não promete preço nem resultado de treinamento; a decisão depende da avaliação de cada projeto.

Vale acompanhar a reprodutibilidade dos números em outros ambientes e tarefas antes de adotar o método em produção.

Perguntas frequentes

O que é o ProAS?

É um framework plug-and-play para aprendizado por reforço de agentes LLM que faz atribuição de crédito por progresso usando um Agentic Reference Graph, sem crítico.

Quais problemas ele resolve no GRPO?

Ele busca corrigir a atribuição uniforme de crédito, que reforça ações inválidas em trajetórias boas e ignora desvios iniciais decisivos em trajetórias ruins.

Quais resultados foram reportados?

O artigo relata 91,9% e 94,3% no ALFWorld e 66,7% e 70,8% no WebShop com Qwen2.5-1.5B-Instruct e Qwen2.5-7B-Instruct, além de convergência até 2,44 vezes mais rápida.

O ProAS funciona com grafos de referência imperfeitos?

Os autores afirmam que o método mantém robustez contra Agentic Reference Graphs imperfeitos ou destilados.

Onde encontrar o código?

O código está no repositório do projeto no GitHub, indicado na notícia como https://github.com/LINs-lab/ProAS.

proasaprendizado por reforçoagentes llmgrpoqwen2.5

Fonte original: ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning (Hugging Face Papers). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.