Agentes· atualizado em · 2 min de leitura· Redação Invision

PraxisMemBench: novo benchmark avalia memória pessoal e procedural em assistentes persistentes

Pesquisadores propõem PraxisMemBench para avaliar memória pessoal e procedural em assistentes persistentes. PraxisMem supera memória nativa do Claude Code.

Resumo: Pesquisadores introduziram o PraxisMemBench, um benchmark que avalia assistentes pessoais persistentes considerando a interação entre memória pessoal (sobre quem é o usuário) e procedural (sobre como agir). O estudo mostra que manter esses dois tipos de memória separadamente é insuficiente e propõe o PraxisMem, que alcança 40,78% de taxa de sucesso por sessão, contra 20,60% da memória nativa do Claude Code.

Pontos-chave

  • PraxisMemBench avalia a interação entre memória pessoal e procedural em assistentes persistentes.
  • Manter os dois tipos de memória separadamente reduz a conclusão de tarefas de 84,6% para 77,9%.
  • Falhas relacionadas a relações aumentam de 59,8% para 72,9% com o crescimento do histórico.
  • PraxisMem alcança 40,78% de taxa de sucesso por sessão, contra 20,60% da memória nativa do Claude Code.
Nesta matéria

O que é o PraxisMemBench?#

O PraxisMemBench é um benchmark baseado em harness para assistentes pessoais persistentes em trajetórias de vida diária e trabalho. Ele foi criado para avaliar como a memória pessoal e a memória procedural evoluem juntas, com tarefas posteriores dependendo de ambas.

A novidade é que o benchmark explora a interação entre os dois tipos de memória, algo que benchmarks anteriores deixavam de lado ao enfatizar apenas um deles.

Por que a memória pessoal e a procedural precisam andar juntas?#

Em assistentes pessoais baseados em harness, os procedimentos ou habilidades são inerentemente condicionados ao usuário: o contexto pessoal determina quais procedimentos se aplicam, como são instanciados e quando devem mudar.

Os experimentos mostram que manter os dois tipos de memória separadamente é insuficiente: a taxa de conclusão cai de 84,6% em dependências de um único tipo para 77,9% em dependências interdependentes.

Quais falhas aparecem com o crescimento do histórico?#

Os resultados revelam que falhas relacionadas a relações aumentam da sessão inicial para a final à medida que o histórico de interação cresce, passando de 59,8% para 72,9%.

Isso evidencia um desafio de manutenção contínua: não basta escrever memórias corretas se seu conteúdo e organização não puderem ser preservados para recuperação posterior.

O que é o PraxisMem e como ele funciona?#

Para enfrentar esse desafio, os pesquisadores propõem o PraxisMem, que usa supervisão privilegiada de estado conjunto para internalizar a capacidade de manter o conteúdo e a organização da memória no gerenciador de memória.

A abordagem emprega GRPO com reconhecimento de localização e OPSD com roteamento residual dinâmico. O PraxisMem alcança 40,78% de taxa de sucesso geral por sessão, enquanto a memória nativa do Claude Code atinge 20,60%.

O que isso muda para quem usa IA?#

Para desenvolvedores de assistentes persistentes, o estudo reforça que a memória não pode ser tratada como um repositório isolado de fatos: é preciso manter a organização e a evolução do conhecimento ao longo do tempo.

A Invision oferece acesso a vários modelos por uma única chave, o que pode facilitar a experimentação com diferentes abordagens de memória e gerenciamento de contexto em projetos de agentes pessoais.

Perguntas frequentes

O que é PraxisMemBench?

É um benchmark baseado em harness para assistentes pessoais persistentes que avalia a interação entre memória pessoal e procedural ao longo de trajetórias de vida e trabalho.

Qual a diferença entre memória pessoal e procedural?

A memória pessoal armazena informações sobre quem o assistente serve; a procedural armazena como agir. No contexto de assistência pessoal, os procedimentos são condicionados pelo contexto do usuário.

Por que manter as memórias separadas não funciona bem?

Porque tarefas posteriores dependem de ambos os tipos. Os experimentos mostram queda na conclusão de 84,6% para 77,9% quando há dependências interdependentes.

O que é PraxisMem?

É um método proposto que usa supervisão privilegiada de estado conjunto para internalizar a manutenção da memória no gerenciador, alcançando 40,78% de taxa de sucesso por sessão.

memóriaagentesbenchmarkassistentesia

Fonte original: Memorizing Who, Knowing How: Benchmarking Personal and Procedural Memory for Persistent Assistants (Hugging Face Papers). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.