Ferramentas· atualizado em · 3 min de leitura· Redação Invision

AI Gateway da Vercel agora mostra afinidade de sessão nos logs

Vercel AI Gateway adiciona visualização de sessões nos logs, mostrando como a afinidade de sessão roteia cada requisição e impacta o cache de prompts.

Servidores de data center em corredor com luzes azuis
Imagem ilustrativa: Kecko from Eastern Switzerland · CC BY 2.0 · origem

Resumo: A Vercel adicionou uma visualização de sessões (Sessions) nos logs do AI Gateway, que agrupa requisições em sessões e mostra como a afinidade de sessão roteia cada turno para o mesmo provedor. Isso importa porque a afinidade mantém o cache de prompts entre turnos, reduzindo custos e latência em agentes de código como Claude Code, Codex e Cursor.

Pontos-chave

  • Vercel AI Gateway adiciona visualização de Sessões nos logs, agrupando requisições e mostrando a afinidade de sessão.
  • Afinidade envia cada turno ao mesmo provedor do turno anterior, aumentando o reaproveitamento de cache.
  • A visão detalhada exibe custo, modelos, provedores, taxa de acerto de cache e caminho por turno.
  • É possível filtrar por turnos, cliente, modelo, provedor, autenticação ou custo.
  • A afinidade roda por padrão em texto e chat; para agrupar manualmente, use sessionId ou x-session-id.
Nesta matéria

Por que a afinidade de sessão virou destaque nos logs?#

A Vercel anunciou que os logs do AI Gateway agora têm uma visualização de Sessões, que agrupa requisições em sessões e mostra como a afinidade de sessão roteou cada uma. A novidade é relevante porque agentes de código fazem muitas chamadas encadeadas, e manter o mesmo provedor entre turnos ajuda a reaproveitar o cache.

A afinidade de sessão envia cada turno ao provedor que atendeu o turno anterior, de modo que ele já tenha a maior parte do prompt em cache. Assim, uma sessão que permanece em um único provedor lê mais de cada prompt a partir do cache.

O que a visualização de Sessões mostra?#

Na lista, cada linha exibe o agente de código ou aplicação que executou a sessão, como Claude Code, Codex ou Cursor, junto com seu custo, modelos, provedores e quanto da entrada foi cacheada ao longo de todos os turnos.

Ao abrir uma sessão, é possível ver a taxa de acerto do cache, a duração e o caminho percorrido. O caminho lista cada turno com seu modelo e tempo, e nomeia o provedor que atendeu a sessão, além de eventuais provedores anteriores.

Como funciona a afinidade de sessão na prática?#

A afinidade de sessão é aplicada por padrão em requisições de texto e chat. Para agrupar requisições manualmente, é preciso enviar o mesmo sessionId em providerOptions.gateway, ou o mesmo cabeçalho x-session-id, em cada requisição de uma conversa.

Requisições sem esse identificador são agrupadas por uma impressão digital (fingerprint) da abertura da conversa e aparecem como sessões com fingerprint. A documentação da Vercel explica como o AI Gateway identifica sessões.

Quais filtros estão disponíveis para analisar sessões?#

A visualização permite filtrar sessões por número de turnos, cliente, modelo, provedor, autenticação ou custo. Sessões de turno único ficam ocultas até que o filtro de mínimo de turnos seja removido.

  • Filtro por turnos: mostra apenas sessões com quantidade mínima de interações.
  • Filtro por cliente: identifica qual agente ou app iniciou a sessão.
  • Filtro por modelo e provedor: ajuda a comparar rotas e custos.
  • Filtro por autenticação: separa sessões por método de acesso.
  • Filtro por custo: destaca sessões mais caras para otimização.

Como monitorar cache e custo em agentes de código?#

Com a nova visão, dá para acompanhar a taxa de acerto do cache por sessão e ver quanto do prompt foi reaproveitado. Isso ajuda a entender se a afinidade está funcionando e se o custo por turno está dentro do esperado.

O caminho da sessão também revela se houve troca de provedor no meio do caminho. Quando a sessão muda de provedor, o cache pode ser perdido, o que tende a aumentar o custo e a latência.

O que isso muda para quem usa IA#

Para quem desenvolve com IA, a principal mudança é ter visibilidade sobre o roteamento e o cache em sessões de agentes. Isso permite diagnosticar custos inesperados e ajustar o uso de sessionId para manter a afinidade.

Plataformas como a Invision, da Dream Vision, oferecem acesso a vários modelos por uma chave só, com saldo em reais. Isso pode simplificar a experimentação, mas não substitui a análise de cache e roteamento que o AI Gateway agora expõe.

Perguntas frequentes

O que é afinidade de sessão no AI Gateway da Vercel?

É o mecanismo que envia cada turno de uma conversa ao mesmo provedor que atendeu o turno anterior, para que ele já tenha a maior parte do prompt em cache.

Como agrupar requisições em uma sessão manualmente?

Envie o mesmo sessionId em providerOptions.gateway ou o mesmo cabeçalho x-session-id em todas as requisições da conversa.

Quais informações aparecem na visualização de Sessões?

A lista mostra o agente ou app que executou a sessão, custo, modelos, provedores e quanto da entrada foi cacheada. Ao abrir, exibe taxa de acerto do cache, duração e o caminho com cada turno, modelo e tempo.

A afinidade de sessão está ativa por padrão?

Sim, ela roda por padrão em requisições de texto e chat. Requisições sem sessionId são agrupadas por fingerprint da abertura da conversa.

É possível filtrar sessões por custo ou modelo?

Sim, a visualização permite filtrar por turnos, cliente, modelo, provedor, autenticação ou custo. Sessões de turno único ficam ocultas até ajustar o filtro de mínimo de turnos.

vercelai gatewaycacheagentes de códigologs

Fonte original: AI Gateway logs now show session affinity (Vercel). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.