Ferramentas· atualizado em · 3 min de leitura· Redação Invision

Grafana aplica SLOs e error budgets ao comportamento de agentes de IA

Grafana propõe usar avaliações, SLOs e error budgets para medir comportamentos de agentes de IA como alucinação, toxicidade e custo, indo além da…

Painel de monitoramento de servidores com gráficos e métricas em uma tela de computador.
Imagem ilustrativa: IAEA Imagebank · CC BY 2.0 · origem

Resumo: A Grafana Labs propôs aplicar avaliações, SLOs e error budgets para medir o comportamento de agentes de IA, transformando aspectos como alucinação, cumprimento de tarefas e toxicidade em metas monitoráveis. A abordagem importa agora porque agentes em produção podem permanecer tecnicamente disponíveis enquanto a qualidade das respostas se deteriora gradualmente.

Pontos-chave

  • A Grafana Labs propõe usar avaliações para transformar comportamentos de agentes de IA em SLIs mensuráveis.
  • SLOs e error budgets permitem equilibrar experimentação e melhoria de qualidade com base no comportamento tolerado.
  • Monitorar o desgaste do error budget ajuda a detectar degradação gradual que alertas tradicionais não capturam.
  • A abordagem exige conjuntos de avaliação representativos e validação contínua dos avaliadores para evitar falsa precisão.
  • A iniciativa se soma a esforços da Anthropic e da OpenTelemetry para tornar o comportamento de agentes mensurável.
Nesta matéria

Por que a observabilidade tradicional não basta para agentes de IA?#

Métricas convencionais mostram que um agente respondeu rápido, não gerou erros técnicos e consumiu certa quantidade de tokens, mas não revelam se a resposta estava correta, fundamentada no contexto ou útil para o usuário.

A Grafana Labs argumenta que é preciso avaliar o comportamento em si e transformar o resultado em um indicador de nível de serviço (SLI) que possa ser comparado a um objetivo (SLO).

Isso desloca o foco da infraestrutura para a qualidade percebida, algo que ganha relevância à medida que agentes assumem tarefas em produção.

Como funcionam as avaliações de comportamento na proposta da Grafana?#

Uma avaliação examina uma interação do agente e verifica se ela atendeu a um critério comportamental específico, como estar fundamentada no contexto fornecido, cumprir o pedido do usuário, conter toxicidade, expor informações pessoais ou resistir a injeção de prompt.

As avaliações podem usar outro modelo de linguagem como juiz, mas também podem empregar verificações determinísticas, como expressões regulares, quando o comportamento é identificável sem um LLM.

A Grafana rejeita a ideia de uma pontuação única de qualidade, defendendo que a qualidade é multidimensional: um agente pode ser bem fundamentado, mas caro; útil, mas ocasionalmente tóxico; ou preciso, mas lento.

O que são SLOs e error budgets aplicados a agentes?#

Depois que um comportamento pode ser medido, conceitos tradicionais de SRE passam a valer. A Grafana cita o exemplo de um SLO exigindo que 95% das conversas sejam julgadas como cumpridas em 30 dias.

Os 5% restantes formam o error budget: a quantidade de comportamento inaceitável que a equipe decidiu tolerar no período.

Com orçamento sobrando, as equipes podem experimentar com prompts, modelos ou mudanças de comportamento; à medida que o orçamento se esgota, a prioridade migra para a melhoria da qualidade.

Por que monitorar o desgaste do error budget detecta degradação sutil?#

Alertas tradicionais capturam picos repentinos de falhas, mas um agente pode continuar respondendo com sucesso enquanto suas respostas ficam sutilmente menos úteis ao longo do tempo.

Mudanças de modelo, ajustes de prompt, alterações na recuperação de informação ou variações no comportamento do usuário podem piorar a qualidade em frações de ponto percentual por dia.

Acompanhar o consumo do error budget torna essa deriva visível e oferece um sinal diferente da monitoração de infraestrutura: o problema não é uma execução isolada, mas a tendência agregada do sistema.

Qual é o desafio de definir o que é comportamento aceitável?#

A parte mais difícil pode não ser criar o SLO, mas decidir o que constitui comportamento aceitável. Ao contrário das metas de disponibilidade, não há décadas de experiência operacional para definir se um agente deve atingir 85%, 95% ou 99% de cumprimento ou fundamentação.

A Grafana sugere estabelecer uma linha de base por meio de avaliações e usar resultados históricos para recomendar uma meta inicial, que pode ser apertada conforme o agente amadurece.

A empresa também distingue avaliações offline, que validam mudanças contra cenários conhecidos, de avaliações online, que avaliam o comportamento em interações reais de produção.

Quais são as limitações dessa abordagem?#

Um SLO é tão útil quanto a medição que o sustenta. Se um modelo juiz classifica respostas de forma consistentemente errada, o error budget resultante pode dar uma falsa sensação de precisão.

Da mesma forma, uma avaliação mal projetada pode recompensar um agente por produzir saídas que satisfazem tecnicamente um critério, mas falham no objetivo real do usuário.

Por isso, as organizações ainda precisam de conjuntos de dados representativos, definições claras de comportamento aceitável, verificações determinísticas quando possível, revisão humana em casos ambíguos e validação contínua dos próprios avaliadores.

O que isso muda para quem usa IA?#

A proposta da Grafana mostra que a confiabilidade de agentes de IA não se resume a disponibilidade técnica: é preciso medir se o comportamento permanece dentro de limites aceitáveis ao longo do tempo.

Para equipes que desenvolvem com IA, isso significa incorporar avaliações e SLOs ao ciclo de engenharia, tratando a qualidade comportamental como parte da operação e não como um teste pontual.

A Invision oferece acesso a vários modelos de IA por uma única chave, com saldo em reais, o que pode simplificar a experimentação e a troca de modelos durante esse processo, sem a necessidade de gerenciar múltiplos fornecedores.

Perguntas frequentes

O que é um SLO aplicado a agentes de IA?

É um objetivo de nível de serviço que define uma meta mensurável para um comportamento do agente, como a porcentagem de conversas consideradas cumpridas em um período, permitindo acompanhar a qualidade ao longo do tempo.

Como funciona o error budget nesse contexto?

O error budget é a diferença entre a meta e 100%. Se o SLO exige 95% de cumprimento em 30 dias, os 5% restantes representam a tolerância a comportamentos inaceitáveis, que pode ser usada para equilibrar experimentação e melhorias.

Quais comportamentos podem ser medidos com avaliações?

A Grafana cita exemplos como fundamentação no contexto, cumprimento do pedido do usuário, toxicidade, exposição de informações pessoais e resistência a injeção de prompt.

Quais os riscos de usar um LLM como juiz nas avaliações?

Se o modelo juiz classifica respostas de forma errada de maneira consistente, o error budget pode indicar uma precisão que não existe, levando a decisões equivocadas sobre a qualidade do agente.

Como outras empresas estão abordando a medição de agentes?

A Anthropic desenvolveu práticas formais de avaliação com tarefas definidas, tentativas repetidas e múltiplos avaliadores, distinguindo pass@k de pass^k. A OpenTelemetry trabalha em convenções semânticas padronizadas para telemetria de agentes.

grafanasloagentes de iaobservabilidadeavaliação de ia

Fonte original: Grafana Applies SLOs and Error Budgets to AI Agent Behaviour (InfoQ). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.