Ferramentas· atualizado em · 3 min de leitura· Redação Invision

O que 40 trilhões de tokens revelam sobre a adoção real de agentes de IA por desenvolvedores

Dados de 40 trilhões de tokens mostram que confiança, não benchmarks, define adoção de agentes de IA. Entenda a escada de adoção e os pontos de falha.

Desenvolvedor trabalhando em tela de computador com código
Imagem ilustrativa: Afshin Khadangi, Hanna Marxen, Amir Sartipi, Igor Tchappi, Gilbert Fridgen (from SnT, University of Luxembourg) · CC BY 4.0 · origem

Resumo: Brendan O'Leary, da Kilo Code, analisou mais de 40 trilhões de tokens de uso real e concluiu que a adoção de agentes de IA por desenvolvedores depende de confiança, não de benchmarks. A notícia importa agora porque revela pontos de falha concretos em construção de contexto, roteamento de modelos e loops de feedback que afetam diretamente quem constrói e opera sistemas agênticos.

Pontos-chave

  • A Kilo Code analisou mais de 40 trilhões de tokens de uso real de sua ferramenta open source de codificação com IA.
  • A adoção segue uma escada de confiança, não um salto direto para agentes orquestrados.
  • Três pontos de falha previsíveis: construção de contexto, roteamento de modelos e loops de feedback.
  • Benchmarks de capacidade têm pouco poder de prever adoção efetiva por desenvolvedores.
Nesta matéria

O que a Kilo Code descobriu ao analisar 40 trilhões de tokens?#

Brendan O'Leary, engenheiro fundador de DevRel na Kilo Code, apresentou dados agregados do gateway da empresa, que processou mais de 40 trilhões de tokens. A Kilo Code é uma ferramenta open source de engenharia agêntica com superfícies em CLI, extensões para VS Code e JetBrains, além de agentes na nuvem.

A análise exclui usuários anônimos, usuários internos e o sistema de autocomplete. O foco está no uso real de agentes e modelos por desenvolvedores, não em testes controlados ou benchmarks.

Por que benchmarks não predizem adoção real?#

O'Leary argumenta que a narrativa da indústria é centrada em capacidade: qual modelo pontua melhor em um benchmark, qual tem janela de contexto maior, qual venceu a última avaliação humana por margem mínima. Esses dados, porém, têm pouco a ver com a adoção efetiva em ferramentas agênticas.

Ele observou equipes com acesso aos melhores modelos que não os usaram, e outras que criaram dependência real de ferramentas com benchmarks piores, mas que funcionavam bem para seu caso de uso. A diferença, segundo ele, está na confiança.

O que é a escada de confiança na adoção de IA?#

A adoção de IA por desenvolvedores segue uma escada de confiança, não um salto direto para agentes orquestrados. O'Leary descreve degraus que vão do autocomplete ao chat com agentes de código, chegando à orquestração de múltiplos agentes.

Cada degrau depende do anterior. Se as sugestões são lentas, se o agente edita o arquivo errado ou escolhe caminhos incorretos, a confiança quebra e os níveis superiores não são alcançados. A natureza não determinística da IA torna essa escada mais frágil do que a adoção de ferramentas tradicionais.

Onde a adoção de agentes costuma falhar?#

O'Leary identifica três pontos técnicos em que a adoção quebra de forma previsível: construção de contexto, roteamento de modelos e loops de feedback. Para cada um, há correções concretas que times de engenharia podem aplicar.

A construção de contexto define o que o agente vê e como interpreta a tarefa. O roteamento de modelos decide qual modelo executa cada parte do trabalho. Os loops de feedback determinam como o sistema aprende com erros e acertos.

Como medir confiança em sistemas agênticos?#

O'Leary reconhece que confiança tem um componente subjetivo, mas afirma que é possível instrumentá-la. A forma de medir muda conforme o degrau da escada: nos níveis mais altos, o sinal fica mais esparso e atrasado.

Isso tem implicações de design para quem constrói ou implanta sistemas com agentes. É preciso planejar como capturar esses sinais e criar feedback loops adequados a cada estágio de adoção.

O que isso muda para quem usa IA#

Para quem desenvolve com IA, a principal lição é que escolher o modelo pelo benchmark mais alto pode não ser o caminho mais eficaz. A confiança construída em cada etapa importa mais do que a capacidade bruta isolada.

A Invision oferece acesso a vários modelos por uma única chave, o que permite testar roteamentos e comparar o desempenho real no seu fluxo de trabalho, sem prometer preço ou condições específicas. A decisão sobre qual modelo usar deve considerar o contexto e os loops de feedback do seu caso, não apenas rankings públicos.

Perguntas frequentes

O que são os 40 trilhões de tokens analisados pela Kilo Code?

São dados agregados de uso real do gateway da Kilo Code, que processou mais de 40 trilhões de tokens em ferramentas de codificação com IA. A análise exclui usuários anônimos, internos e autocomplete.

O que é a escada de confiança na adoção de IA?

É um modelo que descreve a adoção em degraus: autocomplete, chat com agentes e orquestração de múltiplos agentes. Cada nível depende da confiança construída no anterior.

Quais são os três pontos de falha na adoção de agentes?

Construção de contexto, roteamento de modelos e loops de feedback. São pontos em que a adoção quebra de forma previsível e que têm correções concretas.

Benchmarks de modelos são inúteis para escolher um agente?

Não são inúteis, mas têm pouco a ver com a adoção real. O'Leary observou equipes que ignoraram modelos com melhores benchmarks e outras que dependeram de modelos com desempenho pior em testes, mas que funcionavam no uso prático.

agentes de iaadoção de iadesenvolvedoresconfiançakilo code

Fonte original: Presentation: What 25 Trillion Tokens Reveal About How Developers Actually Adopt AI Agents (InfoQ). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.