Leia e escreva cache com tarifas próprias
Uma entrada repetida não garante acerto de cache. O recurso depende de suporte, formato, tamanho, validade e elegibilidade. Quando houver tarifas conhecidas, separe tokens sem cache, leitura e escrita; desconhecido não significa zero.
Compare uma hipótese sem cache com uma hipótese de reutilização explícita. Meça o uso retornado antes de tratar a simulação como economia observada.
Streaming não é redução automática de custo
Streaming entrega partes da resposta enquanto ela é produzida. O cliente precisa tratar eventos, fechamento e falhas. O tempo até primeiro token é diferente da latência total e da velocidade de geração.
Não publique vantagem de latência a partir da aparência de uma animação. Um benchmark precisa declarar região, concorrência, tamanho da resposta, falhas e percentis.
A aplicação executa e valida ferramentas
O modelo descreve uma chamada de ferramenta; a aplicação decide se pode executá-la, valida argumentos e devolve o resultado no contrato correto. Não conceda acesso a segredos ou ações sensíveis apenas porque o modelo os solicitou.
Teste um caso simples e um caso de erro para cada ferramenta. Suporte a texto não comprova suporte a ferramentas ou saída estruturada no mesmo cliente.