Black Friday Invision30% a mais de desconto nos modelos, em todos os planos, até 30/11

Invision · Recursos públicos

Cache, streaming e ferramentas na API

Cache pode alterar o custo de entradas elegíveis. Streaming muda a entrega da resposta. Ferramentas permitem que seu software execute ações solicitadas pelo modelo; são recursos diferentes.

Revisão editorial: . Ler ou salvar em Markdown.

Leia e escreva cache com tarifas próprias

Uma entrada repetida não garante acerto de cache. O recurso depende de suporte, formato, tamanho, validade e elegibilidade. Quando houver tarifas conhecidas, separe tokens sem cache, leitura e escrita; desconhecido não significa zero.

Compare uma hipótese sem cache com uma hipótese de reutilização explícita. Meça o uso retornado antes de tratar a simulação como economia observada.

Streaming não é redução automática de custo

Streaming entrega partes da resposta enquanto ela é produzida. O cliente precisa tratar eventos, fechamento e falhas. O tempo até primeiro token é diferente da latência total e da velocidade de geração.

Não publique vantagem de latência a partir da aparência de uma animação. Um benchmark precisa declarar região, concorrência, tamanho da resposta, falhas e percentis.

A aplicação executa e valida ferramentas

O modelo descreve uma chamada de ferramenta; a aplicação decide se pode executá-la, valida argumentos e devolve o resultado no contrato correto. Não conceda acesso a segredos ou ações sensíveis apenas porque o modelo os solicitou.

Teste um caso simples e um caso de erro para cada ferramenta. Suporte a texto não comprova suporte a ferramentas ou saída estruturada no mesmo cliente.

Próximos passos e fontes do produto