Ferramentas· atualizado em · 2 min de leitura· Redação Invision

ttok 1.0 muda tokenizador padrão para a família GPT-5/6

Simon Willison lança ttok 1.0 com tokenizador padrão para GPT-5/6 após experimento indicar que GPT-6 usa o mesmo tokenizador da família GPT-5. Entenda o…

Tela de computador com código e gráficos de análise de texto
Imagem ilustrativa: Uvarkin.g · CC BY-SA 4.0 · origem

Resumo: Simon Willison lançou a versão 1.0 do ttok, ferramenta de contagem de tokens, alterando o tokenizador padrão de GPT-4 para a família GPT-5/6. A mudança é relevante porque, embora a OpenAI não tenha confirmado oficialmente, um experimento indica que o GPT-6 compartilha o mesmo tokenizador do GPT-5, afetando estimativas de custo e limites de contexto para desenvolvedores.

Pontos-chave

  • Simon Willison lançou ttok 1.0 com tokenizador padrão para GPT-5/6.
  • OpenAI não confirmou oficialmente que GPT-6 usa o mesmo tokenizador da família GPT-5.
  • Experimento de William Liu mostrou que sete modelos GPT-5/6 tiveram contagem idêntica de 44.794 tokens em 31 fixtures.
  • A mudança afeta estimativas de custo e limites de contexto para desenvolvedores.
  • A versão 1.0 foi motivada pela percepção de que o padrão anterior (GPT-4) estava desatualizado.
Nesta matéria

O que aconteceu com o ttok?#

Simon Willison anunciou o lançamento da versão 1.0 do ttok, ferramenta de contagem de tokens para modelos de linguagem. A atualização troca o tokenizador padrão do GPT-4 para a família GPT-5/6.

A decisão veio depois que Willison percebeu que a versão 0.4 ainda usava o tokenizador antigo por padrão. Ele considerou a mudança um motivo razoável para finalmente lançar a versão 1.0.

Por que o tokenizador padrão importa?#

O tokenizador define como o texto é dividido em tokens, unidade básica de cobrança e limite de contexto dos modelos. Usar o tokenizador errado pode gerar estimativas imprecisas de custo e de tamanho de prompt.

Com a adoção crescente de modelos mais novos, ferramentas que ainda assumem GPT-4 como padrão podem induzir desenvolvedores a erros de planejamento.

OpenAI confirmou o tokenizador do GPT-6?#

Até o momento, a OpenAI não confirmou oficialmente que o GPT-6 utiliza o mesmo tokenizador da família GPT-5. Segundo Willison, existe uma issue irritada sobre o tema.

Apesar da falta de confirmação, Willison decidiu mudar o padrão com base em evidências experimentais.

Qual é a evidência de que GPT-5 e GPT-6 compartilham o tokenizador?#

Willison cita um commit de William Liu que relata um experimento comparando sete modelos GPT: 5.5, 5.6 Sol/Terra/Luna, 6 Astra/Sol/Luna.

No experimento, todos os sete modelos reportaram 44.794 tokens e coincidiram em cada um dos 31 fixtures testados. O GPT-6 não introduziu mudança na contagem de tokens de entrada nesse corpus.

  • Modelos testados: GPT-5.5, GPT-5.6 (Sol/Terra/Luna), GPT-6 (Astra/Sol/Luna).
  • Resultado: 44.794 tokens em todos, com correspondência em 31 fixtures.
  • Conclusão do experimento: tokenizadores provavelmente iguais.

O que isso significa para quem desenvolve com IA?#

Para desenvolvedores que usam ttok para estimar custos ou adequar prompts ao limite de contexto, a versão 1.0 traz um padrão mais alinhado aos modelos recentes da OpenAI.

Ainda assim, é importante lembrar que a confirmação oficial da OpenAI não existe. O experimento de Liu é uma evidência, não uma garantia.

Quem trabalha com modelos de diferentes famílias deve sempre verificar qual tokenizador está sendo usado pela ferramenta e considerar testes próprios.

O que isso muda para quem usa IA#

A Invision, API multimodelo da Dream Vision, oferece acesso a vários modelos por uma chave só, com saldo em reais. Ferramentas como o ttok ajudam a planejar o uso de tokens, mas cada modelo pode ter particularidades.

Desenvolvedores que precisam alternar entre modelos devem ficar atentos às atualizações de tokenizadores e às confirmações oficiais dos fornecedores.

Perguntas frequentes

O que é o ttok?

ttok é uma ferramenta de contagem de tokens para modelos de linguagem, criada por Simon Willison. A versão 1.0 foi lançada com tokenizador padrão para GPT-5/6.

O GPT-6 usa o mesmo tokenizador do GPT-5?

A OpenAI não confirmou oficialmente, mas um experimento de William Liu indica que os tokenizadores são provavelmente iguais, com base em testes que mostraram contagens idênticas em sete modelos.

Por que mudar o tokenizador padrão para GPT-5/6?

Porque o padrão anterior (GPT-4) estava desatualizado e poderia levar a estimativas incorretas para quem usa modelos mais recentes. A mudança acompanha a evidência experimental.

A mudança afeta o cálculo de custos?

Sim, se o tokenizador for diferente, a contagem de tokens muda, impactando estimativas de custo e limites de contexto. Com o novo padrão, as estimativas ficam mais alinhadas aos modelos GPT-5/6.

ttoktokenizadorgpt-5gpt-6openai

Fonte original: ttok 1.0 (Simon Willison). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.