# ttok 1.0 muda tokenizador padrão para a família GPT-5/6

> Simon Willison lançou a versão 1.0 do ttok, ferramenta de contagem de tokens, alterando o tokenizador padrão de GPT-4 para a família GPT-5/6. A mudança é relevante porque, embora a OpenAI não tenha confirmado oficialmente, um experimento indica que o GPT-6 compartilha o mesmo tokenizador do GPT-5, afetando estimativas de custo e limites de contexto para desenvolvedores.

Publicado em 2026-10-09 · https://invision.dreamvision.com.br/blog/ttok-1-0-muda-tokenizador-padrao-para-a-familia-gpt-5-6

## Pontos-chave
- Simon Willison lançou ttok 1.0 com tokenizador padrão para GPT-5/6.
- OpenAI não confirmou oficialmente que GPT-6 usa o mesmo tokenizador da família GPT-5.
- Experimento de William Liu mostrou que sete modelos GPT-5/6 tiveram contagem idêntica de 44.794 tokens em 31 fixtures.
- A mudança afeta estimativas de custo e limites de contexto para desenvolvedores.
- A versão 1.0 foi motivada pela percepção de que o padrão anterior (GPT-4) estava desatualizado.

## O que aconteceu com o ttok?
Simon Willison anunciou o lançamento da versão 1.0 do ttok, ferramenta de contagem de tokens para modelos de linguagem. A atualização troca o tokenizador padrão do GPT-4 para a família GPT-5/6.

A decisão veio depois que Willison percebeu que a versão 0.4 ainda usava o tokenizador antigo por padrão. Ele considerou a mudança um motivo razoável para finalmente lançar a versão 1.0.


## Por que o tokenizador padrão importa?
O tokenizador define como o texto é dividido em tokens, unidade básica de cobrança e limite de contexto dos modelos. Usar o tokenizador errado pode gerar estimativas imprecisas de custo e de tamanho de prompt.

Com a adoção crescente de modelos mais novos, ferramentas que ainda assumem GPT-4 como padrão podem induzir desenvolvedores a erros de planejamento.


## OpenAI confirmou o tokenizador do GPT-6?
Até o momento, a OpenAI não confirmou oficialmente que o GPT-6 utiliza o mesmo tokenizador da família GPT-5. Segundo Willison, existe uma issue irritada sobre o tema.

Apesar da falta de confirmação, Willison decidiu mudar o padrão com base em evidências experimentais.


## Qual é a evidência de que GPT-5 e GPT-6 compartilham o tokenizador?
Willison cita um commit de William Liu que relata um experimento comparando sete modelos GPT: 5.5, 5.6 Sol/Terra/Luna, 6 Astra/Sol/Luna.

No experimento, todos os sete modelos reportaram 44.794 tokens e coincidiram em cada um dos 31 fixtures testados. O GPT-6 não introduziu mudança na contagem de tokens de entrada nesse corpus.

- Modelos testados: GPT-5.5, GPT-5.6 (Sol/Terra/Luna), GPT-6 (Astra/Sol/Luna).
- Resultado: 44.794 tokens em todos, com correspondência em 31 fixtures.
- Conclusão do experimento: tokenizadores provavelmente iguais.

## O que isso significa para quem desenvolve com IA?
Para desenvolvedores que usam ttok para estimar custos ou adequar prompts ao limite de contexto, a versão 1.0 traz um padrão mais alinhado aos modelos recentes da OpenAI.

Ainda assim, é importante lembrar que a confirmação oficial da OpenAI não existe. O experimento de Liu é uma evidência, não uma garantia.

Quem trabalha com modelos de diferentes famílias deve sempre verificar qual tokenizador está sendo usado pela ferramenta e considerar testes próprios.


## O que isso muda para quem usa IA
A Invision, API multimodelo da Dream Vision, oferece acesso a vários modelos por uma chave só, com saldo em reais. Ferramentas como o ttok ajudam a planejar o uso de tokens, mas cada modelo pode ter particularidades.

Desenvolvedores que precisam alternar entre modelos devem ficar atentos às atualizações de tokenizadores e às confirmações oficiais dos fornecedores.


## Perguntas frequentes
### O que é o ttok?
ttok é uma ferramenta de contagem de tokens para modelos de linguagem, criada por Simon Willison. A versão 1.0 foi lançada com tokenizador padrão para GPT-5/6.

### O GPT-6 usa o mesmo tokenizador do GPT-5?
A OpenAI não confirmou oficialmente, mas um experimento de William Liu indica que os tokenizadores são provavelmente iguais, com base em testes que mostraram contagens idênticas em sete modelos.

### Por que mudar o tokenizador padrão para GPT-5/6?
Porque o padrão anterior (GPT-4) estava desatualizado e poderia levar a estimativas incorretas para quem usa modelos mais recentes. A mudança acompanha a evidência experimental.

### A mudança afeta o cálculo de custos?
Sim, se o tokenizador for diferente, a contagem de tokens muda, impactando estimativas de custo e limites de contexto. Com o novo padrão, as estimativas ficam mais alinhadas aos modelos GPT-5/6.

Fonte original: [ttok 1.0](https://simonwillison.net/2026/Oct/9/ttok/) (Simon Willison).
