Contador de tokens LLM e calculadora de cache de prompt

Como a tokenização varia entre inglês, código e texto CJK

Tokenizadores BPE modernos (como a família o200k_base da OpenAI, o tokenizador Claude 5 da Anthropic e vocabulários SentencePiece do Gemini) dividem o texto em subpalavras em vez de espaços. Textos em inglês têm média de 3.8 a 4.2 caracteres por token, enquanto chaves JSON, indentação, stack traces e URLs levam a densidade para 2.5 a 3.2 caracteres por token.

Textos em chinês, japonês e coreano costumam usar de 0.6 a 1.1 tokens por caractere, e o novo tokenizador Claude 5 da Anthropic pode gerar até 25%–30% mais tokens que o Sonnet 4.6 em código denso ou entradas multilíngues.

Por que limites de contexto longo e cache dominam a fatura real da API

Comparar apenas a tarifa básica por milhão engana sempre que as requisições cruzam o limite de contexto longo do provedor. No GPT-6 Astra, GPT-6.1 Terra e na família GPT-5.6, ultrapassar 272,000 tokens totais de entrada (incluindo prefixos em cache) muda toda a requisição para a faixa >272K. Da mesma forma, Grok 4.7 e Gemini 2.5 Pro sobem de faixa em 200,000 tokens de entrada, e o Claude Haiku 5.5 sobe acima de 100,000 tokens.

Por outro lado, manter o prompt de sistema, definições de ferramentas e documentos idênticos no início ativa descontos de leitura de cache — geralmente 75% a 90% abaixo da entrada sem cache. Use o controle de taxa de cache acima para simular como a estabilidade do prefixo muda seu custo em 30 dias.

• Mantenha instruções estáticas, esquemas JSON e exemplos few-shot em um prefixo fixo; adicione timestamps ou variáveis do usuário no final.
• Remova chunks RAG duplicados antes de concatenar para que um trecho extra não empurre um prompt de 265K além do limite de 272K.
• Inclua o custo de escrita de cache e a taxa de novas tentativas ao estimar lotes com baixa reutilização de prefixo.