Contador de tokens LLM y calculadora de caché de prompts

Cómo varía la tokenización de subpalabras entre inglés, código y texto CJK

Los tokenizadores BPE modernos (como la familia o200k_base de OpenAI, el tokenizador Claude 5 de Anthropic y los vocabularios SentencePiece de Gemini) dividen el texto en subpalabras en lugar de palabras por espacios. El texto en inglés promedia entre 3.8 y 4.2 caracteres por token, mientras que claves JSON, sangrías, trazas de pila y URLs acercan la densidad a 2.5–3.2 caracteres por token.

Los textos en chino, japonés y coreano suelen requerir entre 0.6 y 1.1 tokens por carácter, y el nuevo tokenizador Claude 5 de Anthropic puede generar un 25%–30% más de tokens que Sonnet 4.6 en código denso o entradas multilingües.

Por qué los umbrales de contexto largo y la caché dominan la factura real

Comparar solo la tarifa base por millón resulta engañoso cuando las solicitudes cruzan el umbral de contexto largo del proveedor. En GPT-6 Astra, GPT-6.1 Terra y la familia GPT-5.6, superar 272,000 tokens totales de entrada (incluidos los leídos de caché) cambia toda la solicitud al tramo superior >272K. Del mismo modo, Grok 4.7 y Gemini 2.5 Pro suben de tramo a los 200,000 tokens de entrada, y Claude Haiku 5.5 sube por encima de 100,000 tokens.

Por el contrario, mantener idénticos al inicio el prompt de sistema, herramientas y documentos activa descuentos de lectura en caché, normalmente un 75%–90% menores que la entrada sin caché. Usa el control de aciertos de caché de arriba para modelar cómo cambia tu gasto a 30 días.

• Mantén instrucciones estáticas, esquemas JSON y ejemplos few-shot en un prefijo determinista; añade marcas de tiempo o variables de usuario al final.
• Deduplica fragmentos RAG antes de concatenar para que un pasaje extra no empuje un prompt de 265K por encima del umbral de 272K.
• Incluye el sobrecoste de escritura en caché y la tasa de reintentos al estimar trabajos por lotes con baja reutilización de prefijos.