Счётчик токенов LLM и калькулятор кэширования промптов

Как субсловная токенизация различается для английского текста, кода и CJK

Современные BPE-токенизаторы (семейство o200k_base от OpenAI, токенизатор Claude 5 от Anthropic и словари Gemini на базе SentencePiece) делят текст на байтовые или символьные субслова, а не по пробелам. Обычный английский текст содержит в среднем 3.8–4.2 символов на токен, тогда как ключи JSON, отступы, стектрейсы и URL из-за пунктуации сжимают плотность до 2.5–3.2 символов на токен.

Китайское, японское и корейское письмо обычно требует от 0.6 до 1.1 токенов на символ, а новый токенизатор Claude 5 от Anthropic на плотном коде и многоязычных текстах может давать на 25%–30% больше токенов, чем словарь Sonnet 4.6.

Почему пороги длинного контекста и кэширование определяют реальный счёт за API

Сравнивать только базовые цены за миллион токенов обманчиво, как только запросы пересекают порог длинного контекста. Для GPT-6 Astra, GPT-6.1 Terra и семейства GPT-5.6 превышение 272,000 входных токенов (включая кэшированный префикс) переводит весь запрос на повышенный тариф >272K. Аналогично Grok 4.7 и Gemini 2.5 Pro переходят на повышенный тариф при 200,000 входных токенов, а Claude Haiku 5.5 — свыше 100,000 токенов.

Напротив, побайтово неизменный префикс из системного промпта, описаний инструментов и справочных документов открывает скидку чтения из кэша — обычно на 75%–90% дешевле обычного входа. Меняйте долю попаданий в кэш выше, чтобы увидеть, как стабильность префикса снижает расходы за 30 дней.

• Держите статические инструкции, JSON Schema и few-shot примеры в детерминированном префиксе, а метки времени и данные пользователя добавляйте в конец.
• Дедуплицируйте фрагменты RAG перед склейкой, чтобы лишний абзац не перевёл промпт на 265K через ценовой порог 272K.
• Учитывайте затраты на прогрев кэша (cache write) и долю повторов при оценке пакетных задач с низким переиспользованием префикса.