LLM トークンカウンター＆プロンプトキャッシュ料金計算機

英語・コード・日中韓テキストにおけるサブワード分割の違い

最新のBPEトークナイザー（OpenAIの o200k_base 系、Anthropicの Claude 5 トークナイザー、SentencePieceベースのGemini語彙など）は、空白区切りの単語ではなくバイトや文字単位のサブワードに分割します。 平易な英文は1トークンあたり平均約3.8〜4.2文字ですが、JSONキー、インデント、スタックトレース、URLは記号の境界が多いため1トークンあたり2.5〜3.2文字程度まで高密度化します。

日本語・中国語・韓国語は1文字あたり約0.6〜1.1トークンを消費し、さらにAnthropicの新しい Claude 5 トークナイザーは密なコードや多言語入力で旧世代の Sonnet 4.6 語彙より最大25%〜30%多くトークンを生成する場合があります。

長文課金の境界とプロンプトキャッシュが実際のAPI請求額を左右する理由

リクエストがプロバイダーの長文課金ラインを超える場合、基本の100万トークン単価だけを比較しても正確なコストは分かりません。 GPT-6 Astra、GPT-6.1 Terra、および GPT-5.6 シリーズでは、総入力トークン数（キャッシュ済みプレフィックスを含む）が 272,000 を超えると、リクエスト全体が高い >272K 料金帯に切り替わります。 同様に、Grok 4.7 と Gemini 2.5 Pro は入力 200,000 トークンで単価が上がり、Claude Haiku 5.5 は入力 100,000 トークンを超えると単価が上がります。

逆に、システムプロンプト・ツール定義・参照文書を毎回のリクエスト先頭でバイト単位で一致させれば、プロンプトキャッシュ読み取り割引が適用され、通常入力より75%〜90%安くなります。 上のキャッシュヒット率入力を使って、プレフィックスの安定性が30日間の運用コストをどう変えるか試算してください。

• 静的な指示、JSON Schema、Few-shot例は決定論的な先頭プレフィックスにまとめ、タイムスタンプやユーザー変数は末尾に追加します。
• 結合前にRAGチャンクの重複を除去し、余分な1段落のせいで 265K のプロンプトが 272K の課金ラインを超えないようにします。
• プレフィックス再利用率が低いバースト的なバッチ処理を見積もる際は、キャッシュ書き込みの初期コストと再試行率も含めてください。