対応したい会話を選ぶ
サポート、ナレッジベース、多言語チャットを作れます。根拠付き回答、情報不足への対処、安全な引き継ぎの流れを紹介します。
- カスタマーサポート用LLM API
- RAGチャットボット用LLM API
- 多言語チャットボット用LLM API
チャットボットの用途
チャットボット向けLLM API
サポート、ナレッジベース、多言語チャットを作れます。根拠付き回答、情報不足への対処、安全な引き継ぎの流れを紹介します。
本番用の実装例
API・主モデル・代替の設定
| 測る項目 | 記録する項目 |
|---|---|
| 最初のトークンまでの時間 | 結果、待ち時間、トークン使用量、採用・不採用の理由 |
| 会話履歴の費用 | 結果、待ち時間、トークン使用量、採用・不採用の理由 |
| 指示への適合 | 結果、待ち時間、トークン使用量、採用・不採用の理由 |
| 切り替え時の動作 | 結果、待ち時間、トークン使用量、採用・不採用の理由 |
会話全体をテストする
よくある質問、曖昧な依頼、情報不足、複数ターン、担当者が必要なケースを含めます。最後に顧客の問題を正しく解決できたかを測ってください。
- 最初のトークンまでの時間
- 会話履歴の費用
- 指示への適合
- 切り替え時の動作
使える結果の費用を測る
再試行、ツール、検証、上位モデルへの切り替え、手動修正も含めます。トークン単価だけでなく、実際に採用できる結果の総費用を比較してください。
よくある質問
どの用途から始めますか？
代表的な入力と合格基準がある用途のうち、件数かリスクが最も大きいものから始めてください。
最初にいくつのモデルを試しますか？
推奨モデルと代替モデル1つから始めます。両方とも品質、待ち時間、費用の条件を満たせない場合だけ候補を増やしてください。
比較時に揃える条件は？
すべてのモデルで入力、コンテキスト、ツール、出力上限、検証ルール、停止条件を揃えてください。
この用途のモデルを選ぶ
同じアプリの入力と検証ルールで、主な接続先と代替を比較してください。