アプリに必要な結果を選ぶ
長い文書の分析、検証済みデータの抽出、確認した計算の説明を行えます。必要な出力に合う用途を選んでください。
- 文書分析用LLM API
- 構造化データ抽出用LLM API
- 数学的推論用LLM API
文書とデータの用途
推論向けLLM API
長い文書の分析、検証済みデータの抽出、確認した計算の説明を行えます。必要な出力に合う用途を選んでください。
本番用の実装例
API・主モデル・代替の設定
| 測る項目 | 記録する項目 |
|---|---|
| 自分のテストでの正確さ | 結果、待ち時間、トークン使用量、採用・不採用の理由 |
| 出力の一貫性 | 結果、待ち時間、トークン使用量、採用・不採用の理由 |
| 待ち時間の上限 | 結果、待ち時間、トークン使用量、採用・不採用の理由 |
| 再試行と検証の費用 | 結果、待ち時間、トークン使用量、採用・不採用の理由 |
結果を検証する
既知の答え、根拠不足・矛盾、厳密なスキーマ、決まった検証処理を使います。アプリで必要な項目や結果を検証できる回答だけ採用してください。
- 自分のテストでの正確さ
- 出力の一貫性
- 待ち時間の上限
- 再試行と検証の費用
使える結果の費用を測る
再試行、ツール、検証、上位モデルへの切り替え、手動修正も含めます。トークン単価だけでなく、実際に採用できる結果の総費用を比較してください。
よくある質問
どの用途から始めますか？
代表的な入力と合格基準がある用途のうち、件数かリスクが最も大きいものから始めてください。
最初にいくつのモデルを試しますか？
推奨モデルと代替モデル1つから始めます。両方とも品質、待ち時間、費用の条件を満たせない場合だけ候補を増やしてください。
比較時に揃える条件は？
すべてのモデルで入力、コンテキスト、ツール、出力上限、検証ルール、停止条件を揃えてください。
この用途のモデルを選ぶ
同じアプリの入力と検証ルールで、主な接続先と代替を比較してください。