RAGチャットボット用LLM API

本番アプリのRAGチャットボット

社内アシスタントが人事規程と地域ごとの補足資料を使って回答します。 モデルを呼ぶ前に資料を検索します。 各抜粋に文書ID、節、施行日、アクセス権のラベルを残します。

Gemini 2.5 Proには選んだ抜粋だけを送り、使った抜粋IDの引用を必須にします。 地域ごとの規約が矛盾する場合は、勝手に選ばず矛盾を示します。

RAGチャットボットの処理の流れ

• 検索前に利用者の権限を確認する。
• 文書情報を保ったまま抜粋を検索し、関連順に並べ直す。
• 回答に足りる最小限の根拠を送る。
• 文ごとの抜粋IDを必須にする。
• 引用が内容を裏付けるか確認し、根拠不足なら回答を控える。

LLMFly AIでgemini-2.5-proを呼び出す

リクエストはサーバーから送ります。例の内容と仮のツールスキーマを、アプリのデータとツールに置き換えてください。

curl https://app.llmfly.ai/v1/chat/completions \
  -H "Authorization: Bearer $LLMFLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-2.5-pro",
    "messages": [
      {"role": "system", "content": "Answer only from the supplied passages. Cite passage IDs after each material sentence. If passages are missing or conflicting, state that explicitly."},
      {"role": "user", "content": "Can a Shanghai employee carry unused leave into next year? Use the supplied policy passages."}
    ]
  }'

主モデルにgemini-2.5-proを選ぶ理由

大量の根拠や複数文書の整理には、Gemini 2.5 Proを主な候補にします。

必要な資料が揃う短い回答にはGemini 2.5 Flashを使います。 検索の品質を確認してから、判断が難しい規約の整理をTerraに回します。

RAGチャットボットの合格基準

本番前に対処する失敗

• 検索漏れをモデルのせいにする
• 全資料を入力に詰め込む
• 無関係な引用を表示する
• 根拠なしに回答を求める

出力と実行記録

重要な記述ごとに抜粋IDを付けた回答、または根拠不足を明示する回答を返します。

本番の実行ごとにモデルID、リクエストID、トークン使用量、再試行、検証結果、最終的な扱いを記録してください。