選擇要支援的對話
建立客服、知識庫或多語言對話。各流程說明如何依據資料回答、處理資訊不足與安全轉交。
- 客服聊天機器人用 LLM API
- RAG 聊天機器人用 LLM API
- 多語言聊天機器人用 LLM API
聊天機器人場景
聊天機器人用 LLM API
建立客服、知識庫或多語言對話。各流程說明如何依據資料回答、處理資訊不足與安全轉交。
正式環境實作
API、主要模型與備援設定
| 量測項目 | 記錄項目 |
|---|---|
| 首 token 時間 | 結果、延遲、token 用量與採用或拒絕原因 |
| 對話歷史成本 | 結果、延遲、token 用量與採用或拒絕原因 |
| 指令遵循 | 結果、延遲、token 用量與採用或拒絕原因 |
| 備援行為 | 結果、延遲、token 用量與採用或拒絕原因 |
測試完整對話
納入常見問題、模糊請求、缺少資料、多輪上下文與必須轉真人的情況，衡量最終客戶結果是否正確。
- 首 token 時間
- 對話歷史成本
- 指令遵循
- 備援行為
衡量可用結果的成本
計入重試、工具呼叫、驗證、升級與人工修正。比較應用真正可採用結果的總成本，不只看 token 價格。
常見問題
應該從哪個流程開始？
從已有代表性輸入與明確成功標準的流程中，選量最大或風險最高者開始。
一開始該測試幾個模型？
先試推薦模型與一個備援。兩者都無法滿足品質、延遲或成本限制時，才新增候選。
比較時哪些條件要一致？
所有模型使用相同輸入、上下文、工具、輸出上限、驗證規則與停止條件。
為此流程選模型
使用相同應用輸入與驗證規則，比較主要與備援路徑。