選擇應用所需結果
分析長文件、回傳驗證過的結構化資料或解釋核對後的計算。開啟符合所需輸出的流程。
- 文件分析用 LLM API
- 結構化資料擷取用 LLM API
- 數學推理用 LLM API
文件與資料場景
推理用 LLM API
分析長文件、回傳驗證過的結構化資料或解釋核對後的計算。開啟符合所需輸出的流程。
正式環境實作
API、主要模型與備援設定
| 量測項目 | 記錄項目 |
|---|---|
| 自己任務集的準確度 | 結果、延遲、token 用量與採用或拒絕原因 |
| 輸出一致性 | 結果、延遲、token 用量與採用或拒絕原因 |
| 延遲預算 | 結果、延遲、token 用量與採用或拒絕原因 |
| 重試與驗證成本 | 結果、延遲、token 用量與採用或拒絕原因 |
驗證回傳結果
使用已知答案、缺少或矛盾證據、嚴格格式與確定性檢查。只有應用能驗證必需欄位或結果時，才接受回應。
- 自己任務集的準確度
- 輸出一致性
- 延遲預算
- 重試與驗證成本
衡量可用結果的成本
計入重試、工具呼叫、驗證、升級與人工修正。比較應用真正可採用結果的總成本，不只看 token 價格。
常見問題
應該從哪個流程開始？
從已有代表性輸入與明確成功標準的流程中，選量最大或風險最高者開始。
一開始該測試幾個模型？
先試推薦模型與一個備援。兩者都無法滿足品質、延遲或成本限制時，才新增候選。
比較時哪些條件要一致？
所有模型使用相同輸入、上下文、工具、輸出上限、驗證規則與停止條件。
為此流程選模型
使用相同應用輸入與驗證規則，比較主要與備援路徑。