選擇 Agent 要做的事
呼叫應用函式、操作瀏覽器工具或協調多步驟流程，從最接近產品操作範圍的場景開始。
- 函式呼叫用 LLM API
- 瀏覽器 Agent 用 LLM API
- 工作流程自動化用 LLM API
Agent 場景
Agent 用 LLM API
呼叫應用函式、操作瀏覽器工具或協調多步驟流程，從最接近產品操作範圍的場景開始。
正式環境實作
API、主要模型與備援設定
| 量測項目 | 記錄項目 |
|---|---|
| 正確工具選擇 | 結果、延遲、token 用量與採用或拒絕原因 |
| 格式遵循 | 結果、延遲、token 用量與採用或拒絕原因 |
| 工具錯誤恢復 | 結果、延遲、token 用量與採用或拒絕原因 |
| 完整循環成本 | 結果、延遲、token 用量與採用或拒絕原因 |
一起測試工具與恢復
檢查工具選擇、參數、權限、重試、確認與應用最終狀態。訊息看似正確，但工具操作錯誤仍不合格。
- 正確工具選擇
- 格式遵循
- 工具錯誤恢復
- 完整循環成本
衡量可用結果的成本
計入重試、工具呼叫、驗證、升級與人工修正。比較應用真正可採用結果的總成本，不只看 token 價格。
常見問題
應該從哪個流程開始？
從已有代表性輸入與明確成功標準的流程中，選量最大或風險最高者開始。
一開始該測試幾個模型？
先試推薦模型與一個備援。兩者都無法滿足品質、延遲或成本限制時，才新增候選。
比較時哪些條件要一致？
所有模型使用相同輸入、上下文、工具、輸出上限、驗證規則與停止條件。
為此流程選模型
使用相同應用輸入與驗證規則，比較主要與備援路徑。