選擇程式開發流程
產生功能、審查 Pull Request 或規劃整個儲存庫重構，開啟符合所需變更的流程。
- 程式碼生成用 LLM API
- 程式碼審查用 LLM API
- 儲存庫重構用 LLM API
程式開發場景
程式開發用 LLM API
產生功能、審查 Pull Request 或規劃整個儲存庫重構，開啟符合所需變更的流程。
正式環境實作
API、主要模型與備援設定
| 量測項目 | 記錄項目 |
|---|---|
| 自己儲存庫的修正正確性 | 結果、延遲、token 用量與採用或拒絕原因 |
| 工具呼叫可靠性 | 結果、延遲、token 用量與採用或拒絕原因 |
| 反覆工作的延遲 | 結果、延遲、token 用量與採用或拒絕原因 |
| 每筆採用變更的成本 | 結果、延遲、token 用量與採用或拒絕原因 |
在自己的儲存庫測試模型
使用實際需求、儲存庫規範、建置命令與審查規則。結果必須在自己的程式庫運作，不能只看回答似乎合理。
- 自己儲存庫的修正正確性
- 工具呼叫可靠性
- 反覆工作的延遲
- 每筆採用變更的成本
衡量可用結果的成本
計入重試、工具呼叫、驗證、升級與人工修正。比較應用真正可採用結果的總成本，不只看 token 價格。
常見問題
應該從哪個流程開始？
從已有代表性輸入與明確成功標準的流程中，選量最大或風險最高者開始。
一開始該測試幾個模型？
先試推薦模型與一個備援。兩者都無法滿足品質、延遲或成本限制時，才新增候選。
比較時哪些條件要一致？
所有模型使用相同輸入、上下文、工具、輸出上限、驗證規則與停止條件。
為此流程選模型
使用相同應用輸入與驗證規則，比較主要與備援路徑。