正式環境場景

函式呼叫用 LLM API

銷售助理可查詢帳戶、計算報價並建立訂單草稿。 先呼叫 lookup_account,再呼叫 calculate_quote。人工確認確切草稿前,不開放 create_order。

連結 LLM 回答與應用操作的已驗證函式呼叫
函式呼叫用 LLM API

正式環境實作

API、主要模型與備援設定

正式環境選擇建議原因
APIPOST /v1/chat/completionsOpenAI 相容伺服器端請求
主要模型gpt-5.6-terra可靠的工具選擇與多步驟參數建構,預設使用 Terra,無須每次都用旗艦模型。
備援模型gpt-5.5確認工具結構行為後,單工具的唯讀請求使用 gpt-5.5。 涉及多個相互依賴工具且不明確的計畫,升級至 Sol。
升級模型gpt-5.6-sol只在主要路徑未達品質或複雜度門檻時使用
輸出規則通過驗證的工具呼叫驗證工具呼叫後產出報價草稿;確認前不建立外部訂單。
01
情境

正式應用中的函式呼叫

銷售助理可查詢帳戶、計算報價並建立訂單草稿。 先呼叫 lookup_account,再呼叫 calculate_quote。人工確認確切草稿前,不開放 create_order。

模型提出工具呼叫;應用程式執行前驗證結構、權限與狀態。 工具錯誤以結構化結果回傳,不重試完全相同的無效呼叫。

02
架構

函式呼叫流程如何運作

  • 只開放目前狀態允許的工具。
  • 讓模型選擇工具並提出參數。
  • 由應用程式驗證每個參數與權限。
  • 可能寫入時,使用冪等鍵執行。
  • 回傳結構化結果,持續到預設的有限停止條件。
03
API 請求

透過 LLMFly AI 呼叫 gpt-5.6-terra

從伺服器送出請求,將範例內容與預留工具格式換成應用的資料與工具。

request.example
curl https://app.llmfly.ai/v1/chat/completions \
  -H "Authorization: Bearer $LLMFLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.6-terra",
    "messages": [
      {"role": "system", "content": "Use the available tools to prepare a quote. Never create an order until the user confirms the exact draft. Do not invent account IDs or prices."},
      {"role": "user", "content": "Prepare a quote for 25 seats for Acme's current plan."}
    ],
    "tools": [{"type": "function", "function": {"name": "YOUR_TOOL", "description": "Replace with the tool contract for this workflow", "parameters": {"type": "object", "properties": {}, "additionalProperties": false}}}]
  }'
04
模型選擇

為什麼以 gpt-5.6-terra 為主要模型

可靠的工具選擇與多步驟參數建構,預設使用 Terra,無須每次都用旗艦模型。

確認工具結構行為後,單工具的唯讀請求使用 gpt-5.5。 涉及多個相互依賴工具且不明確的計畫,升級至 Sol。

05
驗收

函式呼叫驗收檢查

指標通過條件
正確工具選擇率模型呼叫所需工具,不需要時不呼叫
有效參數比例參數通過結構、範圍、識別碼與權限驗證
工具錯誤恢復可復原的結構化錯誤會促使修正呼叫,而非原樣重試
不安全呼叫比例重大操作工具不會在缺少必要權限或確認時執行
06
失敗處理

部署前要處理的失敗

  • 執行未驗證參數
  • 重試相同無效呼叫
  • 使用含義重疊的工具說明
  • 讓文字指令繞過權限
07
輸出

回傳輸出與執行紀錄

驗證工具呼叫後產出報價草稿;確認前不建立外部訂單。

每次正式執行記錄模型 ID、請求 ID、token 用量、重試、驗證結果與最終處理。

常見問題

應先追蹤哪個指標?

先確認模型是否選對工具,或正確判斷不需工具,再看參數細節。

可以直接信任工具參數嗎?

不是。 驗證型別、必填欄位、範圍、識別碼與權限。

工具錯誤應如何回傳?

回傳簡短的結構化錯誤,不暴露機密或內部追蹤資訊。

用自己的輸入測試設定

以相同請求、工具與驗證規則比較主要和備援模型。

比較模型