用于客服机器人的 LLM API

客服机器人在生产应用中的实际场景

SaaS 客户询问为什么账单被重复扣费。客服服务先检索当前计费政策和脱敏后的账单状态，再要求模型基于这些来源回答，或返回转人工对象。

模型不能自行退款，也不能编造账户状态。身份未验证、来源冲突或账单工具失败时，会话会连同摘要和来源 ID 一起转给人工。

客服机器人工作流怎样运行

• 分类请求并检查身份要求。
• 检索获准政策和脱敏账户事实。
• 生成带内部来源 ID 的回答，或返回转人工对象。
• 验证每条结论都有来源支持。
• 在任何有后果的账户操作前转人工。

通过 LLMFly AI 调用 gemini-2.5-flash

请求应从服务端发送。请将示例内容和占位工具 Schema 替换为应用中的真实数据与工具。

curl https://app.llmfly.ai/v1/chat/completions \
  -H "Authorization: Bearer $LLMFLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-2.5-flash",
    "messages": [
      {"role": "system", "content": "Answer only from SOURCES and ACCOUNT_FACTS. If evidence is missing, identity is unverified, or an action requires permission, return ESCALATE with a concise reason."},
      {"role": "user", "content": "The customer says this invoice was charged twice. Explain the status or escalate."}
    ],
    "response_format": {"type": "json_object"}
  }'

为什么主模型选择 gemini-2.5-flash

Gemini 2.5 Flash 适合回答与转人工边界清晰的高并发客服轮次；仍需用实际工单验证语言质量与政策遵循情况。

Flash 未满足回答契约时，使用经过测试的 Terra 作为备用；复杂政策冲突或多工具账户问题交给 Sol 或人工。

客服机器人的验收条件

上线前必须处理的失败情况

• 不惜代价追求机器人闭环率
• 允许机器人编造政策
• 发送不必要的敏感数据
• 只衡量单轮回复

返回结果与运行记录

返回带内部来源 ID 的有依据回复，或结构化转人工原因。

每次生产运行都应记录模型 ID、Request ID、Token 用量、重试、验证结果和最终处理状态。