고객 지원 챗봇용 LLM API

운영 앱의 고객 지원 챗봇

SaaS 고객이 청구서가 두 번 결제된 이유를 묻습니다. 지원 서비스가 최신 결제 정책과 개인정보를 가린 청구 상태를 가져옵니다. 모델은 이 자료로 답하거나 상담원 이관 정보를 반환합니다.

모델은 환불을 실행하거나 계정 상태를 지어낼 수 없습니다. 본인 확인이 안 되거나 자료가 충돌하거나 결제 도구가 실패하면 요약·출처 ID와 함께 상담원에게 넘깁니다.

고객 지원 챗봇 처리 흐름

• 문의 분류·본인 확인 요건 점검.
• 승인된 정책·개인정보를 가린 계정 정보 조회.
• 내부 출처 ID가 있는 답변 또는 이관 정보 생성.
• 모든 설명에 근거가 있는지 확인.
• 중요한 계정 작업 전 상담원 이관.

LLMFly AI로 gemini-2.5-flash 호출

서버에서 요청하세요. 예시 내용과 임시 도구 스키마를 앱의 데이터·도구로 바꾸세요.

curl https://app.llmfly.ai/v1/chat/completions \
  -H "Authorization: Bearer $LLMFLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-2.5-flash",
    "messages": [
      {"role": "system", "content": "Answer only from SOURCES and ACCOUNT_FACTS. If evidence is missing, identity is unverified, or an action requires permission, return ESCALATE with a concise reason."},
      {"role": "user", "content": "The customer says this invoice was charged twice. Explain the status or escalate."}
    ],
    "response_format": {"type": "json_object"}
  }'

gemini-2.5-flash를 기본 모델로 고른 이유

답변 범위와 이관 규칙이 명확한 대량 지원 요청에는 Gemini 2.5 Flash를 기본으로 씁니다. 실제 문의로 언어 품질과 정책 준수를 확인하세요.

Flash가 답변 규약을 지키지 못하면 검증된 Terra로 전환하세요. 복잡한 정책 충돌이나 여러 도구가 필요한 계정 문제는 Sol 또는 상담원에게 넘기세요.

고객 지원 챗봇 합격 기준

배포 전 처리할 오류

• 어떤 비용을 치르더라도 봇 안에서 해결하려 함
• 봇이 정책을 지어내게 둠
• 불필요한 민감 정보 전송
• 한 번의 응답만 평가

출력·실행 기록

내부 출처 ID가 있는 근거 기반 답변 또는 정해진 형식의 이관 사유를 반환합니다.

운영 실행마다 모델 ID, 요청 ID, 토큰 사용량, 재시도, 검증 결과와 최종 처리를 기록하세요.