API LLM для чат-ботов поддержки

Рабочее приложение для чат-ботов поддержки

Клиент SaaS спрашивает, почему счёт оплатили дважды. Сервис получает актуальные правила оплаты и статус счёта со скрытыми личными данными. Модель отвечает по этим источникам или возвращает объект передачи оператору.

Модель не может оформлять возвраты или выдумывать состояние аккаунта. Если личность не подтверждена, источники противоречат друг другу или инструмент оплаты не работает, передайте разговор оператору с кратким описанием и ID источников.

Как устроен процесс чат-ботов поддержки

• Определите тип обращения и требования к проверке личности.
• Получите утверждённые правила и данные аккаунта со скрытой личной информацией.
• Составьте ответ с ID внутренних источников или объект передачи оператору.
• Проверьте подтверждение каждого утверждения.
• Перед важным действием с аккаунтом передайте дело оператору.

Вызовите gemini-2.5-flash через LLMFly AI

Отправляйте запрос с сервера. Замените пример и схему-заглушку данными и инструментами приложения.

curl https://app.llmfly.ai/v1/chat/completions \
  -H "Authorization: Bearer $LLMFLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-2.5-flash",
    "messages": [
      {"role": "system", "content": "Answer only from SOURCES and ACCOUNT_FACTS. If evidence is missing, identity is unverified, or an action requires permission, return ESCALATE with a concise reason."},
      {"role": "user", "content": "The customer says this invoice was charged twice. Explain the status or escalate."}
    ],
    "response_format": {"type": "json_object"}
  }'

Почему основная модель — gemini-2.5-flash

Gemini 2.5 Flash — исходный выбор для большого потока обращений с чёткими правилами ответа и передачи оператору. Проверьте язык и соблюдение правил на своих обращениях.

Если Flash не соблюдает формат и правила ответа, переходите на проверенную Terra. Сложные противоречия в правилах и операции с аккаунтом через несколько инструментов передавайте Sol или оператору.

Проверки результата чат-ботов поддержки

Ошибки, которые нужно обработать до запуска

• Любой ценой избегать передачи оператору
• Позволять боту выдумывать правила
• Отправлять лишние конфиденциальные данные
• Оценивать только отдельные ответы

Вывод и журналы выполнения

Ответ с подтверждением и ID внутренних источников либо структурированная причина передачи оператору.

Для каждого рабочего запуска записывайте ID модели и запроса, токены, повторы, проверку и итоговое решение.