РАБОЧИЙ СЦЕНАРИЙ

API LLM для чат-ботов с RAG

Внутренний помощник отвечает по кадровым справочникам и региональным дополнениям. Поиск выполняется до вызова модели. У каждого фрагмента сохраняются ID документа, раздел, дата вступления в силу и метка доступа.

RAG-ответ со ссылками на подтверждающие фрагменты закрытых документов
API LLM для чат-ботов с RAG

Рабочий пример

API, основная модель и резервная конфигурация

Выбор для рабочей средыРекомендацияПочему
APIPOST /v1/chat/completionsСерверный запрос, совместимый с OpenAI
Основная модельgemini-2.5-proGemini 2.5 Pro — основной путь для больших наборов доказательств и обобщения нескольких документов.
Запасная модельgemini-2.5-flashДля коротких ответов с хорошо подобранными источниками используйте Gemini 2.5 Flash. Передавайте неоднозначное обобщение правил Terra только после проверки качества поиска.
Модель для сложных задачgpt-5.6-terraИспользуйте только при выходе за возможности основной модели по качеству или сложности
Требования к выводуТекст или исправление под задачуОтвет с ID фрагментов после каждого существенного утверждения либо явное указание на нехватку доказательств.
01
Сценарий

RAG-чат-боты в рабочем приложении

Внутренний помощник отвечает по кадровым справочникам и региональным дополнениям. Поиск выполняется до вызова модели. У каждого фрагмента сохраняются ID документа, раздел, дата вступления в силу и метка доступа.

Gemini 2.5 Pro получает только выбранные фрагменты и должна ссылаться на их ID. Если региональные правила расходятся, ответ показывает противоречие, а не выбирает молча один вариант.

02
Архитектура

Как устроен процесс чат-ботов с RAG

  • Проверьте права пользователя до поиска.
  • Найдите и пересортируйте фрагменты, сохраняя метаданные документа.
  • Отправьте минимальный достаточный набор доказательств.
  • Требуйте ID фрагментов для каждого предложения.
  • Проверьте подтверждение цитатами; при нехватке доказательств не отвечайте.
03
Запрос API

Вызовите gemini-2.5-pro через LLMFly AI

Отправляйте запрос с сервера. Замените пример и схему-заглушку данными и инструментами приложения.

request.example
curl https://app.llmfly.ai/v1/chat/completions \
  -H "Authorization: Bearer $LLMFLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-2.5-pro",
    "messages": [
      {"role": "system", "content": "Answer only from the supplied passages. Cite passage IDs after each material sentence. If passages are missing or conflicting, state that explicitly."},
      {"role": "user", "content": "Can a Shanghai employee carry unused leave into next year? Use the supplied policy passages."}
    ]
  }'
04
Выбор модели

Почему основная модель — gemini-2.5-pro

Gemini 2.5 Pro — основной путь для больших наборов доказательств и обобщения нескольких документов.

Для коротких ответов с хорошо подобранными источниками используйте Gemini 2.5 Flash. Передавайте неоднозначное обобщение правил Terra только после проверки качества поиска.

05
Приёмка

Проверки результата чат-ботов с RAG

ПоказательУсловие успеха
Полнота поискаПоиск возвращает известный подтверждающий фрагмент для тестовых вопросов с ответом
Точность ссылокКаждая ссылка прямо подтверждает предложение или поле, к которому относится
Доля неподтверждённых утвержденийВ итоговом ответе нет существенных утверждений без подтверждающего источника
Доля правильных отказов от ответаПомощник отказывается от ответа или оговаривает ограничения, если источники отсутствуют, устарели или противоречат друг другу
06
Обработка ошибок

Ошибки, которые нужно обработать до запуска

  • Обвинять модель в пропущенных поиском данных
  • Помещать все документы в контекст
  • Показывать нерелевантные ссылки
  • Требовать ответ без доказательств
07
Выход

Вывод и журналы выполнения

Ответ с ID фрагментов после каждого существенного утверждения либо явное указание на нехватку доказательств.

Для каждого рабочего запуска записывайте ID модели и запроса, токены, повторы, проверку и итоговое решение.

Частые вопросы

Что важнее: поиск или модель?

Важны оба. Оценивайте отдельно, чтобы не принять пропуск поиска за ошибку генерации.

Сколько фрагментов включать в запрос?

Используйте минимальный набор, достаточный для ответа и укладывающийся в бюджет.

Что делать, если источники противоречат друг другу?

Покажите расхождение, источники и даты, а не выбирайте молча одно утверждение.

Проверьте настройки на своих данных

Сравните основную и запасную модели с одинаковыми запросами, инструментами и правилами проверки.

Сравнить модели