ЗАДАЧИ ЧАТ-БОТОВ
Создайте чат поддержки, базы знаний или разных языков. Каждый процесс объясняет ответы с источниками, нехватку данных и безопасную передачу.
Рабочий пример
| Что измерять | Что записывать |
|---|---|
| Время до первого токена | Результат, задержка, токены и причина принятия или отклонения |
| Цена истории диалога | Результат, задержка, токены и причина принятия или отклонения |
| Соблюдение инструкций | Результат, задержка, токены и причина принятия или отклонения |
| Поведение запасной модели | Результат, задержка, токены и причина принятия или отклонения |
Создайте чат поддержки, базы знаний или разных языков. Каждый процесс объясняет ответы с источниками, нехватку данных и безопасную передачу.
Включите обычные вопросы, неоднозначные запросы, нехватку данных, несколько шагов и случаи для специалиста. Проверяйте правильность итогового решения клиента.
Учитывайте повторы, инструменты, проверку, переход к старшей модели и ручные правки. Сравнивайте полную цену пригодных результатов, не только токенов.
Начните с самого массового или рискованного процесса, для которого есть типичные входные данные и чёткие критерии успеха.
Начните с рекомендуемой и одной запасной модели. Добавляйте третью, только если обе не проходят требования по качеству, задержке или цене.
Используйте одинаковые входы, контекст, инструменты, пределы вывода, правила проверки и условия остановки.
Сравните основной и запасной пути API с одинаковыми входными данными и правилами проверки.
