ЗАДАЧИ С ДОКУМЕНТАМИ И ДАННЫМИ
Анализируйте длинные документы, возвращайте проверенные структурированные данные или объясняйте проверенный расчёт. Выберите процесс по нужному результату.
Рабочий пример
| Что измерять | Что записывать |
|---|---|
| Точность на ваших задачах | Результат, задержка, токены и причина принятия или отклонения |
| Согласованность вывода | Результат, задержка, токены и причина принятия или отклонения |
| Допустимая задержка | Результат, задержка, токены и причина принятия или отклонения |
| Цена повторов и проверки | Результат, задержка, токены и причина принятия или отклонения |
Анализируйте длинные документы, возвращайте проверенные структурированные данные или объясняйте проверенный расчёт. Выберите процесс по нужному результату.
Используйте известные ответы, недостающие и противоречивые доказательства, строгие схемы и детерминированные проверки. Принимайте только проверяемые приложением поля или результаты.
Учитывайте повторы, инструменты, проверку, переход к старшей модели и ручные правки. Сравнивайте полную цену пригодных результатов, не только токенов.
Начните с самого массового или рискованного процесса, для которого есть типичные входные данные и чёткие критерии успеха.
Начните с рекомендуемой и одной запасной модели. Добавляйте третью, только если обе не проходят требования по качеству, задержке или цене.
Используйте одинаковые входы, контекст, инструменты, пределы вывода, правила проверки и условия остановки.
Сравните основной и запасной пути API с одинаковыми входными данными и правилами проверки.
