Выберите процесс разработки
Создайте функцию, проверьте pull request или спланируйте рефакторинг репозитория. Откройте нужный процесс.
- API LLM для генерации кода
- API LLM для проверки кода
- API LLM для рефакторинга репозитория
ЗАДАЧИ С КОДОМ
API LLM для разработки
Создайте функцию, проверьте pull request или спланируйте рефакторинг репозитория. Откройте нужный процесс.
Рабочий пример
API, основная модель и резервная конфигурация
| Что измерять | Что записывать |
|---|---|
| Корректность исправления в вашем репозитории | Результат, задержка, токены и причина принятия или отклонения |
| Надёжность вызовов инструментов | Результат, задержка, токены и причина принятия или отклонения |
| Задержка повторных итераций | Результат, задержка, токены и причина принятия или отклонения |
| Цена принятого изменения | Результат, задержка, токены и причина принятия или отклонения |
Проверьте модели на своём репозитории
Используйте реальные требования, правила репозитория, команды сборки и критерии проверки. Результат должен работать в вашем коде, а не просто выглядеть правдоподобно.
- Корректность исправления в вашем репозитории
- Надёжность вызовов инструментов
- Задержка повторных итераций
- Цена принятого изменения
Измеряйте цену пригодного результата
Учитывайте повторы, инструменты, проверку, переход к старшей модели и ручные правки. Сравнивайте полную цену пригодных результатов, не только токенов.
Частые вопросы
С какого процесса начать?
Начните с самого массового или рискованного процесса, для которого есть типичные входные данные и чёткие критерии успеха.
Сколько моделей тестировать сначала?
Начните с рекомендуемой и одной запасной модели. Добавляйте третью, только если обе не проходят требования по качеству, задержке или цене.
Что должно быть одинаковым при сравнении?
Используйте одинаковые входы, контекст, инструменты, пределы вывода, правила проверки и условия остановки.
Выберите модель для этого процесса
Сравните основной и запасной пути API с одинаковыми входными данными и правилами проверки.