РАБОЧИЙ СЦЕНАРИЙ

API LLM для проверки кода

Пример: pull request изменяет обработчик аутентификации. Сервис проверки отправляет diff, соседние функции, правила безопасности и карту изменённых строк в codex-auto-review. Модель должна возвращать только проблемы с конкретным сценарием отказа.

Diff pull request с высокорисковой проблемой проверки ввода
API LLM для проверки кода

Рабочий пример

API, основная модель и резервная конфигурация

Выбор для рабочей средыРекомендацияПочему
APIPOST /v1/chat/completionsСерверный запрос, совместимый с OpenAI
Основная модельcodex-auto-reviewcodex-auto-review — первый специализированный путь автоматической проверки в текущем каталоге.
Запасная модельgpt-5.6-terraИспользуйте Terra для широкого анализа репозитория. Передавайте Sol спорную высокорисковую проблему, а не каждый обычный PR.
Модель для сложных задачgpt-5.6-solИспользуйте только при выходе за возможности основной модели по качеству или сложности
Требования к выводуПроверенный JSONПроблемы в JSON: файл, строка, серьёзность, заголовок, доказательства, путь ошибки и исправление.
01
Сценарий

Рабочее приложение для проверки кода

Пример: pull request изменяет обработчик аутентификации. Сервис проверки отправляет diff, соседние функции, правила безопасности и карту изменённых строк в codex-auto-review. Модель должна возвращать только проблемы с конкретным сценарием отказа.

Сервис отклоняет комментарии без файла, изменённой строки, серьёзности, доказательств и исправления. В тестах есть чистые PR, поэтому больше комментариев не означает лучшую проверку.

02
Архитектура

Как устроен процесс проверки кода

  • Постройте diff и карту изменённых строк.
  • Получите только непосредственно связанный код и правила.
  • Запросите структурированные проблемы с доказательствами и минимальным диапазоном строк.
  • Отбросьте некорректные комментарии и комментарии вне diff без доказанной зависимости.
  • Покажите принятые проблемы проверяющему человеку.
03
Запрос API

Вызовите codex-auto-review через LLMFly AI

Отправляйте запрос с сервера. Замените пример и схему-заглушку данными и инструментами приложения.

request.example
curl https://app.llmfly.ai/v1/chat/completions \
  -H "Authorization: Bearer $LLMFLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "codex-auto-review",
    "messages": [
      {"role": "system", "content": "Review the supplied diff. Report only actionable defects introduced by this change. Each finding needs file, changed line, severity, failure path, evidence, and a minimal fix."},
      {"role": "user", "content": "Review this authentication middleware pull request against the attached repository rules."}
    ],
    "response_format": {"type": "json_object"}
  }'
04
Выбор модели

Почему основная модель — codex-auto-review

codex-auto-review — первый специализированный путь автоматической проверки в текущем каталоге.

Используйте Terra для широкого анализа репозитория. Передавайте Sol спорную высокорисковую проблему, а не каждый обычный PR.

05
Приёмка

Проверки результата проверки кода

ПоказательУсловие успеха
Доля обнаруженных реальных дефектовНаходит заложенные высокорисковые дефекты тестов
Доля ложных срабатыванийЧистые контрольные изменения не получают блокирующих или выдуманных проблем
Привязка к строкамКаждая проблема указывает минимальные строки и объясняет путь ошибки
Доля принятия проверяющимиКомпетентные проверяющие считают комментарий правильным, полезным и достойным показа
06
Обработка ошибок

Ошибки, которые нужно обработать до запуска

  • Поощрение количества комментариев
  • Тесты только на дефектных примерах
  • Принятие расплывчатых общих советов
  • Комментарии вне изменённых строк без доказательств
07
Выход

Вывод и журналы выполнения

Проблемы в JSON: файл, строка, серьёзность, заголовок, доказательства, путь ошибки и исправление.

Для каждого рабочего запуска записывайте ID модели и запроса, токены, повторы, проверку и итоговое решение.

Частые вопросы

Как измерять ложные срабатывания?

Включите чистые изменения и считайте проблемы, отклонённые проверяющим как неверные или непригодные для исправления.

Нужен ли весь репозиторий для проверки кода?

Не всегда. Начните с diff и связанных файлов, добавляйте контекст по необходимости.

Какой формат вывода подходит лучше?

Используйте схему с файлом, строкой, серьёзностью, объяснением, доказательствами и предложенным исправлением.

Проверьте настройки на своих данных

Сравните основную и запасную модели с одинаковыми запросами, инструментами и правилами проверки.

Сравнить модели