Я постоянно использую GitHub Copilot для ревью PR, ведь GitHub делает это автоматически, и кажется, что это бесплатно.

Но в последние несколько раз ревью заставили меня усомниться в том, что он вообще «понимает» что-то.

Например, очень базовый вопрос: он всё ещё считает, что версия 1.82.0 выше, чем 1.91.1, что — типичная ошибка ранних больших моделей при определении версий.

Если это проблема модели, то он ещё и считает, что rust 1.91.1 ещё не выпущен, что показывает, что возможности поиска и оценки текущего состояния агента тоже оставляют желать лучшего.

Ещё одна более серьёзная проблема — ревью Copilot явно делается по одному файлу.

Он хорошо проверяет стиль кода и граничные условия, но ему не хватает глобальной картины. Например, в одном PR агент неправильно посчитал относительные пути и скопировал один и тот же файл несколько раз, хотя на самом деле активен был только один — он полностью не заметил такую проблему и даже не интересовался, что требует исходная issue, к которой привязан PR.

На мой взгляд, хороший агент-ревьюер по коду должен сначала оценивать всё глобально:

Соответствует ли PR issue, соответствует ли он целям проекта, логична ли структура файлов и архитектура, и только потом — синтаксис и детали.

В последнее время я собираюсь добавить режим ревьюера в holon.
А вы сейчас действительно используете reviewer agent? Какие обычно используете?