Anthropic представила Claude Code с функцией независимого контроля качества ИИ-агентов

Разработчики систем искусственного интеллекта столкнулись с проблемой, когда автономные агенты (программы, способные самостоятельно выполнять цепочки задач) завершают работу до её фактического выполнения. Часто это происходит не из-за нехватки навыков модели, а из-за ошибочного решения алгоритма о том, что цель достигнута. Для исправления этой ситуации компания Anthropic внедрила функцию /goals в инструмент Claude Code, которая разделяет процессы выполнения и оценки задачи.

Разделение ролей исполнителя и контролёра

Стандартные ИИ-агенты для написания кода работают в цикле: они изучают файлы, выполняют команды и вносят правки. Функция /goals добавляет в этот процесс второй уровень проверки. После того как пользователь ставит задачу, одна модель начинает её выполнение, а вторая модель-оценщик проверяет результат после каждого шага.

В Claude Code за проверку по умолчанию отвечает компактная модель Haiku. Она анализирует состояние проекта и выносит вердикт о том, достигнута ли цель. Если условия не выполнены, агент продолжает работу. Такой подход позволяет избежать ситуации, когда ИИ путает уже сделанные действия с теми, которые ещё только предстоит совершить.

Сравнение с решениями конкурентов

Крупные игроки рынка искусственного интеллекта предлагают разные способы решения проблемы преждевременного завершения задач:

• OpenAI предоставляет пользователям возможность самостоятельно подключать оценщиков, однако по умолчанию решение о завершении работы остается за основной моделью.
• Google и платформа LangChain позволяют создавать независимые узлы проверки, но это требует от разработчиков ручной настройки логики завершения и систем мониторинга.

В обзоре отмечается, что преимущество решения от Anthropic заключается в нативной интеграции. Разработчику достаточно задать текстовое условие, например, дождаться успешного прохождения тестов или завершения линтинга (автоматической проверки кода на соответствие стандартам оформления). Это избавляет компании от необходимости внедрять дополнительные системы наблюдения.

Критерии эффективной постановки целей

Для достижения наилучших результатов эксперты рекомендуют задавать условия, которые имеют:

• Измеримое конечное состояние: конкретный результат теста, код выхода сборки или определённое количество файлов в папке.
• Чёткий метод проверки: инструкция, как именно ИИ должен подтвердить успех (например, выполнение команды «npm test»).
• Обязательные ограничения: параметры, которые не должны измениться в процессе (например, запрет на модификацию определённых файлов).

Перспективы использования автономных систем

По мнению отраслевых экспертов, разделение «строителя» и «судьи» является единственно верным подходом при проектировании сложных систем. В материале подчеркивается, что нельзя доверять модели проверку её собственной работы, так как исполнитель всегда будет предвзятым судьёй.

В обзоре указывается, что подобные циклы проверки наиболее эффективны для детерминированных задач с проверяемым результатом: миграции кода, исправления существующих наборов тестов или очистки очередей задач. Для более творческих процессов, требующих субъективной оценки дизайна или удобства интерфейса, контроль со стороны человека всё ещё остаётся необходимым условием.