Коротко
- Поведенческая обвязка — это гайды (контракты, примеры) и сенсоры (контрактные тесты, отчёты), к которым возвращается агент по ходу работы.
- Naresh Jain сравнил Codex на GPT-6 Sol и GPT-6 Luna на одной задаче со 178 проверок: Sol прошёл 10 из 10 и без обвязки, Luna прошла 3 из 10 без и 10 из 10 с обвязкой.
- Цена обвязки — токены и время. Обвязка окупилась только на дешёвой модели: Luna с ней $0.273 за прогон против $0.406 у Sol без неё.
- Перенесите поведенческие проверки в хуки, скиллы и шаги пайплайна OpenClaw, потом прогоните свою проверку на дешёвой модели с обвязкой и без.
Сверено с документацией OpenClaw 2026.10.3, 15 октября 2026.
Naresh Jain, основатель Specmatic, Xnsio и ConfEngine, прогнал Codex на двух моделях OpenAI через одну задачу: backend-for-frontend со 178 проверок приёмки. Условий было два: модель работала одна, опираясь только на бриф и базовые инструкции репозитория, либо получала внутренний цикл обвязки: набор OpenAPI и AsyncAPI контрактов, примеры запросов и ответов, плагин со скиллом и набор детерминированных проверок. Каждый прогон запускался в чистом Docker-контейнере без памяти о прошлых попытках.
Что такое поведенческая обвязка
Термин взят у Биргитты Бёкелер: обвязка делится на гайды и сенсоры. Гайды упреждающе подсказывают агенту, где он может ошибиться. Сенсоры наблюдают за результатом и возвращают ему обратную связь, чтобы он скорректировался. Jain собрал их из OpenAPI и AsyncAPI контрактов, набора примеров и скилла по разработке API, который учит агента диагностировать отказы. Сенсоры — это контрактные проверки, API-тесты на значения HTTP-ответов, проверка наблюдаемых побочных эффектов (вызовы к мокам, публикации в Kafka), а отчёты CTRF и покрытия API возвращали результаты агенту прямо по ходу разработки.
Важная деталь: источник проверок был независим от реализующего агента. Контракты и примеры описывали человеческие ожидания в исполняемой форме. Агенту предписывали сохранять их и чинить реализацию или настройку запуска, а не ослаблять ожидания. Это вычислительный контроль: детерминированный инструмент говорит «правильно» или «неправильно» без оценки LLM. Сам агент, ведомый скиллом, решал, как чинить провал.
Эксперимент: frontier и дешёвая модель
GPT-6 Sol на низком уровне рассуждений прошёл все 178 проверок в каждом из 10 прогонов и с обвязкой, и без. Различие было в цене обвязки: 11 331 970 токенов и 19 минут 53 секунды против 1 076 371 и 6 минут 51 секунды. С обвязкой Sol потратил примерно в 10,5 раз больше токенов и почти в 3 раза больше времени, а стоил около 7 раз дороже, но по метрике «принято» не сдвинулся. В разведочных прогонах Claude Sonnet 4.6, Claude Opus 4.6 и Gemini 3.8 Flash на низком рассуждении тоже справились без посторонней помощи с первого захода.
С GPT-6 Luna картина переломилась. Без обвязки прошло 3 из 10. С обвязкой прошло 10 из 10. Средние по 10 прогонам: Luna с обвязкой 22 933 648 токенов, 35 минут, около $0.273 за прогон. Luna без обвязки: 5 860 736 токенов, 15 минут 56 секунд, около $0.086. Sol без обвязки около $0.406 за прогон. Обвязка добавила к Luna в среднем 17 072 912 токенов, 19 минут 4 секунды автономной работы и около $0.187, но превратила её из ненадёжной в надёжную и оставила дешевле Sol примерно на 33% ($0.273 против $0.406).
Jain делает оговорку сам: бриф был подробным и описывал тайм-ауты, коды 202/429/502/503, требования к Kafka-публикации и фильтрам. На менее полном брифе результаты, по его словам, пока не известны. И ещё: модель выбрана намеренно. OpenAI позиционирует GPT-6 Sol как флагман для сложной профессиональной работы, а GPT-6 Luna как эконом-сегмент для нагруженных сценариев, примерно соответствующий уровню nano в прежних семействах GPT-5.
Как это собрать на OpenClaw
Несколько точек расширения OpenClaw закрывают части задачи: плагин-хуки, внутренние хуки, скиллы и пайплайн автоматизации.
Плагинные хуки дают типизированный доступ к жизненному циклу через api.on(...). Они позволяют модифицировать промпты, перехватывать вызовы инструментов, контролировать ответы и работать с приоритетами и возвращаемыми значениями.
Внутренние хуки — это второй канал для коротких побочных эффектов на событиях сообщений и сессий: логировать, проверять, запускать скрипт проверки. hooks list, hooks info и hooks enable — для просмотра и включения. Режим перезагрузки hybrid подхватывает изменения без рестарта.
Скилл — это каталог практик, который агент читает по имени. Управляемая копия в ~/.openclaw/skills/<name>/SKILL.md имеет приоритет над встроенной и не требует править репозиторий. Видимость ограничивается через agents.defaults.skills и agents.entries.*.skills.
Пайплайн автоматизации запускает проверки как задачу. Изолированный cron или разовый запуск с моделью подешевле прогоняет контрактные тесты и возвращает агенту отчёт — то самое «executable attention» — исполняемое внимание — по выражению Jain.
openclaw hooks list
openclaw hooks info command-logger
openclaw hooks enable command-logger
openclaw automations run <jobId>
openclaw automations runs <jobId> --limit 50Когда это не подойдёт
У Sol обвязка потребовала примерно в 10,5 раз больше токенов и почти в 3 раза больше времени без изменения метрики «принято». На менее полном брифе, по оговорке самого Jain, разрыв между режимами не измерен, и подсказкам может быть не за что зацепиться. Обвязка опирается на детерминированные источники истины, то есть контракты и примеры. Цены в эксперименте учитывают только генерацию: время на то, чтобы написать, проверить и поддерживать контракты, примеры и саму обвязку, Jain не считал. Гайды и сенсоры надо держать согласованными: в эксперименте Jain перед каждым прогоном отдельная команда проверки «examples validate» сверяла, что примеры соответствуют спецификациям. Наконец, цены и времена в эксперименте авторские и с одного провайдера; прежде чем переносить обвязку в прод, прогоните свою проверку на своей дешёвой модели с обвязкой и без и сравните стоимость прогона, а не только метрику «принято».