Когда агенту нужно поработать в программе, первая мысль — дать ему «компьютер»: пусть видит экран, двигает мышь и жмёт кнопки, как человек. Это называется computer use, и в соцсетях это любят показывать. Агент сам открывает видеоредактор и сам режет ролик — выглядит как магия.
На деле это самый медленный и хрупкий путь.
История из подкаста OpenClaw
В одном из выпусков ClawCast новый сотрудник команды OpenClaw рассказал, как учился монтировать видео через агента. Сначала он пошёл «правильным» путём из соцсетей: поставил профессиональный редактор DaVinci Resolve и подключил к нему агента, который управлял программой через экран.
Ведущий подкаста посоветовал проще: дать агенту консольную утилиту, которая режет видео командами. В итоге взяли moviestar — это видеоредактор без интерфейса, сделанный специально для агентов. Под капотом у него ffmpeg.
Итог по его же словам: «гораздо быстрее и гораздо проще». Он смотрел запись и говорил голосом: «режь здесь, здесь и здесь, найди музыку». Агент резал, выравнивал громкость и показывал, какой кусок собирается удалить. Раньше у него было два ограничения: умение пользоваться программой и вкус. Осталось одно — вкус.
Почему так
Когда агент кликает по экрану, он каждый раз заново угадывает: где кнопка, открылось ли окно, что изменилось. Каждый шаг — снимок экрана, распознавание, клик и снова проверка. Это дорого, медленно и ломается от любого всплывающего окна.
Когда у агента есть команда, он просто пишет, что сделать: «вырежи с 1:30 до 3:00». Результат можно проверить, повторить и поправить одной строкой.
Человеку удобнее кнопки, а агенту — текст.
Как применить у себя
Перед тем как учить агента работать в какой-то программе, спросите:
- Есть ли у неё консольная версия или API? У видео есть ffmpeg, у документов — pandoc, у таблиц — Python, у почты — IMAP, у большинства сервисов — API.
- Есть ли готовый скилл? Скилл — это инструкция для агента, как пользоваться инструментом. Поищите в ClawHub, каталоге скиллов OpenClaw, по названию задачи: «video», «pdf», «invoice».
- Кликать — только если ничего из этого нет. Например, старая программа, у которой нет ни API, ни экспорта.
Ещё одна мелочь из того же выпуска. В настройках OpenClaw есть встроенный помощник: его можно спросить, что делает плагин, насколько он безопасен и сколько у него установок. Это быстрее, чем читать описание.
Коротко
- Агенту — текст и команды, человеку — кнопки.
- Сначала ищите консольный инструмент или скилл, computer use оставьте на крайний случай.
- Ваша часть работы — решать, что хорошо, а что нет. Возиться с программой больше не нужно.