Сегодняшняя подборка публикаций на arXiv указывает на общую проблему в индустрии: темпы разработки полностью автономных программных агентов значительно опережают развитие инструментов для их оценки, обучения и обеспечения безопасности. Три представленных исследования фокусируются на разных аспектах этого «разрыва»: от оценки реальной продуктивности систем до методов оптимизации обучения с подкреплением (RL) и системного контроля исполнения команд.
Реальные корпоративные задачи: почему агенты пока не справляются
Оптимистичные отчеты о способностях AI-агентов зачастую расходятся с результатами объективного тестирования. Новый бенчмарк EnterpriseOps-Gym (arXiv: 2603.13594) наглядно демонстрирует масштаб этого несоответствия. Исследователи создали изолированную среду (sandbox), включающую 164 таблицы баз данных и более 500 инструментов для выполнения операций в восьми бизнес-доменах, включая IT, HR и клиентскую поддержку. Набор данных содержит 1150 экспертно отобранных задач, требующих долгосрочного планирования.
Результаты оказались показательными: даже модель Claude Opus 4.5, продемонстрировавшая лучшие показатели среди 14 протестированных передовых систем, успешно справилась лишь с 37,4% заданий. Если в процесс включали человеческий план действий в качестве «скелета», эффективность агентов возрастала на 14–35%. Это подтверждает: основная проблема кроется не в исполнении конкретных команд (инструментов), а в стратегическом планировании. Проще говоря, модели «спотыкаются» при составлении последовательности действий для решения комплексных задач.
Отдельную тревогу вызывают показатели безопасности. В тестах на отказ от выполнения невозможных или несанкционированных задач лучшие агенты ошибались почти в 46% случаев. Представленный бенчмарк будет вынесен на обсуждение в рамках семинара DATA-FM на конференции ICLR 2026.
ILION: детерминированный фильтр безопасности без обучения
Вопрос принудительного ограничения действий агента до их выполнения — критическая точка для производственной среды. Обычно такие системы полагаются на классификаторы, требующие масштабного обучения на исторических данных. Однако авторы исследования ILION (arXiv: 2603.13247) предлагают иной подход: детерминированную архитектуру, которая не нуждается в обучающих выборках.
Система ILION работает на уровне исполнения конкретных действий (например, записи в файловую систему или проведения финансовых транзакций), сверяя их с заранее заданными полномочиями. В основе лежит пятиступенчатый конвейер: Transient Identity Imprint, Semantic Vector Reference Frame, Identity Drift Control, Identity Resonance Score и Consensus Veto Layer. Весь процесс верификации занимает в среднем 143 микросекунды.
На бенчмарке ILION-Bench v2 система достигла F1-меры 0,85 при уровне точности 91%. Главное преимущество здесь — отказ от обучения на датасетах Permitted/Prohibited, что снимает проблему дрейфа данных и сложности настройки при изменении бизнес-задач. Однако стоит учитывать false positive rate на уровне 7,9%, что означает блокировку каждой двенадцатой легитимной операции. Это значение может быть чувствительным для высоконагруженных систем.
AutoTool: повышение эффективности RL в работе с инструментами
Третья работа, принятая на ICLR 2026, решает проблему избыточных затрат вычислительных ресурсов при использовании обучения с подкреплением (RL). Исследователи отмечают типичный сбой в поведении моделей: они либо «недодумывают» на сложных задачах, либо тратят избыточные токены на простые цепочки рассуждений (chain-of-thought).
Метод AutoTool (arXiv: 2603.13348) делит процесс обучения на два этапа. Сначала проводится этап supervised fine-tuning (SFT) для калибровки понимания сложности задачи. Затем начинается RL-обучение с использованием «развязанных» (decoupled) ограничений энтропии, что позволяет модели динамически масштабировать глубину рассуждений в зависимости от сложности запроса. На практике это позволило повысить точность работы с инструментами на 9,8% при одновременном снижении вычислительных затрат на обучение на 81%.
Резюме для практиков
Данные исследования указывают на три ключевых направления для развития агентных систем. EnterpriseOps-Gym подсвечивает незрелость навыков планирования. ILION предлагает решение для контроля безопасности через жесткую архитектуру, а не «мягкие» классификаторы. AutoTool внедряет эффективную оптимизацию вычислительных ресурсов, необходимых для дообучения моделей. Между 37,4% успеха в тестах и полноценной автономией, которую продвигают вендоры, по-прежнему сохраняется значительная дистанция, требующая доработки как инфраструктуры, так и стратегий планирования нейросетей.