77% ИТ-руководителей теряют контроль над ИИ-агентами: как восстановить управление

Согласно последнему исследованию Rubrik ZeroLabs, подавляющее большинство (77%) ИТ-руководителей сообщают о потере контроля над автономными ИИ-агентами в своих организациях. Отмечается, что лишь 23% менеджеров имеют полный контроль над такими системами. Это бесконтрольное распространение ИИ-агентов приводит к появлению большого количества несанкционированных приложений, ставя под угрозу как безопасность, так и заявленную эффективность.

Большинство опрошенных (81%) также сообщают, что агенты под их контролем требуют больше времени на ручной аудит и мониторинг, чем способны сэкономить за счёт улучшения рабочих процессов. Ситуация с безопасностью также вызывает опасения, поскольку большинство респондентов считают, что существующие меры безопасности станут недостаточными в ближайшие полгода. В связи с этим управление ИИ-агентами должно стать «приоритетной дисциплиной».

Проблема бесконтрольного распространения

Создание ИИ-агентов относительно просто, что, по данным авторов отчёта Rubrik ZeroLabs, способствует их стихийному распространению. Нередко пользователи отключают  другие меры безопасности для быстрого запуска агентов, которые выполняют функции помощников. Это приводит к значительному объёму несанкционированных ИИ-приложений как внутри компаний, так и среди решений сторонних поставщиков.

Аналогия с ранним внедрением облачных технологий

Эксперты отрасли выражают обеспокоенность, сравнивая текущую ситуацию с распространением ИИ-агентов с ранними этапами внедрения облачных технологий. Крити Фаудждар, старший менеджер по продуктам Microsoft, отмечает: «Мы наблюдаем схожие тенденции, когда команды самостоятельно запускают агентов, используя различные фреймворки и поставщиков. Это ведёт к фрагментации, непоследовательному управлению и скрытым уязвимостям безопасности».

Исследование Rubrik ZeroLabs выявило расхождение между кажущимся контролем и реальным положением дел. Около 86% ИТ-руководителей ожидают, что распространение агентов превзойдёт существующие меры безопасности в течение года, причём более половины (52%) прогнозируют это в ближайшие шесть месяцев. Кроме того, практически все респонденты указали на отсутствие возможности отмены или отката непредвиденных действий ИИ-агентов.

Сложности управления и прозрачности

По мере роста числа ИИ-агентов в корпоративных системах эксперты отрасли выражают тревогу по поводу того, что их бесконтрольное распространение становится слишком сложным для управления и сдерживания. Ник Кейл, главный инженер Коалиции за безопасный ИИ, подчёркивает: «Любая команда с доступом к API может запустить агента за полдня. В крупной компании это может привести к сотням агентов с пересекающимися разрешениями, без единой модели идентификации и без возможности получить полный перечень». Авторы отчёта ZeroLabs отмечают, что отслеживание работы ИИ-агентов представляет собой серьёзную проблему, и указывают на возрастающую потребность в телеметрии для понимания последовательности их действий, дополненной точками контроля для обеспечения безопасности.

Ключевые вопросы для контроля ИИ-агентов

По данным исследования ZeroLabs, для обеспечения надлежащего контроля над ИИ-агентами после их развёртывания необходимо ответить на ряд вопросов:

• Возможность трассировки: Существует ли способ воспроизвести или хотя бы точно восстановить последовательность действий агента?
• Понимание логики: Что побудило агента предпринять те или иные шаги? Журналы аудита должны содержать исчерпывающий список данных и инструментов, с которыми взаимодействовал агент.
• Оценка успеха и безопасности: Насколько успешно и безопасно была выполнена задача, и какова её стоимость? Каким образом организации измеряют показатель успеха задач, анализируют выходные данные, нарушения политик или необходимость вмешательства человека для точного понимания рентабельности инвестиций?
• Воспроизводимость сбоев: Можно ли воспроизвести сбой для его устранения?

Отчёт подчёркивает, что в настоящее время на эти вопросы часто нет ответов. В результате многие администраторы и их организации не могут определить приемлемое поведение агентов, контролировать доступ к ресурсам и инструментам, создавать политики для вмешательства человека или откатывать действия ИИ-агентов.

Баланс между скоростью и управлением

По словам Крити Фаудждара, автономные ИИ-агенты представляют больший риск по сравнению с традиционным программным обеспечением. В современных условиях существует компромисс между скоростью внедрения и эффективностью управления. «Организации стремятся действовать быстро, но без чётких ограничений они рискуют создать системы, которым трудно доверять, аудировать или масштабировать. Победителями станут те, кто будет рассматривать управление агентами не как второстепенную задачу, а как приоритетную дисциплину», — отмечает эксперт.

Поддержание актуальности агентов также является сложной задачей, поскольку их базовые модели имеют свойство «дрейфовать». Ренце Йонгман, основатель и генеральный директор Liberty91, указывает: «Агент, сертифицированный в первом квартале, будет вести себя иначе в третьем квартале, и это не вина платформы. Ваша модель управления должна учитывать изменчивость».

Ник Кейл считает, что на данный момент «слишком много агентов работают за пределами любых границ управления, включая те, которые создаются самими командами». Он рекомендует отделять уровень оркестрации в стеке агентов от уровней модели и управления. «Если все три компонента находятся на платформе одного поставщика, вы передаёте „мозг“ вашего агента, его разрешения и цепочку ответственности по одному контракту», — поясняет Кейл. Он также добавил, что надзор за агентами «должен включать безопасность, архитектуру и бизнес-подразделение, которое отвечает за результаты, а не только команду, стремящуюся к максимальной скорости развёртывания».