От «теневых» ИТ к «теневому» ИИ: как AI-BOM защитит ваш бизнес

В условиях, когда цепочки поставок предприятий активно насыщаются приложениями и агентами на базе искусственного интеллекта (ИИ), традиционная спецификация программного обеспечения (SBOM) уже не обеспечивает полного учета всех компонентов в корпоративной среде. На смену приходит новый инструмент — спецификация ИИ-компонентов, или AI-BOM.

Если традиционный SBOM включает все программные пакеты и зависимости в организации, то AI-BOM призван устранить пробелы, возникающие из-за использования ИИ-активов. Он обеспечивает полную прозрачность всех моделей, наборов данных, библиотек SDK (комплектов для разработки программного обеспечения), серверов MCP (управления облачными платформами), фреймворков машинного обучения, агентов, их функций, запросов (промптов) и других ИИ-инструментов. Кроме того, AI-BOM отслеживает, как эти компоненты взаимодействуют друг с другом и интегрируются в рабочие процессы.

«Представьте, что искусственный интеллект — это праздничный торт посреди комнаты, но вы понятия не имеете, как он там оказался, — поясняет Иэн Суонсон, вице-президент по безопасности ИИ в Palo Alto Networks. — Вы не знаете ни рецепта, ни ингредиентов, ни того, кто его приготовил. Стали бы вы есть такой торт?»

Однако многие компании, не задумываясь, «едят этот торт».

Помимо официально одобренных моделей и ИИ-решений, интегрированных в технологический стек компании, существует проблема «теневого ИИ». Ранее подобное явление называлось «теневые ИТ». Эти несанкционированные инструменты также должны быть выведены из тени для учета. К ним относятся различные платформы и агенты для «креативного кодирования», которые запускают отдельные сотрудники, а также любые внешние чат-боты, с которыми они взаимодействуют на рабочих компьютерах, потенциально вводя туда конфиденциальные корпоративные данные.

Для обеспечения безопасности всех этих «ингредиентов» ИИ, компании в первую очередь должны точно знать, что именно они используют, с чем это связано и как применяется.

«Организации, стремящиеся разобраться в вопросах безопасности ИИ, хотят иметь инструмент для идентификации всех ИИ-активов в своей среде, — отмечает Эми Чанг, руководитель отдела анализа угроз и исследований безопасности ИИ в Cisco. — Инструмент, такой как спецификация ИИ-компонентов, является одним из первых шагов для получения более полного понимания существующего ландшафта».

Отслеживание происхождения моделей

Ранее Cisco уже представила свою AI-BOM в открытом доступе, предоставив возможность любому желающему бесплатно сканировать кодовые базы, образы контейнеров и облачные среды для создания такой спецификации.

Недавно компания также выпустила Model Provenance Kit — инструмент с открытым исходным кодом для отслеживания происхождения моделей. В блоге, посвященном новому репозиторию, Чанг и другие исследователи ИИ описывают его как «ДНК-тест» для ИИ-моделей. Он определяет происхождение двумя способами: сравнение (compare) или сканирование (scan).

Режим сравнения (compare) анализирует две любые модели, выявляя их сходство по метаданным, структуре токенизатора (компонента, разбивающего текст на части), сигналам на уровне весов, а также предоставляет итоговый комплексный балл. Режим сканирования (scan) начинает работу с одной модели, сопоставляя ее с базой данных для определения наиболее вероятных «родственных» кандидатов. В помощь этому режиму Cisco также представила базу данных «отпечатков» моделей, охватывающую около 150 базовых моделей из более чем 45 семейств и от более 20 различных издателей.

Чанг рассказала, что новый ИИ-инструмент выполняет две проверки. «Во-первых, на уровне метаданных он сравнивает информацию базовой модели с тонко настроенной версией, чтобы установить связь происхождения — например, ‘это получено из Meta* Llama 4’ или ‘из Alibaba Qwen3’, — поясняет она. — Затем мы анализируем признаки, основанные на весах. Таким образом, мы предоставляем поддающийся проверке, воспроизводимый и доказуемый способ подтвердить, что модели, которые вы используете и развертываете, которые взаимодействуют с клиентами и поглощают данные, действительно являются теми моделями, которые вы должны использовать, или соответствуют вашим пределам допустимого риска».

В ходе беседы Чанг привела в пример Composer 2 от Cursor, который частично построен на китайской модели с открытым исходным кодом Kimi 2.5. «Создатели быстро признали, что да, они использовали китайскую модель для разработки, — отметила она. — Но это может нести регуляторные и комплаенс-риски».

Например, Закон ЕС об ИИ (European Union's AI Act) обязывает организации документировать данные для обучения, характеристики методологии обучения и оценки рисков для «систем высокого риска».

Wiz от Google, в своих AI-BOM, также учитывает все инструменты на рабочей станции разработчика, такие как ноутбук или интегрированная среда разработки (IDE), которые использовались для создания ИИ-приложения. «Многие определяют видимость или спецификации по тому, что находится в конечном артефакте, но мы расширяем определение BOM в целом и AI-BOM в частности, чтобы включить инструменты ИИ, которые использовались для создания этого приложения, — объясняет Зиад Галлеб, менеджер по техническому маркетингу продуктов Wiz. — Еще один важный аспект — это идентификаторы, связанные с этими ИИ-нагрузками, потому что все эти агенты, модели, инструменты и т. д. привязаны к определенному идентификатору в вашей среде. Поэтому необходимо отслеживать эти нечеловеческие идентификаторы, связанные с системами. Речь идет не только о ресурсах, но также об идентификаторах и наборах разрешений, привязанных к ним».

В конечном итоге, все это сводится к прозрачности и безопасности. «Если у вас нет полной видимости этих рабочих нагрузок, вы не сможете по-настоящему понять, что именно нужно защищать», — заключает Суонсон.

Защита от «отравления»

Предприятия не единственные, кто активно внедряет ИИ-инструменты в свои рабочие процессы. Злоумышленники также используют эти технологии для ускорения и повышения эффективности своих атак.

Как ранее отмечала Шеррод ДеГриппо, генеральный менеджер Microsoft по глобальной аналитике угроз, это включает такие задачи, как проведение разведки на скомпрометированных компьютерах, а также создание и управление инфраструктурой для атак.

«Автоматизированная разведка систем с помощью агентов — это то, на что стоит обратить внимание, — говорит ДеГриппо. — ИИ-агентам можно поручить ‘узнать все об объекте X и сообщить обо всем, что вы нашли’, или ‘просканировать сетевые блоки, принадлежащие этой конкретной организации’».

По словам Суонсона, наличие AI-BOM также помогает специалистам по безопасности быстрее реагировать. Он сообщил, что не может назвать компанию, но в одном инциденте, на который отреагировала Palo Alto Networks, преступная группа использовала ИИ для разведки организации-жертвы и поиска уязвимых конечных точек.

«Одним из их действий был доступ к системным запросам — инструкциям для ИИ-нагрузки, которые определяют, что она может и чего не может делать, — рассказал Суонсон. — Получив доступ к системным запросам внутреннего ИИ компании, злоумышленники изменили их, чтобы заставить ИИ выполнять недопустимые действия, например, красть данные и отправлять их на внешний адрес электронной почты».

AI-BOM предоставляет понимание конфигураций и зависимостей ИИ-системы в определенный момент времени, а также указывает на любые изменения.

«Если бы вы понимали текущее состояние и отслеживали изменения, то могли бы обратиться к спецификации AI-BOM и спросить: ‘Какой системный запрос использовался при создании ИИ-приложения?’ И затем увидеть, что он изменился с предыдущего состояния на новое. В таком случае, вероятно, стоило бы это проверить и выяснить, не происходит ли что-то нежелательное, — поясняет Суонсон. — И в этом случае вы смогли бы это обнаружить».

• Непрекращающиеся атаки на цепочки поставок, проникающие в пакеты npm для SAP и другие инструменты разработки.
• Вышедшие из-под контроля агенты: компании доверяют ненадежным ботам полный доступ к системам.
• OpenClaw раскрывает конфиденциальную информацию после простых взломов.
• ИИ-агенты помогают злоумышленникам, включая хакеров из Северной Кореи, автоматизировать рутинные задачи.

Другие атаки на цепочки поставок, такие как «отравление» моделей и навыков, также подчеркивают риски незнания того, какие ИИ-инструменты используются в ИТ-среде.

«Навыки, используемые людьми в сочетании со многими помощниками по кодированию, довольно легко поддаются изменению, поэтому важно сканировать их, чтобы убедиться, что никто не манипулирует их возможностями, — утверждает Суонсон. — Если навык должен предоставлять прогноз погоды, он не должен также красть учетные данные или раскрывать секреты».

«Понимайте изменения состояния, постоянно сканируйте эти артефакты на предмет рисков в цепочке поставок, а затем, в момент выполнения, когда ваше ИИ-приложение активно, также отслеживайте все коммуникации, чтобы убедиться, что ничего плохого не происходит», — подытоживает Суонсон.

AI-BOM (как и их программные аналоги) также могут помочь организациям быстро выявлять скомпрометированный код с открытым исходным кодом, работающий на корпоративных системах. Например, недавняя волна «отравленных» пакетов npm (менеджер пакетов для JavaScript) и PyPI (менеджер пакетов для Python), а также более ранние атаки червя Shai-Hulud, крадущего учетные данные. Обе эти кампании были нацелены на код, обычно интегрируемый в ИИ-приложения.

Даже при отсутствии идентификатора CVE (стандарт для идентификации уязвимостей) AI-BOM позволяет запрашивать «связанные библиотеки или пакеты», а затем выявлять любые вредоносные версии в своей среде, — пояснил Галлеб. — К ним не привязаны CVE, но, по крайней мере, вы будете знать, как их удалить, чтобы локализовать развивающуюся угрозу».

* — деятельность компании запрещена на территории РФ