Google DeepMind обеспокоена взаимодействием миллионов ИИ-агентов

Компания Google DeepMind активно исследует потенциальные риски, связанные с массовым появлением и взаимодействием миллионов интеллектуальных агентов (ИИ-агентов) в онлайн-среде. В связи с этим фирма призывает больше ученых заняться изучением опасностей, которые могут возникнуть в многоагентных системах.

Новая эра рисков

По словам Рохина Шаха, директора по исследованиям безопасности и соответствия общего искусственного интеллекта (ОИИ) в Google DeepMind, повсеместное внедрение агентов, способных выполнять задачи без участия человека и следовать инструкциям других агентов, создает совершенно новый класс угроз. Стремясь решить эту проблему, Google DeepMind, сделавшая агентные инструменты центральным элементом своей конференции Google I/O в прошлом месяце, объединила усилия с несколькими организациями.

Финансирование исследований

Организации анонсировали фонд в размере 10 миллионов долларов США для исследователей, которые будут изучать поведение многоагентных систем и разрабатывать методы предотвращения небезопасных сценариев. К Google DeepMind присоединились Schmidt Sciences (благотворительный фонд, основанный Эриком и Венди Шмидт), ARIA (агентство правительства Великобритании по прорывным проектам), Cooperative AI foundation (британская некоммерческая исследовательская организация) и Google.org (благотворительное подразделение Google). Цель этого финансирования, как отмечает Шах, состоит в том, чтобы стимулировать исследования за пределами крупных технологических компаний. "Сила академического сообщества заключается в его способности заглядывать далеко в будущее и выполнять работу, которая не всегда является приоритетной для отраслевых лабораторий", — пояснил он. Шах добавил, что на данный момент "настоящей области исследований безопасности многоагентных систем просто не существует, и мы хотели бы, чтобы она появилась".

Потенциальные угрозы

Обеспокоенность вызывает то, что по мере развертывания всё большего числа ИИ-агентов и их совместной работы может быть достигнут переломный момент, когда гипотетические сценарии станут реальностью. "Подобное мы видим и в человеческом обществе", — отмечает Шах, добавляя, что "наши институты способны достигать того, что не под силу ни одному отдельному человеку". Эксперт полагает, что до массового развертывания агентов в экономике, которое сделает потенциальные риски по-настоящему актуальными, осталось несколько месяцев. Исследователи стремятся предвосхитить этот момент.

Конкретные риски

Конкретные риски, которые Шах и Джеймс Фокс (руководитель программы "Наука доверенного ИИ" в Schmidt Sciences) имеют в виду, в основном сводятся к усиленным версиям негативных явлений, уже существующих в интернете: мошенничество, инъекции промтов (когда ИИ-агенту передаются вредоносные инструкции, превращающие его в самонаводящееся вредоносное ПО), а также другие формы кибератак. "Исследователи изучают текущие человеческие действия, чтобы предвидеть их потенциальные аналоги в мире ИИ-агентов", — объясняет Шах. Фокс подчеркивает: "У нас есть это цифровое общественное пространство, которое является неотъемлемой частью функционирования общества, и крайне важно убедиться, что оно не скатится в полный хаос". На вопрос о рассмотрении наихудших сценариев, например, повсеместного экономического коллапса, Шах ответил, что это маловероятно в ближайшие несколько месяцев, но отметил, что такие прогнозы часто переносятся на более отдаленное будущее.

Важность моделирования

Шах и Фокс сходятся во мнении, что единственный способ понять, что может произойти при взаимодействии большого числа многоагентных систем, — это проводить реалистичные симуляции. Они хотят, чтобы исследователи помещали ИИ-агентов в "песочницы" (изолированные среды для тестирования) и изучали их поведение. Невозможно предсказать, что произойдет, изучая отдельных агентов или даже небольшие группы агентов изолированно. Как отмечает Фокс, нельзя предполагать, что ИИ-агенты, основанные на больших языковых моделях, всегда будут действовать рационально. Сложность заключается именно в огромном количестве одновременных взаимодействий. Некоторые исследователи, включая команду Google DeepMind, утверждают, что общий искусственный интеллект (если он вообще возможен) может возникнуть не от одной сверхъумной модели, а от своего рода коллективного разума агентов, где возможности целого превышают сумму его частей.

Недостаток доверия в безопасности

Google DeepMind не единственная ведущая ИИ-компания, предупреждающая о рисках разрабатываемых технологий. Несколько недель назад Anthropic опубликовала рекомендации по развертыванию ИИ-агентов, основанные на подходе к кибербезопасности, известном как "нулевое доверие" (zero trust). Этот подход исходит из предположения, что любая компьютерная система уязвима, любой агент потенциально является злоумышленником, и сбой или взлом неизбежен. Рафаэль Анхель, соучредитель и технический директор Akeyless, компании по кибербезопасности из Тель-Авива, согласен, что понимание новых рисков, вносимых агентными системами, имеет решающее значение. "Все прошлые подходы к безопасности исходили из того, что машина представляла собой программное обеспечение, написанное человеком, выполняющее фиксированные действия по заданным алгоритмам", — говорит Анхель. "Агент нарушает все эти предположения. Он рассуждает, импровизирует, и его можно скомпрометировать одним предложением, скрытым в документе, который ему было поручено прочитать". Анхель приветствует новое финансирование. "Ни одна отдельная лаборатория не должна единолично устанавливать стандарты безопасности, которым должны доверять все остальные", — считает он. Однако он предостерегает, что исследователи безопасности могут упускать из виду "скучные" проблемы, уже существующие, в пользу более экзотических гипотетических. Тем не менее, как отмечает Фокс, риски, которые несколько лет назад были гипотетическими, теперь стали очень реальными: "Будущее наступило быстрее, чем ожидалось".