Claude Fable 5 тайно ограничивал работу исследователей ИИ, вызвав негодование в сети

Недавнее объявление о выпуске передовой языковой модели Fable 5 от компании Anthropic вызвало бурную реакцию в сообществе исследователей искусственного интеллекта. Основной причиной недовольства стало не столько ограничение мощности самой модели, сколько отсутствие прозрачности в применении этих ограничений. Скрытые механизмы безопасности заставляли учёных сомневаться в достоверности результатов своих тестов, а эксперты по кибербезопасности предупреждают, что такие меры могут мешать разработчикам защитных решений.

Предыстория: Mythos и Project Glasswing

В апреле была представлена модель Mythos в рамках проекта Glasswing — партнёрства между ведущими технологическими организациями и Anthropic, целью которого является поиск и устранение уязвимостей в интернет-инфраструктуре. Доступ к Mythos был строго ограничен из-за её огромной мощности: инструмент, способный выявлять ранее неизвестные уязвимости для их устранения, также может быть использован для их эксплуатации.

Mythos и Glasswing значительно превосходят инструмент Claude Security от Anthropic, который предназначен для работы с моделью Opus. Тем не менее, Claude Security способен сканировать кодовую базу и помогать в поиске некоторых проблем. Ранее на этой неделе Anthropic анонсировала и выпустила Fable, технически названную Fable 5, которая, по сути, является "ограниченной" версией Mythos.

Ограничения и скрытые механизмы

Anthropic изначально чётко заявила, что Fable не будет поддерживать определённые рискованные направления исследований в области кибербезопасности, биологии и химии. Например, при запросах на создание биооружия система Claude переключается с уровня интеллекта Fable на уровень Opus и, что важно, информирует пользователей об этом переключении.

Однако эксперты призывают с осторожностью относиться к заявлениям о надёжности защиты. Сэлли Винсент, старший инженер по исследованию угроз в Exabeam (компания, специализирующаяся на аналитике безопасности), отметила, что заявления о "устойчивости к взлому следует рассматривать с должной осторожностью", поскольку результаты "представляют собой оценку на определённый момент времени. Злоумышленники постоянно адаптируются".

Проблема "невидимого" понижения

Серьёзное недовольство исследователей вызвала ситуация с другими типами проектов, такими как разработка сверхмощных чипов или передовых больших языковых моделей искусственного интеллекта. В этих случаях Fable также понижала уровень модели до Opus, но делала это без какого-либо уведомления пользователя. Этот факт был лишь вскользь упомянут в объёмном 319-страничном системном документе Fable и Mythos, где говорилось, что такое поведение не будет видимым для пользователей. Пользовательский интерфейс абсолютно ничего не показывал.

В результате пользователи предполагали, что они тестируют модель Fable и получают результаты от неё, тогда как на самом деле им предоставлялись результаты уровня Opus. Такое поведение вызвало шквал критики, причём издание Fortune назвало это "тайным саботажем", а Wired сообщило, что подобная практика скрытого понижения уровня может "саботировать работу исследователей ИИ".

Мнения экспертов по кибербезопасности

Роб Т. Ли, директор по ИИ и руководитель исследований в SANS Institute (организация, специализирующаяся на обучении кибербезопасности), а также технический советник Суда по надзору за внешней разведкой, считает Fable 5 "оригинальным и умным решением", но предупреждает, что модель "будет подвергаться атакам. Тот же слой, который останавливает вредоносное использование, также блокирует законные оборонительные исследования".

По его мнению, ограничения Fable препятствуют созданию защитных инструментов. Ли, формируя своё мнение после использования платформы, предпринял попытку создать навык цифровой криминалистики, но был переведён на уровень Opus 4.8. Он отметил, что, "умный это способ остановить злоумышленников или нет, он не даёт развивать новые оборонительные возможности людям, которые будут создавать инструменты нового поколения". Ли также предполагает, что новая модель уже могла попасть не в те руки, поскольку подобные инциденты происходили в прошлом. Он подчёркивает, что дело не в возможностях самого ИИ, а в человеческом факторе: "Даже в рамках Glasswing доступ был ограничен и контролировался. Но в этих организациях тысячи сотрудников. Любой из них мог быть мотивирован передать доступ преступной группировке или уже быть агентом КНДР, работающим внутри организации".

Реакция Anthropic и её обоснование

После шквала критики Anthropic оперативно отреагировала на ситуацию. Компания сообщила, что меняет механизмы безопасности Fable 5 для разработки передовых больших языковых моделей, делая их видимыми. Начиная с этой недели, запросы, подпадающие под ограничения, будут явно переключаться на Opus 4.8. В случае использования API, любой такой запрос будет возвращать причину отказа. Это будет происходить каждый раз, когда применяется ограничение.

Anthropic заявила, что текущий набор мер безопасности "охватывает несколько узких задач, таких как конвейеры данных для LLM на границе масштаба и разработка ядра для некоторых нестандартных чипов". Компания занимает довольно резкую, почти патриотическую позицию, заявляя: "Эти меры безопасности предотвращают использование наших самых мощных моделей иностранными противниками способами, которые представляют серьёзные угрозы безопасности".

В компании также отметили, что "США и их союзники имеют преимущество в передовых чипах и высокооптимизированном программном обеспечении, которое раскрывает их полный потенциал. Эти меры безопасности гарантируют, что Claude не будет использоваться для подрыва этого преимущества — например, путём оптимизации чипов, разработанных этими противниками". Эти ограничения также "помогают соблюдать наши условия обслуживания, которые запрещают использование наших моделей для разработки конкурирующих систем ИИ — это стандартное ограничение среди крупных поставщиков ИИ.

Эшли Касован, управляющий директор Центра управления ИИ IAPP (ассоциация специалистов по конфиденциальности), выразила благодарность Anthropic за то, что компания достаточно долго сдерживала выпуск Mythos, чтобы "внедрить необходимые меры защиты в своё программное обеспечение", хотя и отметила, что "мы ещё не видели воздействия, которое эти модели могут оказать при выпуске в таком масштабе". Крис Бом, технический директор по полевым операциям в Zero Networks (поставщик сегментации сети), назвал это достижением скорее в области сдержанности, нежели чистой мощи: Anthropic "превратила её во что-то достаточно безопасное для широкого выпуска". По его словам, выгода заключается в масштабе: "обычные защитники наконец-то действуют со скоростью атакующих, при условии, что меры безопасности выдержат, за чем я и буду наблюдать в карте модели".

Извинения и сложности

Anthropic признала свою ошибку, заявив: "Мы приняли неверное решение и приносим извинения за то, что не смогли найти правильный баланс". Компания пояснила, что создание этих мер безопасности является сложной технической задачей, и пользователи могут столкнуться с увеличением количества ложных срабатываний по мере уточнения классификаторов для реагирования на новые угрозы. Разработчики обещают максимально быстро сократить количество таких ошибок.

Anthropic также объяснила свои первоначальные мотивы. Принимая решение о том, делать ли понижения видимыми или невидимыми, компания столкнулась с выбором. Представитель компании заявил, что "скрытую защиту сложнее исследовать и обойти. Это означает, что меры безопасности могут быть нацелены гораздо точнее". Однако, как показала практика, эти скрытые меры были обнаружены в считанные часы.

В настоящее время классификатор срабатывает примерно на 0,05% задач, затрагивая менее 0,05% организаций. Anthropic признаёт, что видимая мера безопасности должна "охватывать более широкую сеть, чтобы быть более надёжной, что приведёт к большему количеству неверно помеченных запросов. Они не влияют на подавляющее большинство работ по кодированию и машинному обучению".

Этай Маор, вице-президент по анализу угроз в Cato Networks (поставщик решений безопасности), считает, что защита Fable 5 достаточно сильна для противодействия оппортунистическим хакерам. Однако "хорошо финансируемые и мотивированные злоумышленники" не сдадутся из-за сложности задачи. "Искушённые субъекты угроз не остановятся, потому что одна техника заблокирована. Если прямая эксплуатация станет сложнее, они перейдут к другим подходам, таким как манипулирование контекстом, декомпозиция, абстрактные методы или дистилляция возможностей", — отметил он.

Вопрос хранения данных

Ещё одним важным вопросом, совпавшим по времени с критикой скрытого понижения, стала политика Anthropic по хранению данных для моделей класса Mythos. Согласно агентству Reuters, политика Anthropic, предусматривающая хранение запросов и ответов в течение 30 дней (и дольше для запросов, нарушающих политику), побудила Microsoft ограничить использование модели сотрудниками и задействовать юридическую команду для оценки этой политики.

Это не является исключительно проблемой Mythos или Fable. Anthropic сохраняет данные во многих своих продуктах. Большинство из них могут работать по соглашению о нулевом хранении данных. Однако Fable и Mythos являются исключениями. На странице Anthropic, посвящённой моделям, подпадающим под Соглашение о деловом партнёрстве (Business Associate Agreement, BAA), указано, что эти две модели требуют 30-дневного хранения. Они не могут работать с нулевым хранением данных, поскольку для функционирования классификаторов безопасности необходимы эти данные. Именно отсутствие возможности отключить хранение, а не сам 30-дневный срок, предположительно, обеспокоило юридическую команду Microsoft. Эксперты рекомендуют организациям из регулируемых отраслей внимательно изучать политику хранения данных, чтобы убедиться в её соответствии их требованиям комплаенса и законодательства, прежде чем использовать эти модели в чувствительных средах.

Суть проблемы

Изучая всю информацию, можно отметить, что мало кто оспаривает чистую мощность Fable. Основной спор разворачивается вокруг её "намордника" — ограничений. Одна группа считает, что ограничения слишком жёсткие, поскольку тот же защитный слой, который останавливает злоумышленников, также мешает защитникам и исследователям, которые могли бы создавать инструменты нового поколения, вызывая ложные срабатывания.

Другая группа полагает, что это не имеет большого значения, так как мотивированные противники найдут обходные пути, а возможности уже распространились в других лабораториях. Кроме того, как указывает эксперт Роб Т. Ли, никакое ограничение не выдерживает контакта с тысячами сотрудников и решительным инсайдером.

Некоторые эксперты искренне отдают должное Anthropic за выпуск столь мощного продукта, не будучи безрассудными, при условии, что меры безопасности действительно работают. Несмотря на разногласия относительно того, являются ли ограничения Fable слишком строгими, недостаточно строгими или в самый раз, все они сходятся во мнении, что именно ограничения, а не интеллект, являются главной темой обсуждения. Для модели, названной в честь поучительной басни, это весьма символично.

* — деятельность компании запрещена на территории РФ