Исследователи из Университета Флориды представили метод «HMNS» для обхода продвинутых защитных барьеров ИИ
В рамках значимого события в области безопасности искусственного интеллекта (Artificial Intelligence security), исследователи из Университета Флориды (UF) разработали новую технику джейлбрейка (jailbreaking), способную систематически обходить протоколы безопасности крупнейших больших языковых моделей (Large Language Models, LLMs), включая те, что были разработаны отраслевыми гигантами Meta и Microsoft. Метод, получивший название Управление в нулевом пространстве с маскированием голов (Head-Masked Nullspace Steering, HMNS), представляет собой смену парадигмы в выявлении уязвимостей ИИ, выходя за рамки поверхностного промпт-инжиниринга (prompt engineering) для исследования внутренней архитектуры принятия решений нейронных сетей (neural networks).
Исследовательская группа под руководством профессора Сумита Кумара Джха из департамента компьютерных и информационных наук и инженерии (CISE), опубликовала свои выводы в статье под названием «Jailbreaking the Matrix: Nullspace Steering for Controlled Model Subversion» («Джейлбрейк матрицы: управление в нулевом пространстве для контролируемого подрыва моделей»). Работа была принята для презентации на Международной конференции по представлениям обучения 2026 года (International Conference on Learning Representations, ICLR), что подтверждает её статус первостепенного вклада в исследования глубокого обучения.
Переход от инъекции промптов к внутреннему управлению
В течение многих лет «джейлбрейк» модели ИИ — принуждение её к генерации запрещенного или вредного контента — во многом опирался на хитрую игру слов. Злоумышленники использовали «эксплуатацию через бабушку» или ролевые сценарии, чтобы обойти фильтры безопасности. Однако, по мере того как поставщики ИИ, такие как OpenAI, Anthropic и Google, укрепляли свою защиту от этих семантических атак, эффективность традиционной инъекции промптов (prompt injection) снизилась.
Подход команды UF с использованием HMNS отказывается от опоры на внешние лингвистические уловки в пользу прямого вмешательства в вычислительный процесс модели. Согласно исследованию, HMNS работает, «заглядывая под капот» LLM. Он идентифицирует конкретные головы внимания (attention heads) — компоненты, отвечающие за обработку контекста и проверки безопасности, — и эффективно отключает их.
Обнуляя эти активные компоненты в матрице принятия решений модели и «направляя» оставшиеся пути, исследователи могут заставить ИИ игнорировать обучение безопасности. Это позволяет модели отвечать на запросы, в которых она обычно отказывает, такие как генерация кода вредоносного ПО или предоставление инструкций для незаконной деятельности, не активируя обычные механизмы отказа.
Технический разбор: Head-Masked Nullspace Steering
Метод HMNS построен на концепции «нулевого пространства» (nullspace) — математическом термине, обозначающем область, где определенные входные данные не вызывают изменений в выходных данных конкретной функции (в данном случае, фильтра безопасности). Направляя паттерны активации модели в это нулевое пространство относительно механизмов безопасности, атака делает защитные барьеры невидимыми для собственного внутреннего мониторинга модели.
Профессор Джха описывает этот процесс как проверку «внутренней проводки» системы, а не только её пользовательского интерфейса. «Нельзя просто протестировать нечто подобное, используя промпты извне, и сказать, что всё в порядке», — заявил Джха. «Мы заглядываем под капот, тянем за внутренние провода и проверяем, что сломается. Именно так вы делаете систему безопаснее. Коротких путей для этого не существует».
Методология включает три отдельных этапа:
- Идентификация: Система анализирует реакцию LLM на промпты пользователя, чтобы определить, какие «головы» (механизмы внимания) наиболее активны во время генерации отказа (например, «Я не могу выполнить этот запрос»).
- Маскирование: Эти идентифицированные критически важные для безопасности головы отключаются или «маскируются» путем обнуления их вклада в матрицу принятия решений.
- Управление: Остальные компоненты слегка подталкиваются к генерации запрещенного контента, используя «нулевое пространство», чтобы избежать повторной активации протоколов безопасности.
Тестирование эффективности против гигантов индустрии
Чтобы подтвердить эффективность HMNS, исследовательская группа использовала суперкомпьютер UF HiPerGator для проведения масштабных стресс-тестов ведущих коммерческих и открытых моделей. Основными целями стали системы от Meta и Microsoft, которые по общему мнению обладают одними из самых надежных механизмов выравнивания безопасности (safety alignments) в отрасли.
Результаты оказались впечатляющими. HMNS доказал свою высокую эффективность, превзойдя передовые методы (State-of-the-Art, SOTA) джейлбрейка по четырем установленным отраслевым тестам. Исследователи ввели метрику «отчетности с учетом вычислительных ресурсов», чтобы обеспечить справедливое сравнение, показав, что HMNS не только достиг более высоких показателей успеха, но и сделал это эффективнее, чем предыдущие методы.
Сравнение методологий джейлбрейка
| Характеристика | Традиционная инъекция промптов | HMNS (Head-Masked Nullspace Steering) |
|---|---|---|
| Основной вектор атаки | Внешние семантические манипуляции (например, ролевая игра) | Внутренние архитектурные манипуляции (управление весами/активациями) |
| Целевой механизм | Входные фильтры и паттерны обучения RLHF | Головы внимания и матрицы принятия решений |
| Устойчивость к исправлениям | Низкая (легко исправляется через обновление системных промптов) | Высокая (требует архитектурных вмешательств или переобучения) |
| Требования к ресурсам | Низкие (может быть выполнено обычными пользователями) | Высокие (требуется доступ к внутренним компонентам/градиентам модели) |
| Метрика успеха | Непостоянная, часто специфичная для конкретной модели | Стабильно высокая для различных архитектур |
Способность HMNS обходить уровни защиты в системах Meta и Microsoft указывает на критический пробел в текущих стандартах безопасности ИИ. Хотя эти платформы включают сложные уровни безопасности, предназначенные для фильтрации ввода и вывода, HMNS демонстрирует, что эти уровни можно систематически обходить, если пути внутренней обработки доступны или воспроизводимы.
Команда, стоящая за прорывом
Разработка HMNS стала результатом совместных усилий академических и исследовательских институтов. Вместе с профессором Сумитом Кумаром Джха в команду входят:
- Вишал Праманик: аспирант департамента CISE Университета Флориды, сыгравший ключевую роль в разработке алгоритмов управления.
- Майша Малиха: соавтор из Университета Оклахомы.
- Сусмит Джха, Ph.D.: исследователь из SRI International.
Команда задействовала огромные вычислительные мощности суперкомпьютера HiPerGator, используя его кластеры графических процессоров (GPU) NVIDIA A100 и H100 для выполнения сложных матричных вычислений, необходимых для идентификации векторов нулевого пространства в режиме реального времени. Эти вычислительные мощности имели решающее значение для «стресс-тестирования» моделей в масштабе, имитирующем потенциальные состязательные атаки со стороны искушенных государственных структур.
Последствия для безопасности и управления ИИ
Публикация этого исследования на ICLR 2026 происходит в переломный момент. По мере того как агенты ИИ переходят от развлекательных чат-интерфейсов к критической инфраструктуре — помогая в разработке программного обеспечения, финансовом анализе и медицинской диагностике, — стоимость сбоя в системе безопасности взлетает до небес.
Стратегия «эшелонированной обороны» (Defense in Depth), часто упоминаемая специалистами по кибербезопасности, утверждает, что для защиты системы необходимы несколько уровней безопасности. Однако результаты команды UF предполагают, что текущие методы «выравнивания» (которые обучают модели отклонять вредные запросы) могут быть хрупкими, когда происходит прямое манипулирование базовыми нейронными активациями.
«Показывая, как именно ломаются эти защиты, мы даем разработчикам ИИ информацию, необходимую для создания действительно устойчивых защитных механизмов», — пояснил Джха. «Публичный выпуск мощного ИИ устойчив только в том случае, если меры безопасности могут выдержать настоящую проверку, и прямо сейчас наша работа показывает, что пробел всё еще существует. Мы хотим помочь его закрыть».
Исследование подразумевает, что будущие механизмы защиты ИИ не могут полагаться исключительно на «тонкую настройку» (fine-tuning) или «RLHF» (Обучение с подкреплением на основе обратной связи от человека, Reinforcement Learning from Human Feedback) для подавления вредных выводов. Вместо этого разработчикам может потребоваться проектировать модели с внутренней устойчивостью к внутреннему управлению, возможно, путем создания «запутанных» представлений, где функции безопасности невозможно изолировать и маскировать без потери общей полезности модели.
Реакция отрасли и перспективы на будущее
Хотя компании Meta и Microsoft не представили конкретных комментариев относительно уязвимости HMNS, стандартной реакцией отрасли на подобные результаты «красных команд» (Red Teaming) является интеграция векторов атак в будущие циклы обучения. Обнажая эти уязвимости в контролируемой академической среде, исследователи из Университета Флориды фактически прививают следующее поколение моделей от подобных атак.
Принятие статьи на ICLR 2026 гарантирует, что методология будет тщательно изучена и, вероятно, развита мировым сообществом исследователей ИИ. В то время как гонка вооружений между возможностями ИИ и безопасностью ИИ продолжается, такие методы, как Head-Masked Nullspace Steering, служат напоминанием о том, что по мере усложнения моделей методы их защиты должны становиться столь же изощренными.
На данный момент эта работа является свидетельством необходимости проведения превентивных исследований в области безопасности. Взломав «матрицу», команда из Университета Флориды помогает гарантировать, что инфраструктура ИИ будущего будет построена на фундаменте проверяемой безопасности, а не просто её иллюзии.
