Расследование выявило критическую лазейку в системе безопасности OpenAI после трагедии в Тамблер-Ридж

В расследовании разрушительной массовой стрельбы в Тамблер-Ридж (Tumbler Ridge), Британская Колумбия, появилось новое тревожное измерение. Откровения, подтвержденные на этой неделе, указывают на то, что преступник, 18-летний Джесси Ван Роотселаар (Jesse Van Rootselaar), успешно поддерживал вторую учетную запись ChatGPT, которая осталась совершенно незамеченной инфраструктурой безопасности OpenAI. Это открытие вызвало шквал критики в отношении эффективности протоколов безопасности ИИ и привело к немедленным требованиям законодательных действий со стороны канадских официальных лиц.

Признание от OpenAI того, что их системы не смогли пометить вторую учетную запись стрелка — созданную после того, как ее основная учетная запись была заблокирована за генерацию насильственного контента — фундаментально изменило дискурс вокруг управления ИИ. Это поднимает острые вопросы о способности ведущих лабораторий ИИ обеспечивать соблюдение собственных политик допустимого использования и предотвращать обход блокировок злоумышленниками для продолжения использования мощных генеративных моделей (generative models).

Провал системы «обнаружения повторных нарушителей»

Суть спора заключается в значительном упущении в системах управления пользователями и обеспечения безопасности OpenAI. Согласно деталям, опубликованным в ходе внутреннего расследования и последующего общения с официальными лицами канадского правительства, стрелок смог обойти блокировку, наложенную в июне 2025 года.

Первоначальный бан был спровоцирован после того, как первая учетная запись Ван Роотселаар сгенерировала контент, нарушающий политику OpenAI в отношении «содействия насильственной деятельности». Отчеты указывают на то, что эти взаимодействия включали подробные сценарии с использованием огнестрельного оружия. Однако в то время группы доверия и безопасности OpenAI определили, что контент не соответствует порогу «заслуживающего доверия или неизбежного планирования» насилия в реальном мире, и, следовательно, никакой передачи дела в Королевскую канадскую конную полицию (RCMP) не последовало.

Критический сбой произошел после этого бана. Несмотря на приостановку ее основных учетных данных, стрелок создала вторую активную учетную запись. «Система обнаружения повторных нарушителей (repeat violator detection)» OpenAI, разработанная специально для предотвращения возвращения заблокированных пользователей на платформу, не смогла связать эту новую учетную запись с запрещенным пользователем.

Энн О’Лири (Ann O’Leary), вице-президент OpenAI по глобальной политике, признала в письме официальным лицам, что компания обнаружила существование этой второй учетной записи только после того, как личность стрелка была публично раскрыта правоохранительными органами после трагедии 10 февраля. Неспособность системы сопоставить новую учетную запись с заблокированной личностью указывает на пробелы в протоколах цифровых отпечатков (digital fingerprinting), отслеживания IP или поведенческого анализа, которые являются стандартными в современной кибербезопасности.

Технический анализ: как произошел обход блокировки

Для экспертов по кибербезопасности и безопасности ИИ (AI safety) инцидент в Тамблер-Ридж подчеркивает огромную проблему контроля доступа к широко доступным инструментам ИИ. Хотя OpenAI не раскрыла конкретные технические векторы, использованные для уклонения от обнаружения, инцидент указывает на ограничения в том, как платформы ИИ управляют верификацией личности.

Сбой предполагает, что механизмы обнаружения в значительной степени полагались на статические идентификаторы, такие как адреса электронной почты или номера телефонов, а не на более надежные динамические сигналы, такие как телеметрия устройств или поведенческая биометрия (behavioral biometrics). Если пользователь просто меняет учетные данные и заходит на платформу из другой сети или с другого устройства, стандартные баны можно легко обойти.

«Разрыв в безопасности» на платформах ИИ:

1. Идентификация личности (Identity Resolution): Большинство потребительских сервисов ИИ не требуют верификации KYC (Знай своего клиента), что затрудняет пожизненную блокировку биологического лица, а не просто цифрового псевдонима.
2. Поведенческий дрейф (Behavioral Drift): Вторая учетная запись, скорее всего, не сразу активировала те же фильтры насилия, что и первая, что позволило пользователю оставаться незамеченным, потенциально дорабатывая свои планы или совершая менее очевидные нарушения.
3. Изолированные данные (Siloed Data): Разрыв между данными заблокированной учетной записи и процессом регистрации новой указывает на то, что сигналы безопасности не распространялись эффективно по базе данных пользователей.

Правительство Канады требует подотчетности

Политические последствия были быстрыми и суровыми. Министр искусственного интеллекта и цифровых инноваций Канады, Эван Соломон (Evan Solomon), публично выразил глубокое разочарование тем, как OpenAI справилась с ситуацией. После напряженной встречи с руководителями OpenAI в Оттаве министр Соломон охарактеризовал первоначальные ответы компании как недостаточные, в которых отсутствуют «конкретные предложения» по системным изменениям.

Министр Соломон активно высказывался о необходимости изменения парадигмы взаимодействия компаний ИИ с правоохранительными органами. В настоящее время правительство настаивает на более строгих правилах, которые обязывали бы сообщать о случаях, когда пользователи генерируют контент, представляющий риск для общественной безопасности, даже если он не достигает порога «неизбежной угрозы», которым ранее руководствовалась OpenAI в своих решениях.

«Канадцы заслуживают большей ясности в отношении того, как принимаются решения о проверке людьми», — заявил Соломон, подчеркнув, что нынешний подход саморегулирования не в состоянии защитить население. Министр недвусмысленно пригрозил новым законодательством, потенциально ускоряющим внесение поправок в такие структуры, как Законопроект C-27 (Bill C-27), чтобы заставить компании ИИ брать на себя большую ответственность за создаваемый контент и пользователей, размещаемых на их платформах.

Требования правительства включают:

• Прямые каналы связи с правоохранительными органами: Создание круглосуточных выделенных точек контакта для канадской полиции для ускорения запросов данных и передачи информации об угрозах.
• Снижение порогов отчетности: Пересмотр критериев того, когда поведение пользователя требует вмешательства полиции, переходя от «неизбежной угрозы» к «риску серьезного вреда».
• Аудируемость: Разрешение внешней проверки журналов безопасности и показателей обнаружения обхода блокировок.

Ответ OpenAI и пересмотр протоколов

В ответ на растущее давление OpenAI обязалась предпринять ряд «немедленных шагов» для устранения пробелов, выявленных расследованием. В своей переписке с министром Соломоном Энн О’Лири наметила новые протоколы, предназначенные для пресечения деятельности опасных пользователей.

Компания заявила, что в соответствии с ее новым протоколом передачи дела в правоохранительные органы — разработанным в связи с трагедией — активность стрелка в июне 2025 года была бы передана в RCMP. Это признание, хотя и призвано продемонстрировать прогресс, было воспринято семьями жертв и официальными лицами как трагическое «слабое утешение», подтверждающее, что трагедию можно было предотвратить с помощью более строгих мер, принятых ранее.

OpenAI также обещает усовершенствовать свои технические системы, чтобы лучше идентифицировать повторных нарушителей. Это включает в себя «приоритетное выявление правонарушителей с самым высоким риском» и совершенствование автоматизированных систем, сканирующих на предмет нарушения политик. Компания пообещала тесно сотрудничать с канадскими властями, чтобы «периодически оценивать пороги», используемые их автоматизированными системами, признавая, что канадский контекст требует особого внимания.

В таблице ниже приведены критические различия между протоколами, действовавшими во время активности стрелка, и предлагаемыми улучшениями.

Сравнение протоколов безопасности: до и после инцидента

Следующая таблица сопоставляет действия в отношении учетных записей стрелка с новыми обязательствами OpenAI.

Последствия для индустрии ИИ

Случай в Тамблер-Ридж (Tumbler Ridge) обещает стать переломным моментом для безопасности ИИ, сопоставимым с тем, как ранние трагедии в социальных сетях сформировали законы о модерации контента. Это бросает вызов общеотраслевому предположению о том, что «доверие и безопасность» — это всего лишь функция обслуживания клиентов, а не императив общественной безопасности.

Для Creati.ai и более широкого сообщества ИИ это служит суровым напоминанием о природе «двойного назначения» этих технологий. По мере того как модели становятся более функциональными, механизмы контроля их неправомерного использования должны развиваться параллельно. Опора на автоматизированные фильтры, ищущие определенные ключевые слова, очевидно, недостаточна; безопасность требует целостного взгляда на поведение пользователя и надежного управления идентификацией.

Кроме того, этот инцидент подчеркивает риски ответственности, с которыми сталкиваются разработчики ИИ. Если платформа знает о склонности пользователя к насилию (через бан), но не может предотвратить повторный доступ к сервису, аргумент в пользу халатности становится сильнее. Это может привести к волне судебных разбирательств и жестким требованиям по соблюдению нормативных требований, которые фундаментально изменят операционную среду для всех компаний ИИ, работающих в Канаде и во всем мире.

Пока RCMP продолжает расследование, а семьи жертв скорбят, основное внимание уделяется обеспечению того, чтобы цифровые лазейки, позволившие Джесси Ван Роотселаару проскользнуть, были навсегда закрыты. Эпоха «двигайся быстро и ломай вещи» в разработке ИИ, по-видимому, окончательно завершилась, сменившись новым мандатом на подотчетность, прозрачность и строгое обеспечение безопасности.