Кризис галлюцинаций: почему чрезмерная уверенность в ИИ — это риск для безопасности

Большие языковые модели (Large Language Models, LLMs) изменили то, как мы взаимодействуем с технологиями, но их склонность генерировать «уверенно неверную» информацию остается значительным препятствием. Когда система ИИ выдает неточный или сфабрикованный ответ с высокой степенью уверенности, это создает опасную иллюзию компетентности. В таких критически важных областях, как здравоохранение, юридические услуги и финансы, эти галлюцинации могут иметь разрушительные последствия в реальном мире.

Годами разработчики полагались на проверки «самосогласованности» (self-consistency) — проверку того, дает ли модель один и тот же ответ при многократном запросе — для оценки надежности. Однако исследование Массачусетского технологического института (MIT) показывает, что этот подход фундаментально ограничен. Поскольку модель может быть последовательно неверна в нескольких итерациях, самосогласованность часто не позволяет обнаружить, когда система действительно галлюцинирует. Решая эту проблему, группа исследователей из MIT представила новую, более надежную метрику, известную как «Полная неопределенность» (Total Uncertainty, TU), которая обещает пересмотреть способы измерения надежности ИИ.

Прорыв: метрика полной неопределенности MIT

Ключевая инновация, разработанная командой MIT под руководством аспирантки факультета электротехники и информатики Кимии Хамидие (Kimia Hamidieh), выходит за рамки ограничений анализа одной модели. Исследователи утверждают, что традиционные методы в первую очередь измеряют алеаторную неопределенность (aleatoric uncertainty) — внутреннюю уверенность одной модели, — чего недостаточно для определения того, когда системе не хватает истинных знаний.

Чтобы решить эту проблему, метод MIT включает эпистемическую неопределенность (epistemic uncertainty), которая устраняет «пробелы в знаниях», присущие обучению модели. Измеряя степень несогласия целевой модели с разнообразным ансамблем других LLM, система может более точно отличить по-настоящему уверенную модель от той, которая просто галлюцинирует.

Механика ансамблевого подхода

Метод MIT не полагается на один монолитный тест. Вместо этого он использует ансамбль LLM от различных разработчиков. Сравнивая семантическое сходство выходных данных целевой модели с ответами кураторской группы различных LLM, система может количественно оценить расхождение. Если модели дают совершенно разные ответы, эпистемическая неопределенность высока, что помечает ответ как ненадежный.

Метрика «Полной неопределенности» (Total Uncertainty, TU) рассчитывается путем суммирования алеаторной неопределенности (внутренней согласованности) и эпистемической неопределенности (межмодельного несогласия). Этот двухслойный подход создает более комплексный фильтр безопасности. По словам исследователей, этот метод последовательно превосходил существующие автономные показатели в десяти реалистичных задачах, включая математические рассуждения, перевод и ответы на фактические вопросы.

Практическое сравнение методов обнаружения

Чтобы понять, почему этот подход превосходит другие, необходимо сравнить, как разные методы справляются с неопределенностью ИИ. В таблице ниже приведены основные различия между стандартной самосогласованностью и новой метрикой полной неопределенности на основе ансамбля.

Последствия для безопасности и надежности ИИ

Внедрение метрики полной неопределенности имеет глубокие последствия для будущего безопасности ИИ (AI safety). Точно выявляя галлюцинации, метрика TU позволяет разработчикам двигаться к «калибровке модели», при которой система становится лучше в понимании того, чего она не знает.

Помимо простого обнаружения, исследователи отметили, что метод может также служить сигналом для обучения. Подкрепляя уверенно правильные ответы LLM — и наказывая за уверенные ошибки — разработчики могут со временем настраивать модели, чтобы они становились более точными и надежными. Кроме того, команда MIT обнаружила, что их методу часто требовалось меньше запросов для достижения уверенной оценки, чем традиционным проверкам самосогласованности, что потенциально предлагает более энергоэффективный путь к надежности ИИ.

Проблемы и будущие направления

Хотя результаты многообещающие, исследователи признают, что эффективность метрики TU не одинакова во всех областях. В настоящее время подход наиболее эффективен для задач, имеющих уникальный объективный правильный ответ, таких как фактические запросы или стандартизированные математические задачи. В отличие от этого, его эффективность в открытом творческом письме или высокоабстрактных задачах остается областью для дальнейшего совершенствования.

Команда, в которую входят исследователи из MIT-IBM Watson AI Lab, планирует продолжать расширять возможности метрики. Будущие итерации направлены на улучшение производительности при открытых запросах и исследование дополнительных форм количественной оценки неопределенности. По мере того как индустрия движется к более автономным агентам ИИ, способность точно оценивать пределы знаний ИИ — и сообщать об этой неопределенности пользователям — станет краеугольным камнем более безопасной и прозрачной технологической экосистемы.