Исследователи Google предложили новый метод борьбы с галлюцинациями ИИ через «надежную неопределенность»

Большие языковые модели (LLM) по-прежнему сталкиваются с проблемой галлюцинаций, что остается главным препятствием для их масштабного внедрения в корпоративном секторе. Устранение фактических ошибок в ответах нейросетей зачастую вынуждает разработчиков идти на компромисс: попытки полностью искоренить неверную информацию приводят к тому, что модели начинают отказываться отвечать даже на те вопросы, в которых они компетентны.

В новой научной работе исследователи Google представили концепцию «надежной неопределенности» (faithful uncertainty). Это метакогнитивный метод, который синхронизирует формулировки ответов модели с её внутренним уровнем уверенности. Такой подход позволяет ИИ предлагать обоснованные гипотезы, используя фразы вроде «по моим предположениям», вместо того чтобы ограничиваться жестким выбором между утвердительным ответом или полным отказом от него.

Проблема «налога на полезность»

Для понимания причин галлюцинаций необходимо разделять два навыка: знание фактов и понимание границ собственных знаний. Традиционно точность ИИ повышалась за счет увеличения объема обучающих данных. Однако расширение базы знаний не учит модель осознавать свои пределы.

По словам Галь Йоны, научного сотрудника Google и соавтора исследования, емкость любой модели конечна, в то время как объем информации в мире фактически безграничен. Когда модель достигает предела своих знаний, она должна уметь вовремя остановиться. Однако на практике внедрение жестких фильтров против галлюцинаций снижает общую полезность системы. Исследователи называют это «налогом на полезность».

В обзоре приводятся следующие данные о влиянии строгих ограничений:

• При попытке снизить базовый уровень ошибок с 25% до целевых 5% разработчики вынуждены жертвовать 52% правильных ответов модели.
• Системы, настроенные на нулевую терпимость к галлюцинациям, часто становятся бесполезными для конечного пользователя из-за постоянных отказов.
• Разработчики приложений часто предпочитают игнорировать проблему галлюцинаций, чтобы сохранить функциональность ИИ, что подрывает доверие к технологии.

Переосмысление галлюцинаций как «уверенных ошибок»

Чтобы преодолеть проблему «налога на полезность», исследователи предлагают изменить само определение галлюцинации. Вместо того чтобы считать галлюцинацией любую фактическую ошибку, предлагается классифицировать так только «уверенные ошибки» — неверную информацию, поданную в утвердительной и авторитетной форме без соответствующих оговорок.

В рамках новой концепции, если модель допускает фактическую неточность, но при этом четко выражает сомнение (например, «я не уверен полностью, но полагаю...»), это не считается галлюцинацией. Это воспринимается как гипотеза, предложенная пользователю для дальнейшей проверки. Такой подход позволяет ИИ делиться частичными знаниями, не вводя человека в заблуждение.

Ключевым инструментом становится «надежная неопределенность» — соответствие лингвистических маркеров сомнения (слов, которые использует модель) её внутренней статистической уверенности в конкретном ответе. Это сравнимо с работой врача, который отделяет уверенный диагноз от предположения, требующего дополнительных анализов.

Значение для автономных ИИ-агентов

Внедрение метакогнитивного контроля становится критически важным для развития ИИ-агентов — систем, способных самостоятельно выполнять задачи. Наличие доступа к внешним инструментам, таким как поиск в интернете, только усиливает потребность в осознании моделью своих знаний.

В обзоре отмечается, что без понимания собственной неуверенности агент действует «вслепую»:

• Система может тратить ресурсы и время на поиск информации, которую она уже знает.
• Модель может выдать ошибочный ответ по памяти, когда ей следовало бы обратиться к внешнему источнику.
• При получении противоречивых данных извне агент с развитой метакогнитивной функцией сможет сопоставить их со своими внутренними знаниями, а не слепо доверять случайному источнику.

Технологические сложности и перспективы

Обучение моделей выражению сомнений сопряжено с «парадоксом начальной загрузки». Поскольку большинство текстов, на которых обучаются нейросети, написаны в утвердительном стиле, их нужно специально учить фразам неуверенности. Однако «правильный» уровень сомнения динамичен и зависит от того, что конкретная модель знает на текущем этапе обучения.

Для компаний, внедряющих ИИ, наиболее доступным способом улучшения метакогнитивных способностей моделей сегодня является промпт-инжиниринг. Эксперты упоминают открытые фреймворки, такие как Meta*Faith, которые позволяют настраивать поведение готовых моделей через систему подсказок. В долгосрочной перспективе для глубокой интеграции функции самосознания в ИИ потребуется использование продвинутых методов обучения с подкреплением (RL).

* — деятельность компании запрещена на территории РФ