Университет Решетнева представил способ борьбы с нейросетевыми ошибками

Исследовательская группа из Университета Решетнева разработала уникальный подход, нацеленный на устранение недостоверных или вымышленных данных в нейросетях. Данная разработка может быть применена в различных сферах, включая образование, платформу "Госуслуги", медицину и юриспруденцию. Об этом сообщили в пресс-службе университета, предоставив эксклюзивное интервью для РИА Новости.

Специалисты университета отметили, что одна из ключевых проблем у нейросетей состоит в том, что они часто могут выдавать ложную информацию, убежденно её представляя. Такое явление описывают как "галлюцинации". Для борьбы с этими ошибками в данный момент используются RAG-системы (Retrieval-Augmented Generation), которые сначала осуществляют поиск релевантных данных в существующих базах, а лишь затем генерируют ответ. Хотя такой метод и снижает риск появления вымышленных фактов, ошибки остаются возможными из-за опечаток, противоречий в запросах либо недостаточной полноты базы данных.

В университете подчеркнули, что для решения данной задачи команда под руководством доцента Анастасии Поляковой проанализировала распространённые сценарии "галлюцинаций" и разработала их классификатор. В результате был создан автоматизированный процесс стресс-тестирования. Эта система формирует тестовые запросы, сопоставляет полученные ответы с эталонными и оценивает их точность при помощи специальных метрик и анализа семантического сходства.

Одним из значительных достижений стал прототип модуля мониторинга, работающего в режиме реального времени. Он фиксирует все входящие запросы и контекст диалога, оценивает вероятность предоставления недостоверного ответа и присваивает каждому ответу показатель уверенности. При обнаружении ошибок или низкой уверенности модуль уведомляет об этом оператора.

Важным достоинством данной методики является её универсальность. Она не связана с конкретной нейросетью и может быть легко адаптирована для использования в различных областях. От чат-ботов, предназначенных для абитуриентов, до платформ, предоставляющих государственные услуги, а также медицинских и юридических вспомогательных систем.

Ранее мы писали о мерах, которые помогут защитить детей от злоумышленников в интернете и по телефону. Обсуждалась важность информирования детей о возможных схемах обмана, необходимость немедленного завершения подозрительных звонков и усиления контроля за конфиденциальностью личной информации.