ВТБ и МГУ внедрили системы контроля токсичности и галлюцинаций
Совместными усилиями ВТБ и Центра искусственного интеллекта Московского государственного университета разработана система для контроля ответов ИИ-агентов. В рамках данного партнёрства были созданы два детектора для выявления ошибок в виртуальных моделях: один — для проверки токсичности, другой — для обнаружения галлюцинаций. Эти инструменты будут оценивать клиентские запросы и ответы цифровых помощников. Об этом сообщил Сергей Путятинский, советник первого заместителя президента-председателя правления ВТБ, в рамках Kazan Digital Week.
Детектор токсичности анализирует запросы пользователей на наличие запрещённых тем, нарушение законодательства, взрослый контент и другие. В случае выявления неэтичных сообщений, система блокирует такие запросы, исключая их из обработки.
Детектор галлюцинаций выявляет несоответствия и противоречия в уже сформулированных ответах цифровых помощников, отмечая их проблемные части. Специалисты ВТБ могут направить такие ответы на повторную проверку или блокировать их. Распространённой проблемой генеративного ИИ остаются галлюцинации, когда языковая модель генерирует уверенный, но полностью ложный ответ.
Внедрение моделей проверки является необходимой мерой для поддержания высокого уровня обслуживания клиентов при активном использовании ИИ, — отметил Путятинский, его слова цитирует пресс-служба банка.