ВТБ и МГУ разработали детекторы токсичности и галлюцинаций для ИИ-агентов банка

В ВТБ рассказали о создании в партнерстве с Центром искусственного интеллекта (ИИ) МГУ системы контроля ответов ИИ-агентов.

Фото: Агентство “Москва” / Чингаев Ярослав

В ВТБ рассказали о создании в партнерстве с Центром искусственного интеллекта (ИИ) МГУ системы контроля ответов ИИ-агентов. Два детектора разработаны для проверки ошибок виртуальных моделей на предмет их токсичности и галлюцинаций. Они будут проверять клиентские запросы и ответы цифровых помощников. Решения планируется внедрить в те сервисы розничного бизнеса банка, в которых для общения с физическими лицами используются цифровые помощники. Об этом говорится в пресс-релизе банка.

Отмечается, что детектор токсичности будет проверять запросы пользователей на содержание запрещенных тем, нарушения законодательства, наличие взрослого контента 18+ и т.п. Система заблокирует неэтичное сообщение и не будет его обрабатывать.

Детектор галлюцинаций предназначен для контроля уже сформированных ответов ИИ-агентов: он должен выявить несоответствия и противоречия и указать, в какой части ответа они расположены. Такие ответы будут отправлены на повторную проверку или заблокированы. Галлюцинации являются одной из самых распространённых проблем генеративного ИИ, когда пользователю выдаётся уверенный, но полностью вымышленный ответ.

«Мы продолжаем совершенствовать качество цифровых помощников, которые напрямую общаются с клиентами. Такой ИИ-агент не должен поддаваться на провокационные формулировки, отвечать недостоверно или рекомендовать несоответствующие запросу финансовые продукты или услуги. Готовых решений, которые отвечали бы требованиям банка, на рынке не нашлось, поэтому мы разработали собственные детекторы вместе с экспертами МГУ», — сказал советник первого заместителя президента-председателя правления банка Сергей Путятинский в рамках Kazan Digital Week.

Источник: Московский комсомолец

Полная версия