ИИ получает больше самостоятельности. Финансовые агенты уже способны не только выполнять команды человека, но и самостоятельно принимать решения и формировать наборы продуктов и услуг для клиентов, передает DKNews.kz.
На риски таких систем обратил внимание первый заместитель председателя Агентства по регулированию и развитию финансового рынка Тимур Абилкасымов, выступая на AI & Digital Bridge 2026. Ранее Агентство сообщало о подготовке единой стратегии внедрения искусственного интеллекта на финансовом рынке, которая должна охватить в том числе информационную безопасность и защиту данных.
ИИ придется контролировать от инструкции до решения
Тимур Абилкасымов принял участие в панельной сессии «AI-агенты в финансах: кто принимает решения – человек или алгоритм».
По его словам, надзор за такими технологиями не должен ограничиваться проверкой конечного результата.
Регулятор считает необходимым контролировать всю цепочку работы ИИ-агента — начиная с поставленной перед ним цели и заложенных инструкций и заканчивая принятым решением и его последствиями.
Среди ключевых требований названы:
- прозрачность используемых алгоритмов;
- сохранение контроля со стороны человека;
- защита клиентов от дискриминации;
- недопущение скрытых комиссий;
- защита от навязывания дополнительных финансовых продуктов и услуг.
Особенно актуальным вопрос становится по мере появления автономных ИИ-агентов, которым для выполнения отдельных операций требуется все меньше непосредственного участия человека.
Автономные ИИ-агенты создают новый риск
Тимур Абилкасымов отметил, что при сохранении человека в контуре принятия решений работу ИИ можно контролировать с помощью заданных лимитов, условий и уровня доверия.
Однако ситуация меняется, когда система получает возможность самостоятельно выбирать продукты и принимать решения.
«Наша задача – обеспечить максимальную прозрачность. Если агент выполняет свою функцию правильно, а человек остается в контуре принятия решений, устанавливает определенный уровень доверия, лимиты и условия, то такой подход вполне управляем. Но сегодня появляются более автономные агенты, которые способны самостоятельно принимать решения и формировать корзины продуктов и услуг. Для таких агентов необходимо сформировать систему защиты от новых рисков, в том числе от скрытого jailbreak – атак через интерфейсы и коммуникацию с агентами, направленных на обход установленных ограничений. Пока такие механизмы защиты находятся на достаточно ранней стадии развития не только в банковском секторе, но и в мире в целом», – отметил Тимур Абилкасымов.
Таким образом, одним из новых направлений финансового надзора становится защита не только от традиционных кибератак, но и от попыток заставить ИИ-агента обойти установленные для него ограничения.
Qainar объединяет более 100 финансовых организаций
В Казахстане ИИ уже используется регулятором для противодействия киберрискам.
По словам Тимура Абилкасымова, к системе коллективного иммунитета Qainar подключены более 100 финансовых организаций.
ИИ-агенты внутри системы помогают анализировать и структурировать информацию о киберинцидентах, а также ускорять обмен сведениями об угрозах между участниками финансового рынка.
Задача Qainar — позволить финансовым организациям совместно реагировать на атаки и повышать устойчивость отрасли к киберугрозам.
Сам регулятор также расширяет использование собственных ИИ-агентов для контроля отдельных банковских систем.
