Где-то оператор вносит в базу год рождения 1880 вместо 1980. Кредитная модель читает эти данные и приходит к выводу, что заявитель не доживет до конца выплат. Заявка отклонена.
Сергей Марков приводит эту мелкую опечатку как иллюстрацию того, в чем он видит реальную опасность искусственного интеллекта. Марков — управляющий директор SberDevices, входит в группу Сбербанка и руководит экспериментальными системами машинного обучения. Он рассказывает эту историю не как случай из практики, а как пример. Суть в том, что у заявителя нет способа узнать, что именно пошло не так.
Задумайтесь, сколько решений о вас уже принимается таким образом. Вы подаете заявку на кредит, отправляете резюме, проходите через тысячи процессов, о которых даже не слышали. В каждом из них, говорит Марков, алгоритмы выносят вердикты, и по силе влияния на вашу жизнь они зачастую сопоставимы с решением суда. Отказ в кредите может означать, что от этого зависит здоровье вашей семьи.
Он не про Терминатора. Голливуд показывает другую опасность — не ту, что уже здесь. Его собственный пример нарочито грубый, и он признает, что утрирует: завтра запускается новая система, и рыжеволосым начинают отказывать чаще, чем брюнетам. Компания, сама того не заметив, создала механизм дискриминации по произвольному признаку. Утрирование — в цвете волос. Сам механизм, по его словам, реален, и алгоритмическая предвзятость — серьезная проблема именно потому, что такие модели теперь повсюду.
Исследователи уже измеряли подобные эффекты. В работе, представленной на конференции AAAI/ACM по искусственному интеллекту, этике и обществу в октябре 2024 года, Кайра Уилсон проверила модели текстовых эмбеддингов, имитирующие отбор резюме по девяти профессиям. В 85,1% случаев модели отдавали предпочтение именам, ассоциирующимся с белыми соискателями, а для чернокожих мужчин невыгодное положение достигало 100%. Аудит, опубликованный на arXiv в декабре 2025 года Мэдисон Кутс, изучил около 80 000 персональных кредитов крупной американской финтех-платформы. Модель андеррайтинга завышала кредитный риск для женщин и занижала его для чернокожих заемщиков.
Теперь сравните два помещения, в которых вы можете оказаться. В зале суда у вас есть состязательный процесс и квалифицированный адвокат. Вы можете увидеть каждое доказательство, собранное против вас. У кредитного стола модель — коммерческая тайна. Вы не увидите, как она устроена и на каких данных обучалась, и не напишете омбудсмену, потому что его нет. Пример Маркова с опечаткой «1880» показывает главное: вам могут отказать из-за одного нажатия клавиши оператором — и вы об этом никогда не узнаете.
Алгоритмы выносят свои вердикты, да, и по силе влияния на вашу жизнь действия этих алгоритмов зачастую сопоставимы с решением суда.
свои вердикты выносят алгоритмы, да, и по силе влияния на вашу жизнь действия этих алгоритмов сопоставимо с решением суда зачастую.
— Сергей Марков, «Подкаст Глеба Соломина», 42:31
Здесь Марков делает оговорку, которая сохраняет честность аргумента. Машину не следует оценивать по сравнению с нулевым риском. Ее нужно сравнивать с тем человеческим процессом, который она заменила, и во многих случаях автоматизация риск снижает. Модель можно прогнать через миллионы симулированных тестов и получить объективную цифру — чего не сделаешь с таксистом, в голову которому не заглянешь. Проблема возникает из-за небрежности, как в случае с плохо протестированным аппаратом лучевой терапии в 1980-х, когда из-за ошибки в программном обеспечении несколько пациентов получили смертельные дозы.
Поэтому и средство, которого он требует, скучное. Заводы уже живут под толстыми папками правил безопасности, и то же самое полагается системам, решающим, кому выдавать кредит. Нужно выстраивать механизмы управления этими рисками, иначе компании сами себе навредят.
Марков понимает, в чем тут загвоздка. Люди засыпают, когда речь заходит о регулировании рисков. Им интереснее посмотреть кино про Терминатора.
