Исследование: ИИ-алгоритмы для найма могут создавать «черные списки» и усиливать дискриминацию

Масштабное исследование, проведенное учеными из Стэнфордского, Чепменского и Северо-Восточного университетов, выявило серьезные системные изъяны в алгоритмах автоматизированного найма. Анализ показал, что современные HR-инструменты не только транслируют расовые предвзятости, но и способны формировать своего рода «алгоритмические черные списки», блокируя талантливых специалистов сразу у множества работодателей.

Методология и анализ предвзятости

Команда экспертов проанализировала массив из 4 миллионов заявок, поданных 3 миллионами соискателей в 156 крупных корпораций с выручкой от $5 млрд. Инструментарий был представлен платформой Pymetrics (ныне принадлежит Harver). В отличие от классических систем, ориентированных на проверку резюме, Pymetrics оценивает соискателей через серию онлайн-игр, замеряющих поведенческие и когнитивные метрики: от скорости обработки информации до склонности к риску и альтруизма.Предыдущие оценки эффективности таких систем часто страдали от эффекта усреднения: вендоры анализировали данные по всему клиентскому портфелю целиком, что нивелировало локальные перекосы. Авторы текущего исследования применили иной подход, проверив 1746 вакансий по отдельности. Это позволило увидеть реальную картину на конкретных позициях, а не в абстрактных сводных отчетах.Результаты показали, что в 10,62% случаев алгоритм систематически занижал показатели темнокожих кандидатов по сравнению с доминирующей группой. Статистика оказалась весьма показательной: 25,87% всех заявок от темнокожих специалистов (около 40 тысяч эпизодов) столкнулись с подобной предвзятостью. Аналогичная проблема затронула почти 15% заявок от кандидатов-азиатов. Проще говоря, если система настроена неоптимально, конкретная демографическая группа сталкивается с дискриминацией чаще, чем это следует из «сглаженной» корпоративной отчетности.

Эффект «алгоритмического черного списка»

Вторая выявленная угроза касается централизации принятия решений. Поскольку результаты игрового тестирования Pymetrics могли сохраняться и повторно использоваться в течение 330 дней, соискатель, подающий заявки в несколько компаний, фактически попадает не в новую независимую оценку, а в цикл подтверждения старого профиля.На практике это превращается в «алгоритмический черный список» (algorithmic blackball). Исследователи подсчитали: среди кандидатов, откликнувшихся на 10 разных позиций, 4% получили отказы везде. Такая корреляция значительно превышает математическую вероятность независимых решений. Чтобы снизить риск подобного «зацикленного» отсева до 0,1%, соискателю теоретически потребовалось бы отправить резюме минимум на 25 вакансий — в два раза больше, чем при условии принятия решений разными людьми.Проблема заключается в монополизации инструментов оценки: когда один вендор обслуживает большую часть рынка, его внутренние недостатки масштабируются до глобальных рыночных барьеров. Получается, что неудачный профиль, сформированный алгоритмом, начинает «преследовать» кандидата, закрывая ему доступ ко всему сектору без возможности апелляции или пересмотра данных.

Рекомендации по регулированию

Авторы работы настаивают на необходимости изменения подходов к аудиту ИИ-систем в HR. Во-первых, необходимо перейти от оценки эффективности алгоритмов по агрегированным данным к анализу каждой вакансии в отдельности. Во-вторых, эксперты призывают к усилению надзора за рынком поставщиков ПО для найма и ограничению концентрации влияния отдельных систем. Важной мерой также называется предоставление независимым исследователям доступа к данным для проведения регулярного аудита подобных систем на предмет соответствия федеральным правилам антидискриминации.