Почему ИИ ошибается на работе: исследование выявило проблему несоответствия ожиданиям

Коллаборация исследователей из Королевского колледжа Лондона, Оксфорда, Nokia Bell Labs и Туринского политехнического университета представила результаты масштабного анализа инцидентов, связанных с внедрением ИИ в рабочие процессы. Изучив данные AI Incident Database за период с 2013 по 2025 год, эксперты пришли к выводу, что ключевым источником сбоев является не столько техническая несостоятельность алгоритмов, сколько их концептуальная непригодность для решения специфических профессиональных задач.

Природа несоответствия между ИИ и сотрудником

В ходе работы команда проанализировала 171 бизнес-задачу в 12 отраслях, охватывающих медицину, юриспруденцию, HR, клиентскую поддержку и разработку ПО. Параллельно проводились качественные исследования среди 202 профильных специалистов и 197 разработчиков. Исследователи ввели понятие *worker-AI misalignment* (несоответствие между ожиданиями работника и поведением ИИ), которое объясняет 83,4% всех зафиксированных инцидентов.Проще говоря, система формально функционирует корректно с точки зрения кода, но проваливается в контексте реальной эксплуатации. Сотрудники ожидают от инструментов точности, глубины проработки и адаптивности, однако зачастую получают усредненные, поверхностные ответы, которые не учитывают специфику профессиональной ситуации. Если коротко: разработчики делают ставку на абстрактную функциональность, а работникам требуется глубокая интеграция в специфический процесс.

Специфика в различных отраслях

Проблема проявляется неравномерно. В юридической сфере критическим фактором становится «галлюцинирование» моделей. ИИ склонен генерировать несуществующие прецеденты и ссылки, в то время как юристам жизненно необходимы верифицируемые данные. В HR-секторе акцент смещается в сторону негибкости: алгоритмы принимают безапелляционные решения, лишенные прозрачной логики, что создает риск несправедливой оценки персонала.По оценке экспертов, около 74% таких ошибок кроются в архитектурных решениях на этапе проектирования. Разработчики приоритизируют скорость и вычислительную эффективность, тогда как в полевых условиях от системы требуются гибкость, интерпретируемость и учет контекста. На практике это значит, что алгоритмы управления в логистике или HR эффективно обрабатывают метрики, но полностью игнорируют внешние переменные — например, дорожные условия или человеческие обстоятельства, которые сотрудник счел бы значимыми.

Эволюция проблем при переходе к генеративному ИИ

Исследование также фиксирует дрейф проблем по мере развития технологий. Если ранее инциденты были связаны преимущественно с дефицитом интерпретируемости и избыточной скоростью систем, то с доминированием генеративного ИИ на первый план вышла склонность моделей к уверенной генерации недостоверного контента.Авторы подчеркивают, что при внедрении автоматизированных систем компаниям необходимо сместить фокус с оценки «чистой» производительности модели на анализ её соответствия конкретным рабочим сценариям. Неправильные дизайнерские решения на этапе интеграции неизбежно трансформируются в реальные корпоративные риски: от некорректных управленческих назначений до потери контроля над ключевыми бизнес-процессами. В конечном счете, автоматизация, лишенная учета пользовательского контекста, рискует стать источником систематических ошибок, а не инструментом повышения эффективности.