Автономный ИИ-агент успешно скомпрометировал внутреннюю платформу искусственного интеллекта консалтинговой компании McKinsey & Company, затратив на это всего два часа и не имея предварительных учетных данных. Испытание, проведенное специалистами стартапа CodeWall, продемонстрировало критические уязвимости в системе Lilli, запущенной McKinsey в июле 2023 года.
Предыстория и значимость Lilli
Чат-бот Lilli представляет собой ключевой внутренний инструмент McKinsey, активно используемый примерно 72% сотрудников компании, что составляет более 40 тысяч человек. Система ежемесячно обрабатывает свыше 500 тысяч запросов, оказывая поддержку консультантам в области аналитики, разработки стратегий и управления клиентскими проектами.
Механизм атаки
Исследователи из CodeWall подчеркивают, что автономный агент самостоятельно идентифицировал цель, выявил уязвимость и осуществил атаку, действуя без прямого человеческого вмешательства. Важным аспектом является то, что у агента изначально отсутствовали какие-либо учетные данные или доступ к внутренней инфраструктуре McKinsey.
Через два часа после начала тестирования, ИИ-агент получил полный доступ к базе данных Lilli, охватывающий как чтение, так и запись информации. Это позволило ему извлечь порядка 46,5 миллиона сообщений из внутренних чатов сотрудников. Эти сообщения содержали конфиденциальные данные, включая стратегии компаний, детали сделок слияний и поглощений, а также информацию о клиентских проектах.
Помимо этого, агент получил доступ к 728 тысячам файлов, содержащих критически важные данные клиентов, 57 тысячам пользовательских аккаунтов и 95 системным инструкциям, которые определяют логику поведения чат-бота. Возможность модификации этих системных инструкций означает, что гипотетический злоумышленник мог бы переписать подсказки модели, тем самым изменяя ответы ИИ-системы для десятков тысяч консультантов.
Технические детали уязвимости
Уязвимость, использованная агентом, оказалась SQL-инъекцией, обнаруженной через публичную документацию API платформы Lilli. В числе доступных интерфейсов находились 22 точки доступа, функционирующие без аутентификации. Один из таких интерфейсов фиксировал поисковые запросы пользователей, при этом названия полей из JSON-запросов напрямую вставлялись в SQL-команды базы данных. Системные ошибки, возникающие при этом, начали возвращать реальные данные из рабочей среды, что дало агенту возможность оперативно идентифицировать и использовать уязвимость.
Реакция и устранение
Как отметил генеральный директор CodeWall Пол Прайс (Paul Price), весь процесс был полностью автоматизирован: «Агент самостоятельно выполнил все шаги — от выбора цели и анализа системы до проведения атаки и генерации отчета». Исследователи проинформировали McKinsey об обнаруженной уязвимости 1 марта. Уже на следующий день компания оперативно отреагировала, закрыв незащищенные интерфейсы, отключив среду разработки и ограничив доступ к публичной документации API.
Представитель McKinsey подтвердил, что все выявленные проблемы были устранены в течение нескольких часов после получения уведомления. Компания также провела совместную проверку с независимыми экспертами, которая не выявила признаков компрометации клиентских данных третьими лицами.