Безопасность фирмы Codewall провела тестирование на уязвимости внутренней AI-платформы McKinsey, известной как Lilli. Платформа используется более чем 43 000 сотрудниками для стратегических задач, клиентских исследований и анализа документов. Исследование показало, что автономный агент AI смог получить полный доступ к базе данных системы менее чем за два часа без использования учетных записей, внутренних знаний или человеческой помощи.
Точка входа для атаки была найдена в уязвимости SQL-инъекции. Несмотря на то что значения в API-запросах были правильно параметризированы, имена полей JSON непосредственно вставлялись в SQL-запросы. В результате более 15 слепых попыток агент смог извлечь все более детальную информацию из сообщений об ошибках, что привело к доступу к данным производственной базы.
Данные, ставшие доступными в ходе взлома, включают 46,5 миллионов чат-сообщений, 728 000 файлов и 57 000 пользовательских учетных записей. Все это было доступно без аутентификации. Однако самое тревожное заключается в том, что команды управления поведением Lilli также хранятся в той же базе данных. Атакующий с правами записи мог бы изменить эти команды, не требуя развертывания или изменения кода, просто отправив один HTTP-запрос.
Потенциальные последствия такого взлома могут быть катастрофическими. Отравленные финансовые модели и манипулированные стратегические рекомендации до скрытой передачи данных через ответы AI. Все это могло бы происходить незаметно, так как измененные команды не оставляют традиционных следов.
Кроме того, агент получил доступ к 3,68 миллиона фрагментов документов RAG (Retrieval-Augmented Generation), то есть всей базе знаний, используемой для формирования ответов Lilli. Это включает десятилетия исследований McKinsey, методологий и рамочных решений, находящихся в незащищенной базе данных.
McKinsey оперативно закрыла уязвимости в течение дня после получения уведомления 1 марта. Независимое расследование не выявило признаков доступа к клиентским данным или конфиденциальной информации третьими лицами.
Ирония заключается в том, что агент использовал SQL-инъекцию — одну из самых старых и известных уязвимостей с 1990-х годов. Эта уязвимость выжила в базе данных McKinsey на протяжении двух лет, несмотря на наличие стандартных сканеров безопасности. Как отмечает независимый аналитик Edward Kiledjian, причина заключается в нетипичном атакующем векторе, направленном на имена полей JSON.
Новый аспект этого случая — потенциальные последствия. Поскольку команды управления AI-системами хранятся в тех же базах данных, что и другие данные, классическая уязвимость может стать инструментом для изменения поведения системы без заметных следов.
Codewall подчеркивает, что команды управления AI стали новыми ценными активами. Компании долгие годы уделяли внимание защите кода, серверов и цепочек поставок, но слой команд управления остался незащищенным.
Edward Kiledjian предоставляет важный контекст. Хотя Codewall обнаружила серьезную уязвимость, ее публикация несколько преувеличивает демонстрированные возможности и смешивает доступ к данным с их фактической передачей.
Codewall разрабатывает автономную платформу для тестирования на уязвимости и находится в стадии раннего предварительного доступа. Взлом McKinsey служит отличным примером возможностей этой платформы, хотя вопрос о том, покрывается ли публичная политика ответственного раскрытия уязвимостей на HackerOne такой деятельностью, остается открытым.
Основной вывод заключается в следующем: компании, внедряющие AI-системы в производство, должны уделять безопасности архитектуры столько же внимания, сколько и традиционным IT-инфраструктурам. Даже для компаний с высокой экспертизей это остается серьезной задачей.