Исследователи из университета Беркли нашли способ обходить ограничения систем ИИ

Вопрос этического регулирования и безопасности больших языковых моделей вышел за рамки дискуссий внутри исследовательского сообщества и стал предметом внимания государственных структур. Стандартные версии коммерческих ИИ-систем оснащены многоуровневыми фильтрами, призванными блокировать генерацию контента, нарушающего этические нормы или правила безопасности. Однако текущая архитектура этих систем не гарантирует устойчивости к деструктивным воздействиям, позволяя пользователям обходить установленные ограничения при помощи специальных техник управления промптами.

Механизмы атаки: инъекция инструкций

Исследовательская группа из Калифорнийского университета в Беркли продемонстрировала, как именно реализуется компрометация безопасности нейросетей через метод, получивший название «инъекция инструкций» (prompt injection). На практике это значит, что в запрос к модели внедряются специфические синтаксические конструкции, которые задают приоритет новым командам над базовыми установками модели. Проще говоря, ИИ получает «инструкцию по игнорированию инструкций», заставляющую его сбросить защитные фильтры и перейти к выполнению вредоносного запроса.

Эксперименты выявили, что для дестабилизации модели зачастую достаточно минимальных семантических изменений в структуре запроса. Подобная уязвимость указывает на фундаментальную проблему архитектурного дизайна современных LLM, которые пока не способны надежно отделять первичные системные директивы от пользовательского ввода в рамках единого потока данных.

Последствия для кибербезопасности

Анализ, проведенный специалистами из Беркли, подтвердил, что описанные методы обхода ограничений применимы к широкому спектру актуальных архитектур, включая массовые чат-боты, интегрированные в пользовательские повседневные инструменты. Это создает серьезные риски в контексте кибербезопасности, так как системы, официально продвигаемые как защищенные, оказываются подвержены манипуляции через простые манипуляции с естественным языком.

Авторы исследования подчеркивают необходимость переработки механизмов фильтрации контента на стороне разработчиков. Текущий подход, базирующийся на обучении с подкреплением и постпроцессинговой фильтрации, не обеспечивает достаточной защиты от инъекций. Если коротко, существующие методы предохранения модели могут быть нивелированы за счет вставки контекстных триггеров. Без качественного проектирования систем контроля над безопасностью, использование ИИ в критических сферах несет в себе угрозу несанкционированного доступа к запрещенным данным и генерации потенциально опасного контента.