Cisco предупреждает о критических ошибках в ИИ-отчетах по киберинцидентам

Специалисты Cisco Talos Incident Response провели техническую оценку эффективности больших языковых моделей (LLM) при подготовке отчетов о киберинцидентах. Эксперты протестировали ChatGPT, Claude и Gemini, предоставив им первичные данные для компиляции итоговой документации. Несмотря на высокую степень стилистической проработки и визуальную структурированность документов, глубокий анализ выявил критические фактические ошибки, разрозненные выводы и логические несоответствия.

Природа генеративных ошибок

Исследователи акцентировали внимание на том, что подобные сбои обусловлены архитектурой современных LLM. Проще говоря, модели оперируют статистическими весами токенов, а не концептуальным осмыслением данных. Принцип прогнозирования следующего элемента последовательности в условиях работы с киберинцидентами может приводить к генерации внешне убедительного, но фактически неверного контента. Анализ показал, что отклонения происходят по четырем ключевым векторам, которые делают автоматизацию на данном этапе крайне сомнительной.

Проблемы воспроизводимости и структуры

Первая сложность заключается в фундаментальном отсутствии воспроизводимости: при каждом новом запросе модель акцентирует внимание на различных фрагментах исходных данных. Как результат — эксперты не могут получить стандартизированный отчет на основе одного и того же массива информации. Вторая проблема связана с противоречивостью рекомендаций. ИИ склонен выдавать совершенно разные алгоритмы действий для одной ситуации, причем часто фиксируется на первой же сгенерированной мысли, даже если она не обладает должной технической эффективностью — к примеру, предлагая тотальную смену паролей во всей инфраструктуре вместо точечного воздействия.

Кроме того, генерация «токен за токеном» вносит хаос в структуру и оформление отчетов. Для профессиональных команд безопасности критически важна унификация шаблонов, позволяющая осуществлять оперативный контроль качества. В случае с LLM структура каждый раз меняется, что затрудняет интеграцию таких документов в стандартные рабочие процессы — на практике это значит, что автоматизация превращается в дополнительную нагрузку по вычитке и переформатированию данных.

Лимиты контекстного окна и риски ответственности

При обработке объемных массивов данных модели сталкиваются с ограничением контекстного окна. ИИ способен «забывать» информацию, поступившую в начале запроса, или замещать её менее значимыми деталями. Проблема «засорения» контекста приводит к тому, что на выходе получается компиляция случайных сведений, лишенная целостности.

Теоретически, разделение задачи на более мелкие этапы могло бы повысить точность, однако такой подход нивелирует все временные преимущества от использования ИИ. В индустрии информационной безопасности приоритет отдается достоверности данных, а не скорости их первичной обработки. Специалисты Cisco подчеркивают, что текущие рекомендации LLM зачастую оказываются нерелевантными или непригодными для практического применения. Итоговая ответственность за содержание технического документа лежит исключительно на человеке, так как доверять автоматизированным выводам при расследовании инцидентов на данном этапе разработки технологий преждевременно.