Цифровой вандализм от нейросети: ChatGPT одной командой превратил диск в чистый лист

Пользователь попросил ChatGPT написать простой скрипт на PowerShell для удаления временных папок Python, но результат оказался фатальным: вместо точечной очистки конкретного каталога программа полностью стерла содержимое диска F, уничтожив рабочие проекты. Инцидент вызвал серьезные вопросы к безопасности и точности кода, генерируемого искусственным интеллектом.

При разборе ситуации выяснилось, что проблема заключалась в конфликте интерпретаций командной строки Windows. Нейросеть использовала обратный слэш (\) для экранирования кавычек в пути. Этот подход может работать при определенных условиях, но при вызове оболочки CMD через PowerShell (cmd /c) логика сломалась. В итоге переменная пути сократилась до одиночного символа \, который Windows интерпретирует как корневой каталог текущего диска.

Ситуацию усугубило то, что ИИ добавил в команду параметр "тихого" удаления — без запроса подтверждения пользователем. Это позволило скрипту мгновенно и безвозвратно уничтожить все данные на диске F.

Этот инцидент подчеркивает важность тщательной проверки кода, генерируемого ИИ. Несмотря на прогресс в области нейросетевых моделей, они все еще могут допускать критические ошибки, особенно при работе с командами, влияющими на файловую систему. Разработчики должны быть осторожны и всегда проводить дополнительные тесты перед выполнением таких скриптов.

В будущем подобные инциденты могут способствовать разработке более надежных механизмов проверки и валидации кода, генерируемого ИИ. Это может включать автоматизированные тесты на безопасность, а также внедрение дополнительных уровней защиты, чтобы предотвращать выполнение потенциально опасных команд.