OpenAI улучшила ChatGPT в подсчете букв, но модель продолжает ошибаться

Проблема «галлюцинаций» больших языковых моделей (LLM) остается фундаментальным барьером в развитии диалогового ИИ. Модели зачастую генерируют заведомо ложные утверждения с высокой степенью уверенности, что затрудняет их использование в задачах, требующих логической точности. Длительное время ярким примером такой неспособности нейросетей к базовой токенизации и логике был вопрос о количестве букв «r» в английском слове «strawberry». ChatGPT на протяжении многих итераций настойчиво игнорировал правила орфографии или ошибался в подсчете, демонстрируя неспособность корректно разбить слово на символы.

Логические сбои в архитектуре LLM

Помимо лингвистических ошибок, модели демонстрируют дефицит здравого смысла при анализе бытовых сценариев. Классический кейс: при вопросе о целесообразности пешего похода до автомойки, расположенной на дистанции в 50 метров для того, чтобы «доехать» туда на машине, алгоритмы нередко предлагали идти пешком. Формально нейросеть «понимает» семантику понятий, но не выстраивает рабочую логическую цепочку внутри контекста задачи. Проще говоря, машина оперирует вероятностями следования токенов, а не фактическим пониманием физического мира.

Методы «лечения» и их ограничения

Основная опасность заключается в том, что чат-боты склонны упорствовать в своих заблуждениях даже при прямом указании на ошибку со стороны пользователя. Это не только снижает доверие к инструменту, но и является напрасной тратой вычислительных мощностей, затраченных на генерацию дезинформации. Недавнее обновление OpenAI, по заявлению разработчиков, решило проблему подсчета букв в «strawberry» и устранило алогичность в рекомендациях по заправке автомобилей.

Однако аналитики указывают на то, что это исправление может носить прикладной, а не фундаментальный характер. Существует высокая вероятность того, что компания применила «костыльное» решение — жесткое кодирование ответов (hard-coding) для конкретных запросов, ставших мемами в сообществе. Подтверждением этой гипотезы служит тот факт, что модель продолжает регулярно ошибаться в аналогичных по структуре задачах. К примеру, вопрос о количестве букв «r» в слове «cranberry» все еще приводит к неверному ответу (нейросеть утверждает, что буква встречается один раз, хотя их две). Это дает основания полагать, что архитектурная ошибка LLM остается нерешенной, несмотря на публичные отчеты об «исправлении» поведения чат-бота.