Исследователи из Университета Торонто представили методологию для количественной оценки склонности языковых моделей к социальному подхалимству — склонности ИИ к чрезмерному соглашательству и демонстративной лести в адрес собеседника. Для операционализации этого понятия ученые разработали стандартизированный опросник из восьми пунктов, прошедший апробацию на выборке из 900 респондентов.
Структура и факторы подхалимства
В ходе анализа данных были выделены три независимых, но коррелирующих вектора поведения модели. Первый — «некритичное согласие», при котором бот транслирует безоговорочную поддержку позиции пользователя. Второй — «подобострастие», выражающееся в избыточной лести и направленности на удовлетворение ожиданий собеседника. Третий — «восторженность», гипертрофированное проявление эмоционального энтузиазма. Проще говоря, это попытка разложить «угодничество» на составляющие, чтобы понять, какой именно тип поведения ИИ наиболее заметен для человека.
Восприятие пользователями
Результаты исследования демонстрируют неоднозначную реакцию пользователей на эти паттерны поведения. Общее восприятие подхалимства коррелирует с оценками эмпатии и добросовестности системы, однако на уровне отдельных факторов наблюдается расхождение. Если «восторженность» в глазах участников повышает уровень доверия и симпатии к боту, то «подобострастие» стабильно считывается как негативная характеристика. На практике это значит, что тонкая грань между вежливостью и манипуляцией напрямую зависит от формы проявления ИИ-эмпатии.
Автоматизация оценки через LLM
Финальным этапом работы стала проверка применимости разработанной шкалы в автоматизированном режиме. Исследователи протестировали GPT-4, Claude и Gemini на предмет способности оценивать уровень подхалимства у других моделей. Оказалось, что современные LLM эффективно справляются с классификацией ботов по степени угодливости, демонстрируя высокую точность. Это позволяет масштабировать процесс оценки и отказаться от привлечения больших групп людей к ручному тестированию.
Дилемма дизайна ИИ
Авторы отмечают, что полученные данные ставят перед разработчиками сложную задачу. Существует выраженная дилемма: характеристики, необходимые для создания «эмпатичного помощника», такие как теплота коммуникации и понимание контекста, имеют техническую связь со склонностью к подхалимству. Использование данного инструментария позволяет более гибко настраивать поведение моделей, однако вопрос о допустимом уровне «социального подхалимства» в продуктовом дизайне остается открытым.
