В ситуациях с высокими ставками, таких как медицинская диагностика, пользователи часто требуют от моделей компьютерного зрения не только точных результатов, но и понимания того, что именно привело к определённому прогнозу. Это позволяет оценить надёжность выводов модели.
Одним из методов, позволяющих системам искусственного интеллекта (ИИ) объяснить процесс принятия решений, является моделирование узкого места концепций (CBM). Эти методы заставляют модель глубокого обучения использовать набор понятных человеку концепций для прогнозирования.
В новом исследовании учёные из Массачусетского технологического института (MIT) разработали метод, который позволяет моделям достигать более высокой точности и давать более чёткие объяснения. Концепции, которые использует модель, обычно заранее определяются экспертами, например, врач может предложить использовать такие понятия, как «сгруппированные коричневые точки» и «вариативная пигментация», чтобы предсказать наличие меланомы на медицинском изображении.
Однако предопределённые концепции могут быть неактуальны или недостаточно детализированы для конкретной задачи, что снижает точность модели. Новый метод извлекает концепции, которым модель уже научилась во время обучения, и заставляет её использовать их, давая более качественные объяснения.
Подход использует пару специализированных моделей машинного обучения, которые автоматически извлекают знания из целевой модели и переводят их в понятные человеку концепции. В результате этот метод может преобразовать любую предварительно обученную модель компьютерного зрения в модель, способную объяснять свои рассуждения.
«Мы хотим иметь возможность читать мысли моделей компьютерного зрения. Модель узкого места концепций — это один из способов для пользователей узнать, о чём думает модель и почему она сделала определённый прогноз. Наш метод использует более качественные концепции, что приводит к более высокой точности и повышению подотчётности моделей ИИ», — говорит ведущий автор Антонио Де Сантис, аспирант Политехнического университета Милана.
Модели узкого места концепций (CBM) добавляют промежуточный шаг, заставляя модель компьютерного зрения прогнозировать концепции, присутствующие на изображении, а затем использовать эти концепции для принятия окончательного прогноза. Этот шаг помогает пользователям понять логику модели.
Исследователи из MIT предложили другой подход: они стремятся создать CBM, извлекая существующие знания модели и преобразуя их в текст, понятный человеку. В первом шаге их метода специализированная модель глубокого обучения, называемая разрежённым автоэнкодером, выбирает наиболее релевантные функции, которым модель научилась, и реконструирует их в несколько концепций. Затем мультимодальная LLM описывает каждую концепцию простым языком.
Этот мультимодальный LLM также аннотирует изображения в наборе данных, определяя, какие концепции присутствуют и отсутствуют на каждом изображении. Исследователи используют этот аннотированный набор данных для обучения модуля узкого места концепций, чтобы распознавать концепции.
Они включают этот модуль в целевую модель, заставляя её делать прогнозы, используя только набор изученных концепций. Чтобы модель не использовала неизвестные или нежелательные концепции, они ограничивают её использование только пятью концепциями для каждого прогноза. Это также делает объяснения более понятными.
Когда они сравнили свой подход с современными CBM в задачах, таких как прогнозирование видов птиц и выявление поражений кожи на медицинских изображениях, их метод достиг наивысшей точности, предоставляя при этом более точные объяснения. Их подход также генерировал концепции, которые были более применимы к изображениям в наборе данных.
«Извлечение концепций из исходной модели может превосходить другие CBM, но всё ещё существует компромисс между интерпретируемостью и точностью. Чёрные модели, которые не являются интерпретируемыми, всё ещё превосходят наши», — говорит Де Сантис.
В будущем исследователи хотят изучить потенциальные решения проблемы утечки информации, возможно, путём добавления дополнительных модулей узкого места концепций. Они также планируют масштабировать свой метод, используя более крупный мультимодальный LLM для аннотирования большего обучающего набора данных, что может повысить производительность.
«Эта работа продвигает интерпретируемый ИИ в очень многообещающем направлении и создаёт естественный мост к символическому искусственному интеллекту и графам знаний», — говорит Андреас Хотхо, профессор и глава кафедры Data Science в Университете Вюрцбурга.
Исследование было поддержано стипендией Progetto Rocca, Итальянским министерством университетов и исследований, Thales Alenia Space и Европейским союзом в рамках проекта NextGenerationEU.