Новое исследование, проведенное в Массачусетском технологическом институте (MIT), предполагает, что мозг способен предоставлять индивидуальные обучающие сигналы нейронам в процессе обучения. Это открытие демонстрирует удивительную точность, с которой мозг корректирует свою работу, и напоминает механизмы обработки ошибок, используемые в машинном обучении.
Когда человек осваивает новый навык, мозгу необходимо определить, какие изменения требуются на клеточном уровне. Новое исследование указывает на способность мозга посылать целенаправленную обратную связь отдельным нейронам, позволяя каждому из них корректировать свою активность в правильном направлении.
Данное наблюдение перекликается с фундаментальной концепцией современного искусственного интеллекта. Многие системы ИИ обучаются, сопоставляя свой результат с целевым значением, вычисляя сигнал «ошибки» и используя его для тонкой настройки связей внутри нейронной сети. Долгое время оставался открытым вопрос, использует ли мозг подобный тип индивидуализированной обратной связи. Исследование, опубликованное 25 февраля в журнале Nature, предоставило доказательства в пользу этой гипотезы.
Идентификация обучающих сигналов
Исследовательская группа под руководством Марка Харнетта, сотрудника Института изучения мозга Макговерна и доцента кафедры исследований мозга и когнитивных наук MIT, обнаружила эти инструктивные сигналы у мышей. Ученые обучали животных управлять активностью конкретных нейронов с помощью интерфейса мозг-компьютер (BCI). Этот подход, по словам исследователей, может быть использован для дальнейшего изучения взаимосвязей между искусственными нейронными сетями и реальным мозгом. Ожидается, что это позволит как улучшить понимание биологического обучения, так и разработать более совершенный искусственный интеллект, вдохновленный биологическими принципами.
Изменяющийся мозг
Наш мозг постоянно меняется по мере взаимодействия с окружающим миром, модифицируя свои нейронные связи в процессе обучения и адаптации. Харнетт отмечает: «Мы знаем из 50-летних исследований, что существует множество способов изменить силу связей между нейронами. Чего действительно не хватает в этой области, так это понимания того, как эти изменения организуются для эффективного обучения».
Некоторые действия и соответствующие им нейронные связи усиливаются за счет высвобождения нейромодуляторов, таких как дофамин или норадреналин. Однако эти сигналы передаются большим группам нейронов, не различая индивидуальный вклад клеток в успех или неудачу. «Обучение с подкреплением посредством нейромодуляторов работает, но оно неэффективно, поскольку все нейроны и все синапсы получают по сути только один сигнал», — объясняет Харнетт.
Машинное обучение использует альтернативный, чрезвычайно мощный способ извлечения уроков из ошибок. Применяя метод, называемый обратным распространением ошибки (backpropagation), искусственные нейронные сети вычисляют сигнал ошибки и используют его для индивидуальной настройки своих связей. Этот процесс повторяется множество раз, позволяя сети обучаться и точно настраивать свои параметры для достижения успеха. «Это очень эффективно с вычислительной точки зрения и отлично работает», — говорит Харнетт.
Ранее предполагалось, что мозг может использовать аналогичные сигналы ошибки для обучения. Однако нейробиологи скептически относились к способности мозга посылать адаптированные сигналы отдельным нейронам из-за ограничений, накладываемых использованием живых клеток и цепей вместо программного обеспечения и уравнений. Основной проблемой для проверки этой идеи была задача обнаружения сигналов, которые предоставляют персонализированные инструкции нейронам, так называемых векторизованных инструктивных сигналов. Как объясняет Валерио Франчиони, первый автор статьи в Nature и бывший постдок в лаборатории Харнетта, сложность заключалась в том, что ученые не знали, как отдельные нейроны способствуют конкретному поведению.
Франчиони приводит пример: «Если бы я записывал активность вашего мозга, пока вы учились играть на пианино, я бы увидел корреляцию между изменениями в вашем мозге и вашим обучением игре на пианино. Но если бы вы попросили меня сделать вас лучшим пианистом, манипулируя активностью вашего мозга, я бы не смог этого сделать, потому что мы не знаем, как активность отдельных нейронов соотносится с конечной производительностью».
Без понимания того, каким нейронам необходимо повысить активность, а каким — снизить, невозможно найти сигналы, управляющие этими изменениями.
Понимание функции нейронов
Для решения этой проблемы команда Харнетта разработала задачу с интерфейсом мозг-компьютер, чтобы напрямую связать нейронную активность с результатом вознаграждения, что можно сравнить с привязкой клавиш пианино напрямую к активности отдельных нейронов. Для успешного выполнения задачи определенные нейроны должны были увеличить свою активность, тогда как другие должны были ее снизить.
Ученые настроили BCI для непосредственной связи активности этих нейронов — всего от восьми до десяти из миллионов нейронов в мозге мыши — с визуальным отображением, предоставляя мышам сенсорную обратную связь об их производительности. Успех сопровождался выдачей сладкого вознаграждения.
«Теперь, если вы спросите меня: "Как мышь получает больше вознаграждений? Какой нейрон нужно активировать, а какой — ингибировать?", я точно знаю ответ на этот вопрос», — говорит Франчиони, чья работа была поддержана стипендией Y. Eva Tan Fellowship от Yang Tan Collective в MIT.
Ученые не знали точной функции конкретных нейронов, которые они связали с BCI, но клетки были достаточно активны, чтобы мыши получали случайные вознаграждения, когда сигналы оказывались правильными. В течение недели мыши научились включать нужные нейроны, оставляя другую группу нейронов неактивной, тем самым зарабатывая больше вознаграждений.
Франчиони ежедневно отслеживал целевые нейроны в процессе обучения с помощью мощного микроскопа для визуализации флуоресцентных индикаторов нейронной активности. Он сосредоточился на разветвленных дендритах нейронов, куда, как давно предполагалось, поступают соответствующие сигналы обратной связи. Одновременно он отслеживал активность в родительских телах этих нейронов. Команда использовала эти данные для изучения взаимосвязи между сигналами, поступающими в дендриты нейрона, и его активностью, а также того, как эти связи менялись, когда мыши получали вознаграждение за активацию правильных нейронов или когда они терпели неудачу в задаче.
Векторизованные нейронные сигналы
Исследователи пришли к выводу, что две группы нейронов, активность которых управляла BCI противоположными способами, также получали противоположные сигналы ошибки на своих дендритах по мере обучения мышей. Некоторым было поручено наращивать свою активность во время выполнения задачи, в то время как другим было предписано ее снижать. Более того, когда команда манипулировала дендритами, чтобы ингибировать эти инструктивные сигналы, мыши не смогли освоить задачу. «Это первое биологическое доказательство того, что в коре головного мозга происходит векторизованное [нейрон-специфическое] обучение на основе сигналов», — заявляет Харнетт.
Открытие векторизованных сигналов в мозге и способность команды их обнаружить должны способствовать более тесному взаимодействию между нейробиологами и исследователями машинного обучения, считает постдок Винсент Танг. «Это дает дополнительный стимул для сообщества машинного обучения продолжать разрабатывать модели и предлагать новые гипотезы в этом направлении, — говорит он. — А затем мы сможем вернуться и проверить их».
Исследователи отмечают, что они так же воодушевлены применением своего подхода в будущих экспериментах, как и своим текущим открытием.
«Машинное обучение предлагает надежный, математически обоснованный способ изучения обучения. Тот факт, что мы теперь можем перевести хотя бы часть этого непосредственно в мозг, очень важен», — говорит Франчиони.
Харнетт добавляет, что этот подход открывает новые возможности для исследования возможных параллелей между мозгом и машинным обучением. «Теперь мы можем выяснить, как обучается кора головного мозга? Как обучаются другие области мозга? Насколько это похоже или отличается от этого конкретного алгоритма? Можем ли мы выяснить, как создавать более совершенные, вдохновленные мозгом модели на основе того, что мы узнаем из биологии?» — говорит он. — «Это кажется действительно большим новым началом».