Apple разработала ИИ EMBridge для распознавания неизвестных жестов рук по ЭМГ

Команда исследователей из Apple представила инновационную модель искусственного интеллекта EMBridge, предназначенную для интерпретации жестов рук на основе электромиографических (ЭМГ) данных. Ключевая особенность разработки — способность системы распознавать жесты, отсутствовавшие в её обучающем наборе.

Принцип работы и обучение EMBridge

Электромиография, как известно, фиксирует электрическую активность мышц во время их сокращения. Эта технология находит применение в медицине, реабилитации и управлении протезами. В контексте носимой электроники для AR/VR систем ЭМГ также активно развивается. Apple использовала существующие публичные датасеты emg2pose и NinaPro DB2 для обучения своей модели.

Процесс обучения EMBridge базировался на двух типах входных данных: непосредственно ЭМГ-сигналах и координатах, описывающих фактическое положение рук. На первом этапе эти представления обрабатывались изолированно. В дальнейшем был реализован механизм сопоставления, позволяющий ЭМГ-компоненту учиться на основе данных о положениях рук. Это позволило EMBridge начать идентифицировать признаки жестов, опираясь исключительно на ЭМГ-сигналы.

Усложнение задачи и повышение устойчивости

Для дальнейшего совершенствования модели исследователи искусственно усложнили задачу. Часть данных второго потока — информации о положении рук — скрывалась от ИИ. Модель была вынуждена делать предположения о положении на основе одних лишь ЭМГ-данных. Чтобы минимизировать ошибки на данном этапе, была использована менее строгая система оценки ответов ИИ. Это означало, что схожие жесты трактовались системой как родственные, а не как совершенно различные сущности. Такой подход способствовал более эффективной организации пространства представлений модели, что, в свою очередь, улучшило её способность реконструировать положения рук, даже если они не встречались в процессе обучения.

Результаты и ограничения

Эффективность EMBridge была протестирована на тех же наборах данных emg2pose и NinaPro, которые использовались в качестве бенчмарков. Исследование показало, что алгоритм сохраняет высокую работоспособность даже при значительном сокращении обучающей выборки — до 40% от исходного объёма.

Однако, как отмечают сами разработчики, технология имеет существенное ограничение. Процесс обучения ИИ-модели требует использования наборов данных, которые содержат синхронизированные ЭМГ-сигналы и соответствующие им данные о положении рук. Доступность таких массивов информации не является безграничной, что потенциально может сдерживать масштабирование и дальнейшее развитие EMBridge и аналогичных систем.