Команда исследователей из Apple представила инновационную модель искусственного интеллекта EMBridge, предназначенную для интерпретации жестов рук на основе электромиографических (ЭМГ) данных. Ключевая особенность разработки — способность системы распознавать жесты, отсутствовавшие в её обучающем наборе.
Принцип работы и обучение EMBridge
Электромиография, как известно, фиксирует электрическую активность мышц во время их сокращения. Эта технология находит применение в медицине, реабилитации и управлении протезами. В контексте носимой электроники для AR/VR систем ЭМГ также активно развивается. Apple использовала существующие публичные датасеты emg2pose и NinaPro DB2 для обучения своей модели.
Процесс обучения EMBridge базировался на двух типах входных данных: непосредственно ЭМГ-сигналах и координатах, описывающих фактическое положение рук. На первом этапе эти представления обрабатывались изолированно. В дальнейшем был реализован механизм сопоставления, позволяющий ЭМГ-компоненту учиться на основе данных о положениях рук. Это позволило EMBridge начать идентифицировать признаки жестов, опираясь исключительно на ЭМГ-сигналы.
Усложнение задачи и повышение устойчивости
Для дальнейшего совершенствования модели исследователи искусственно усложнили задачу. Часть данных второго потока — информации о положении рук — скрывалась от ИИ. Модель была вынуждена делать предположения о положении на основе одних лишь ЭМГ-данных. Чтобы минимизировать ошибки на данном этапе, была использована менее строгая система оценки ответов ИИ. Это означало, что схожие жесты трактовались системой как родственные, а не как совершенно различные сущности. Такой подход способствовал более эффективной организации пространства представлений модели, что, в свою очередь, улучшило её способность реконструировать положения рук, даже если они не встречались в процессе обучения.
Результаты и ограничения
Эффективность EMBridge была протестирована на тех же наборах данных emg2pose и NinaPro, которые использовались в качестве бенчмарков. Исследование показало, что алгоритм сохраняет высокую работоспособность даже при значительном сокращении обучающей выборки — до 40% от исходного объёма.
Однако, как отмечают сами разработчики, технология имеет существенное ограничение. Процесс обучения ИИ-модели требует использования наборов данных, которые содержат синхронизированные ЭМГ-сигналы и соответствующие им данные о положении рук. Доступность таких массивов информации не является безграничной, что потенциально может сдерживать масштабирование и дальнейшее развитие EMBridge и аналогичных систем.