ИИ определяет мышечную активность руки по логам сенсорного экрана смартфона

Исследователи из Университета Аалто и Лейпцигского университета представили модель машинного обучения Log2Motion, способную реконструировать паттерны мышечной активности руки на основе логов сенсорного экрана. Проще говоря, система превращает сухие координаты касаний и свайпов в детальную карту физических усилий, затрачиваемых пользователем при взаимодействии с интерфейсом мобильного приложения.

Биомеханика в цифровом представлении

Традиционные инструменты аналитики ограничиваются фиксацией точек нажатия и векторов движения. В отличие от них, Log2Motion связывает эти данные с биомеханической моделью человеческой кисти. Разработчики интегрировали в модель цифровую симуляцию опорно-двигательного аппарата, которая отслеживает активность почти 70 мышц. Если коротко, алгоритм рассчитывает скорость, точность движений и энергетические затраты, опираясь на массив данных, полученных ранее в ходе экспериментов с использованием систем захвата движений (motion capture).Система работает синхронно с эмулятором смартфона в реальном времени. Это позволяет разработчикам интерфейсов увидеть не только путь пальца по дисплею, но и внутреннее «напряжение» руки, которое возникает в процессе навигации. На практике это дает возможность количественно измерить эргономическую нагрузку, которая до этого момента оставалась скрытой от проектировщиков систем взаимодействия (UI/UX).

Анализ эргономики и паттернов нагрузки

Результаты тестов выявили интересные закономерности распределения усилий. Наиболее энергозатратными для пользователя оказались вертикальные свайпы, а также манипуляции с интерфейсными элементами малого размера, расположенными в углах экрана. Горизонтальные движения и взаимодействие с центром дисплея требуют существенно меньшей мышечной нагрузки. Даже минимальное смещение кнопки может изменить уровень физического напряжения, что критически важно для проектирования интерфейсов, ориентированных на длительное использование.Изначально модель была откалибрована под сценарий, при котором смартфон лежит на плоской поверхности, однако архитектура Log2Motion допускает адаптацию под другие условия — например, когда устройство удерживается одной рукой в статичном положении.

Перспективы и ограничения

Основная цель внедрения такого инструмента — создание доступной цифровой среды. Модель может стать стандартом для адаптации софта под нужды пользователей с ограниченными возможностями, включая людей с тремором, мышечной слабостью или тех, кто использует протезы рук.Впрочем, функционал Log2Motion выходит за рамки проектирования UI. Поскольку алгоритм извлекает данные, напрямую связанные с физической формой и привычками конкретного пользователя, технология потенциально открывает путь для построения глубоких профилей поведения человека. Вопрос о том, как подобные метрики будут использованы в рекламной индустрии и маркетинговых алгоритмах, остается открытым, учитывая высокую точность анализа физического состояния владельца устройства.