Вашингтонский университет создал AI-наушники с камерой для распознавания объектов и перевода текста

Исследователи из Вашингтонского университета представили прототип интеллектуальных наушников, оснащенных камерой для визуального анализа окружающего пространства. Разработка, созданная специалистами университетского Центра IoT и повседневных вычислений (Center for IoT and Everyday Computing), направлена на реализацию функций распознавания объектов и перевода текста в режиме реального времени.

Архитектура локальной обработки данных

Ключевой особенностью системы является отказ от облачных вычислений в пользу локальной обработки. В отличие от современных носимых устройств, которые отправляют потоковые данные на удаленные серверы, этот прототип выполняет все вычислительные операции внутри устройства. Если коротко, то архитектура исключает трансляцию конфиденциальной пользовательской информации во внешние сети, что решает одну из главных проблем безопасности при использовании смарт-гаджетов.

Принцип функционирования

Конструктивно устройство повторяет форм-фактор привычных наушников, дополненных компактной камерой, расположенной в районе ушной раковины. Когда пользователь направляет камеру на объект или текстовый фрагмент, нейросетевые алгоритмы анализируют изображение и генерируют обратную связь в формате аудиосигнала. Проще говоря, при фокусировке камеры на дорожном указателе или вывеске наушники транслируют озвученный перевод контента. Аналогичный механизм применяется для идентификации биологических видов — например, при наведении на растение система передает соответствующую справочную информацию.

Перспективы и разработка

Группа исследователей под руководством аспиранта Юхао Ву (Yuhao Wu) сосредоточилась на создании автономного вычислительного контура, не требующего связи с интернетом. Несмотря на то что проект находится на стадии прототипирования, разработчики рассматривают широкие возможности масштабирования технологии. Среди приоритетных областей применения значатся образовательные инструменты, адаптация для пользователей с нарушениями зрения и вспомогательные средства для путешествий.Финансирование работы обеспечили Национальный научный фонд США и вышеупомянутый Центр IoT и повседневных вычислений. Команда продолжает итеративную оптимизацию аппаратной и программной составляющих, стремясь повысить практическую применимость системы для повседневной эксплуатации.