Институт искусственного интеллекта Аллена (Ai2) представил результаты исследования в области робототехники, которые могут изменить привычный подход к обучению манипуляторов. Команда разработчиков выпустила модели, обученные исключительно в виртуальных средах, но способные корректно функционировать на физическом оборудовании без предварительной адаптации. В индустрии такой подход называют zero-shot sim-to-real — это перенос навыков из симуляции в реальный мир без использования «живых» данных или дополнительной настройки под конкретное устройство.
Инфраструктура MolmoSpaces и возможности MolmoBot
Технологический фундамент релиза составляют две открытые системы: MolmoSpaces и MolmoBot. Первая представляет собой масштабный массив синтетических данных, включающий более 230 тысяч интерьерных сцен и более 130 тысяч отобранных 3D-объектов. Особую ценность для инженеров представляют 42 миллиона аннотаций по захвату предметов, рассчитанных с учетом физических свойств материалов. Проще говоря, это гигантский цифровой полигон, где алгоритмы учатся взаимодействовать с миром, не рискуя повредить дорогостоящее «железо».
На базе этого массива была создана модель MolmoBot. На практике это значит, что робот под управлением данной системы может выполнять базовые бытовые задачи: подбирать и переставлять предметы, открывать выдвижные ящики и взаимодействовать с дверьми. Нюанс заключается в том, что нейросеть никогда не видела реальных демонстраций этих действий от человека и не обучалась на видеозаписях из настоящего мира.
Решение проблемы разрыва между симуляцией и реальностью
Традиционно обучение роботов требует месяцев кропотливой работы, когда операторы вручную управляют манипуляторами, чтобы собрать необходимые датасеты. Директор команды PRIOR в Ai2 Ранджай Кришна поясняет, что проблему несоответствия симуляции реальным условиям удалось решить за счет экстремального разнообразия. Когда количество виртуальных сред, вариаций объектов и условий освещения переходит определенный порог, ИИ перестает замечать разницу между цифровым кодом и физической лабораторией.
Если коротко, проект Ai2 доказывает, что масштабируемость синтетических данных способна компенсировать нехватку реального опыта. Все наработки, включая архитектуры моделей и техническую документацию с подробным описанием экспериментов, опубликованы в открытом доступе для сообщества разработчиков.