Если Вы восхищаетесь реалистичностью движений виртуальных героев в компьютерных играх, мультфильмах или фильмах, это потому, что виртуальные герои имеют движения реальных людей. Индустрия развлечений уже десятки лет записывает движения реальных актеров и переносит их в движение виртуальных персонажей с технологией MotionCapture и нуждается в дорогом оборудовании. Но это изменилось: создано приложение, исполняемое MotionCapture, используя только обычный смартфон и искусственный интеллект.
Инженеры Северо-Западного университета разработали новую систему для захвата телодвижений, и для этого не нужны специальные помещения, дорогостоящее оборудование, громоздкие камеры или ряд датчиков. Для этого требуется простое мобильное устройство.
Новая система под названием MobilePoser использует датчики уже встроенные в потребительские мобильные устройства, включая смартфоны, умные часы и беспроводные наушники. Используя комбинацию данных датчиков, машинного обучения и физики MobilePoser точно отслеживает позу всего тела человека и глобальный переход в пространстве в режиме реального времени.
Команда Каран Ахуджа из Northwestern, руководившего исследованием, представила MobilePoser на симпозиуме по программному обеспечению и пользовательским интерфейсам в Питтсбурге.
Большинство киноманов знакомо с техникой захвата движения, которую часто можно увидеть в фильмах. Чтобы создать виртуальных CGI-персонажей, таких как Голлум в «Властелине колец» или Нави в «Аватаре», актеры одевают облегающие костюмы, покрытые датчиками, и бродят по специализированным комнатам. Компьютер фиксирует данные датчиков, затем отображает движения и тонкие выражения лица актера.
«Это золотой стандарт захвата движения, но запуск такой установки стоит более 100 000 долларов», — сказал Ахуджа. «Мы хотели разработать доступную, демократизированную версию, которой, в основном, может пользоваться кто-либо с оборудованием, которое у него уже есть».
Другие системы определения движения, например Microsoft Kinect, полагаются на стационарные камеры, наблюдающие телодвижения. Если человек находится в поле зрения камеры, эти системы работают хорошо. Но они непрактичны для мобильных.
Чтобы преодолеть эти ограничения, команда Ахуджа обратилась к инерционным измерительным единицам (IMU), системе, использующей комбинацию датчиков – акселерометров, гироскопов и магнитометров – для измерения движения и ориентации тела. Эти датчики уже есть в смартфонах и других устройствах, но их точность слишком низка для точных приложений захвата движения.
Чтобы повысить производительность, команда Ахуджа добавила специально созданный многоэтапный алгоритм искусственного интеллекта (ШИ), который они научили, используя общий набор данных синтезированных измерений IMU, созданных из высококачественных данных захвата движения.
С помощью данных датчика приложение MobilePoser получает информацию об ускорении и ориентации тела. Затем он передает данные искусственному интеллекту, который оценивает положение и вращение суставов, скорость и направление ходьбы, а также контакт между ногами пользователя и землей.
Наконец MobilePoser использует оптимизатор на основе физики, чтобы уточнить прогнозируемые движения, чтобы они соответствовали реальным телодвижениям. В реальной жизни, например, суставы не могут согнуты назад, а голова не может вращаться на 360 градусов. Оптимизатор физики гарантирует, что захваченные движения также не произойдут физически невозможными способами.
Полученная система имеет погрешность отслеживания всего от 8 до 10 сантиметров. Для сравнения, Microsoft Kinect имеет погрешность отслеживания от 4 до 5 сантиметров, если предположить, что пользователь остается в поле зрения камеры. С MobilePoser пользователь имеет свободу перемещения.
Точность лучше, когда человек носит более одного устройства, например умные часы на запястье и смартфон в кармане.
В то время как MobilePoser может предоставить геймерам больше увлекательных впечатлений, новое приложение также открывает новые возможности для здоровья и фитнеса. Это выходит за рамки простого подсчета шагов, чтобы позволить пользователю видеть свое положение всего тела, чтобы убедиться, что выполнение упражнений правильно. Новое приложение также поможет врачам анализировать подвижность, уровень активности и хода пациентов. Ахуджа также предполагает, что эту технологию можно использовать для навигации внутри помещений, что сейчас является недостатком GPS, работающим только на улице.
Чтобы поощрить других исследователей продолжать эту работу, команда Ахуджа выпустила свои предварительно подготовленные модели, сценарии предварительной обработки данных и обучающий код модели в рамках открытого кодоу. Ахуджа также говорит, что в скором времени приложение будет доступно для iPhone, AirPods и Apple Watch.
