Якщо Вас захоплює реалістичність рухів віртуальних героїв у комп’ютерних іграх, мультфільмах чи фільмах, це тому, що віртуальні герої мають рухи реальних людей. Індустрія розваг уже десятки років записує рухи реальних акторів та переносить їх у рух віртуальних персонажів з технологією MotionCapture і вона потребує дорогого обладнання. Але це змінилося: створено додаток, який виконує MotionCapture, використовуючи лише звичайний смартфон і штучний інтелект.
Інженери Північно-Західного університету розробили нову систему для захоплення рухів всього тіла, і для цього не потрібні спеціальні приміщення, дороге обладнання, громіздкі камери чи низка датчиків. Натомість для цього потрібен простий мобільний пристрій.
Нова система під назвою MobilePoser використовує датчики, уже вбудовані в споживчі мобільні пристрої, включаючи смартфони, розумні годинники та бездротові навушники. Використовуючи комбінацію даних датчиків, машинного навчання та фізики, MobilePoser точно відстежує позу всього тіла людини та глобальний перехід у просторі в режимі реального часу.
Команда Каран Ахуджа з Northwestern, який керував дослідженням, представила MobilePoser на симпозіумі із програмного забезпечення та технологій інтерфейсу користувача в Піттсбурзі.
Більшість кіноманів знайомі з технікою захоплення руху, яку часто можна побачити в фільмах. Щоб створити віртуальних CGI-персонажів — як-от Голлума у «Володарі перснів» чи На’ві в «Аватарі» — актори одягають облягаючі костюми, покриті датчиками, та блукають по спеціалізованих кімнатах. Комп’ютер фіксує дані датчиків, а потім відображає рухи та тонкі вирази обличчя актора.
«Це золотий стандарт захоплення руху, але запуск такої установки коштує понад 100 000 доларів», — сказав Ахуджа. «Ми хотіли розробити доступну, демократизовану версію, якою, в основному, може користуватися будь-хто з обладнанням, яке у нього вже є».
Інші системи визначення руху, наприклад Microsoft Kinect, покладаються на стаціонарні камери, які спостерігають рухи тіла. Якщо людина знаходиться в полі зору камери, ці системи працюють добре. Але вони непрактичні для мобільних.
Щоб подолати ці обмеження, команда Ахуджа звернулася до інерційних вимірювальних одиниць (IMU), системи, яка використовує комбінацію датчиків – акселерометрів, гіроскопів і магнітометрів – для вимірювання руху та орієнтації тіла. Ці датчики вже є в смартфонах та інших пристроях, але їх точність надто низька для точних додатків захоплення руху.
Щоб підвищити продуктивність, команда Ахуджа додала спеціально створений багатоетапний алгоритм штучного інтелекту (ШІ), який вони навчили, використовуючи загальнодоступний великий набір даних синтезованих вимірювань IMU, створених із високоякісних даних захоплення руху.
За допомогою даних датчика додаток MobilePoser отримує інформацію про прискорення та орієнтацію тіла. Потім він передає ці дані штучному інтелекту, який оцінює положення та обертання суглобів, швидкість і напрямок ходьби, а також контакт між ногами користувача та землею.
Нарешті, MobilePoser використовує оптимізатор на основі фізики, щоб уточнити прогнозовані рухи, щоб вони відповідали реальним рухам тіла. У реальному житті, наприклад, суглоби не можуть зігнутися назад, а голова не може обертатися на 360 градусів. Оптимізатор фізики гарантує, що захоплені рухи також не відбудуться фізично неможливими способами.
Отримана система має похибку відстеження лише від 8 до 10 сантиметрів. Для порівняння, Microsoft Kinect має похибку відстеження від 4 до 5 сантиметрів, якщо припустити, що користувач залишається в полі зору камери. З MobilePoser користувач має свободу переміщення.
Точність краща, коли людина носить більше ніж один пристрій, наприклад розумний годинник на зап’ясті та смартфон у кишені.
У той час як MobilePoser може надати геймерам більше захоплюючих вражень, новий додаток також відкриває нові можливості для здоров’я та фітнесу. Це виходить за рамки простого підрахунку кроків, щоб дозволити користувачеві бачити своє положення всього тіла, щоб переконатися, що виконання вправ правильне. Новий додаток також може допомогти лікарям аналізувати рухливість, рівень активності та ходу пацієнтів. Ахуджа також припускає, що цю технологію можна використовувати для навігації всередині приміщень, що зараз є недоліком GPS, який працює лише на вулиці.
Щоб заохотити інших дослідників продовжувати цю роботу, команда Ахуджа випустила свої попередньо підготовлені моделі, сценарії попередньої обробки даних і навчальний код моделі в рамках відкритого кодоу. Ахуджа також каже, що незабаром програма буде доступна для iPhone, AirPods і Apple Watch.
