Уже не обов’язково бачити реальність навколо – її можна в прямому ефірі редагувати. Можливість такого показав додаток TransforMR, розроблений фахівцями Porsche.
Система штучного інтелекту TransforMR в реальному часі виявляє автомобілі та людей в об’єктиві камери, видаляє їх, а потім замінює їх комп’ютерними моделями CGI в режимі реального часу.
Для такої роботи потрібна велика обчислювальна потужність, тому результати роботи прототипу не ідеальні. Виправлення часто є випадковими, а моделі CGI виглядають так, ніби вони запозичені з 3D Movie Maker.
Команда авторів TransforMR каже, що хоча окремі елементи їх роботи були виконані раніше, уся система як єдине ціле є новою.
TansforMR може працювати на звичайних смартфонах і планшетах, але для відправки даних в хмару потрібне підключення 4G. Зображення обробляються таким чином, щоб об’єкти не просто закривалися, як в додатках Snapchat Ar або Memoji від Apple, а повністю редагувалися. Об’єкти виявляються, сегментуються, потім зафарбовуються фоном, який створив штучний інтелект. Після цього на місце оригіналу розміщується модель CGI.
Модель TransforMR потребує значного поліпшення. Частота кадрів складає всього 15 кадрів в секунду при низькій якості зображення. Затримка редагування становить від 50 до 100 мілісекунд. Але команда розробників каже, що ці аспекти відносно легко поліпшити.
“Основне обмеження полягає в тому, що великі зображення вимагають дуже великих обчислювальних ресурсів, – сказав Мохаммед Карі, дослідник технологій машинного навчання в Porsche. – Отже, для малювання ми оперуємо дуже маленькими зображеннями, працюючи з зображеннями 512 x 512”.
Одним з ключових елементів системи, каже Карі, є використання розпізнавання поз. Це означає, що, коли система виявляє людину, вона ідентифікує 18 окремих суглобів в тілі. Тому заміна CGI може бути прив’язана до руху цілі в реальному часі. Інші системи доповненої реальності часто просто ідентифікують об’єкти.
Неважко уявити, що TransforMR є ідеальним для інтеграції в окуляри доповненої реальності. Користувачі могли вибрати тему оформлення для свого дня, замінюючи звичайні об’єкти іншими.
Карі зазначає, що це можливо, але вимагатиме величезних апаратних витрат. Сучасні окуляри доповненої реальності не здатні на таке. Поточні технології не дозволяють реалізувати можливості TransforMR в окулярах.
Створену технологію у Porsche планується використовувати для розваг пасажирів та водіїв, коли вони стоять в заторі, каже керівник напрямку штучного інтелекту компанії Тобіас Гроссе-Пуппендаль.
