Для деяких солдатів бойові дії не завершуються навіть тоді, коли вони вже вдома. Подібний розлад називається посттравматичним синдромом, і він заважає ветеранам вести нормальне щоденне життя. Лікування солдата з таким захворюванням складне та тривале, і чим раніше його діагностують, тим кращі результати можна отримати. Сучасні технології на основі ігрового контролера Kinect допоможуть лікарям визначати посттравматичний синдром швидше.
За даними Департаменту ветеранів США, посттравматичний синдром отримали від 11% до 20% солдат, які брали участь у конфліктах в Афганістані та Іраку. Щоб вони змогли ефективніше проходити реабілітацію, агентство передових технологій DARPA фінансувало створення електронної системи SimSensei, котра самостійно визначає наявність розладу у військового під час діалогу з ним.
Основою нового рішення є спостереження не лише за тим, що каже ветеран, а й за його невербальним спілкуванням – виразом обличчя, осанкою, жестами тощо. Вони можуть показати наявність стресу, роздратування та депресії – типових ознак посттравматичного синдрому. Це дозволяє точно поставити діагноз, навіть якщо на словах пацієнт каже, що з ним усе добре.
Центром SimSensei став ігровий контролер Kinect, сенсори якого дозволяють електронній системі стежити за рухами солдата. Коли в процесі розмови віртуальний помічник на ім’я Еллі запитує щось у військового, датчики відстежують невербальну комунікацію останнього.
Інтерв’ю SimSensei проводить у невеликій закритій кімнаті віч-на-віч із солдатом, який бачить Еллі на моніторі перед собою. Сенсори Kinect та інші датчики при цьому розміщені по всій кімнаті для максимального охоплення. Під час розмови Еллі задає питання тихим спокійним голосом, і інтерв’ю починається із того, що комп’ютер запитує у солдата, звідки він. Потім машина ставить питання, коли ветеран востаннє почувався щасливим.
Система ретельно стежить за відповідями та рухами пацієнта, щоб визначити наявність роздратування, стресу та афекту – ознак посттравматичного синдрому. Якщо Еллі помічає їх, тоді вона ставить допоміжні питання, щоб дізнатися, чи потрібно солдату звернутися до терапевта.
Діагностичні алгоритми SimSensei походять від проекту MultiSense, який розробляли в Інституті креативної технології при Університеті Південної Каліфорнії. Його керівником був дослідник Луї-Філіп Моренсі (Louis-Philippe Morency), який хотів навчити комп’ютери розпізнавати невербальну поведінку людей. Над цією розробкою він працював два роки разом із психологом Альбертом Різзо (Albert Rizzo). Дослідники кажуть, що SimSensei є цінним інструментом для військових, оскільки армія має мало спеціалістів для такої роботи.
Один із головних програмістів SimSensei Джота Страту (Giota Stratou) розповів про роль Kinect у цій системі. «Ми використали оригінальний Kinect та інструменти розробника SDK 1.6 та 1.7 для відстеження обертання кінцівок та тулубу. З цією інформацією ми створили основу для визначення невербальної поведінки, – каже він. – Ми внесли в наш аналіз особливості, які фокусуються на русі голови, положенні рук. Ми також дослідили загальне значення цих параметрів, інтегрувавши їх у наші моделі передбачення».
Хоча поточна версія SimSensei використовує оригінальний сенсор Kinect, розробники планують використати сучасні Kinect для Xbox One та програмний інструмент Kinect for Windows SDK 2.0 у наступному поколінні своєї системи. Це поліпшить здатність системи до відстеження рухів.
Робота над другою версією SimSensei вже у розпалі, а перша зараз проходить тестові випробування. Система вже проаналізувала невелику групу солдатів і показала позитивні результати. Це відкриває їй шлях до широкого застосування для лікування військових та звичайних людей.
За матеріалами: Microsoft Daily
