Програма доступна в офіційному магазині застосунків VisionOS App Store. Будь-хто може використовувати проєкт, опублікований на Github, у власних експериментах.

Вчені Массачусетського технологічного інституту розробили застосунок для гарнітури змішаної реальності Apple Vision Pro, який дозволяє користувачам керувати роботами лише за допомогою жестів голови та рук. Про це повідомив розробник програми, докторант Янгхьо Парк у соціальній мережі X (колишній Twitter).

Застосунок під назвою Tracking Streamer можна використовувати для віддаленого керування машинами в різних сценаріях — від жартів до навігації в зоні лиха та для інших небезпечних маніпуляцій у рятувальних або наукових цілях. Програма відстежує рухи людини, — зокрема те, як рухаються голова, зап’ястя та пальці — і передає ці дані через з’єднання Wi-Fi до робота, який знаходиться у тій самій мережі. Під’єднаний робот перетворює дані у відповідні рухи.

«Ця програма тепер офіційно в VisionOS App Store! Ви можете знайти Tracking Streamer в App Store і встановити програму, — повідомляють розробники.

Дослідники оприлюднили свою роботу в короткій статті, опублікованій на Github — сховищі проєктів з відкритим кодом. Система відстежує 26 точок на руках та зап’ястях, а також окремі точки на голові. Програма дозволяє зчитувати просторові дані, висоту та інші параметри.

Want to use your new Apple Vision Pro to control your robot? Want to record how you navigate / manipulate the world to train a policy?

I developed an app for VisionOS that can stream your head / wrist / finger movements over WiFi, which you can subscribe on any machines using… pic.twitter.com/l5CbeINWWf

— Younghyo Park (@younghyo_park) March 9, 2024

Янгхьо Парк на відео демонструє систему в дії. Співавтор дослідження Гейб Марголіс, аспірант Массачусетського технологічного інституту, керує чотирилапим роботом за допомогою рук та рухів тіла. Марголіс жестами наказує роботу підійти до зачинених дверей, повернути ручку, взятися за неї та увійти. Також він жестом наказує роботу взяти пластикову кришку відра для сміття та кинути її у смітник. У якийсь момент він нахиляється, що змушує робота імітувати його рухи.

«Приємною особливістю Vision Pro є те, що вона відстежує все в глобальному кадрі: програма постійно локалізує пристрій, з якого запущено додаток. Це відкриває захопливі можливості для знімання людських рухів у більш масштабному середовищі», — зазначає Парк.

Apple випустила гарнітуру Vision Pro у лютому 2024 року. Сайт Live Sciense зазначає, що незадовго до запуску вчені опублікували роботу, у який досліджували, як гарнітури віртуальної реальності можна використовувати у повсякденному житті. зазвичай ці пристрої мають затримку, відсікають периферійний зір та викликають візуальні просторові спотворення.

«Ці пристрої можуть стати перспективним джерелом даних для навчання базової моделі робототехніки!» — підсумовує Парк

Парк та Марголіс припустили у своїй статті, що деякі користувачі можуть носити Apple Vision Pro весь час, як окуляри, і що тривала експлуатація дасть більше даних, які можна використовувати для навчання роботів, як люди рухаються.

Источник: focus.ua