Koncepcja badania symulacji wrażenia dotyku wirtualnych obiektów z wykorzystaniem techniki VR

Autor: mgr inż. Dariusz KALWASIŃSKI, Centralny Instytut Ochrony Pracy – Państwowy Instytut Badawczy
Źródło: Mechanik, 2015, Tom R. 88, nr 7CD, s. 395--402

Streszczenie: W artykule przedstawiono koncepcję przeprowadzenia badań eksperymentalnych w aspekcie symulowania wrażenia dotyku związanego z manipulowaniem rzeczywistymi i wirtualnymi elementami sterowniczymi. Badania te pozwolą na określenie, które czynności związane z użytkowaniem maszyn do obróbki metalu można prowadzić z wykorzystaniem uproszczonego sposobu symulowania wrażenia dotyku (za pomocą wirtualnych elementów sterowniczych), a które z wykorzystaniem rzeczywistych elementów. W opracowanej koncepcji zawarto również wytyczne odnośnie do budowanego stanowiska badawczego obejmującego rękawicę z siłowym sprzężeniem zwrotnym oraz symulator wyposażony w fizyczne modele rzeczywistych elementów sterowniczych. Badania przeprowadzone zostaną z wykorzystaniem techniki VR.

Słowa kluczowe: symulator, wrażenie dotyku, rzeczywistość wirtualna (VR)

1. WPROWADZENIE

Od momentu wynalezienia komputera człowiek szuka nowych możliwości komunikacji z komputerem. Najczęściej komunikacja prowadzona jest poprzez zastosowanie klawiatury, myszki, z biegiem czasu dodawano inne osprzęty zewnętrzne, tj.: joysticki, pady, manipulatory, kierownice, pedały itp. Rozwój techniki pozwolił na rozbudowę tych produktów (w szczególności osprzętu zewnętrznego) i wyposażania ich w zaawansowane siłowe sprężenia zwrotne lub w silniki wibracyjne. Wyposażenie to pozwoliło na realistyczne odczuwanie przez użytkownika efektów specjalnych podczas prowadzonych symulacji w środowisku komputerowym, np.: użytkownik odczuwa drgania i opory podczas prowadzonej symulacji jazdy pojazdami kołowymi, statkami powietrznymi, czy też innymi pojazdami itp.

Dalszy rozwój techniki komputerowej pozwolił na pełne zanurzenie człowieka w środowisku wirtualnym i na osobiste uczestniczenie w prowadzonych symulacjach. Zanurzenie człowieka w środowisku wirtualnym [1, 2] jest możliwe poprzez zastosowanie odpowiedniego oprzyrządowania VR (infohełm, inforękawice i system śledzenia). Infohełm i inforękawice stanowią tandem, dzięki któremu możliwy jest czynny współudział zmysłu wzroku i dotyku użytkownika w stereoskopowym obserwowaniu obrazu z wirtualnego środowiska oraz poruszaniu obiektów w tym środowisku. Aby urządzenia te prawidłowo funkcjonowały, należy je ze sobą sprzęgnąć za pomocą systemu śledzenia. System śledzenia za pomocą czujników ruchu umieszczonych na ciele użytkownika przekształca ruch wykonywany w świecie realnym na ruch w środowisku wirtualnym. Dość często te rozwiązania można spotkać w różnego rodzaju symulatorach. Symulatory umożliwiają zanurzenie użytkownika w środowisku wirtualnym. Dzięki temu użytkownik może osobiście uczestniczyć w symulacji procesu pracy poprzez użytkowanie wirtualnych maszyn (tokarki [3], frezarki [4], suwnicy [5, 6], spawarki [7], automatu malarskiego [8]), czy też obsługi wirtualnych pojazdów (kołowych [9], wózków jezdniowych [10], budowlanych i innych). Wykorzystanie symulatorów nie zastąpi tradycyjnych szkoleń na rzeczywistych maszynach lub urządzeniach, a jedynie podniesie ich atrakcyjność oraz umożliwi skrócenie czasu procesu szkoleniowego.

Ważnym elementem w prowadzeniu szkoleń z wykorzystaniem technik rzeczywistości wirtualnej, w tym wykorzystania symulatorów, obok szczegółowego odwzorowania rzeczywistego środowiska jest przede wszystkim uzyskanie jak najbardziej realistycznych doznań odczuwanych przez użytkownika.

Zastosowanie odpowiedniego infohełmu umożliwiającego stereoskopowe wyświetlanie obrazu pozwala użytkownikowi na odczuwanie środowiska wirtualnego w sposób bardzo intuicyjny i realistyczny [5]. Potwierdziły to również badania przeprowadzone z użyciem symulatora suwnicy wyposażonego w infohełm (wyświetlający obraz stereoskopowy), gdzie 72,7% uczestników badania stwierdziło, że wydarzenia zainicjowane w środowisku wirtualnym są bardzo realistyczne [6].

Natomiast zastosowanie w symulacji inforękawicy umożliwia interakcję użytkownika z wirtualnym środowiskiem oraz pośredniczenie w komunikacji pomiędzy nim a wirtualnym środowiskiem [11-13] i na odwrót. Jednym z takich urządzeń są inforękawice (Cybergloves II [14] – rys. 1).

Rys. 1. Widok rękawicy CyberGlove II

Urządzenia te służą do rejestrowania ruchów palców, dzięki czemu możliwe jest odtworzenie w środowisku wirtualnym ruchów palców dłoni wykonywanych w świecie realnym. Pomiar ruchu odbywa się za pomocą sensorów zgięcia zamocowanych wzdłuż palców. Sensory te wykonane są z materiału, którego oporność silnie zmienia się w zależności od stopnia wygięcia. Bardziej zaawansowane modele rękawic, oprócz rejestrowania ruchu palców dłoni, pozwalają na symulowanie wrażenia dotyku. Przykładem takiego rozwiązania jest rękawica wyposażona w wibracyjne sprzężenie zwrotne [15-17] – w chwili, gdy awatar dłoni koliduje z wirtualnym obiektem, uruchamiają się odpowiednie wibratory umieszczone na palcach. Drugim rozwiązaniem jest rękawica z siłowym sprzężeniem zwrotnym. W momencie, gdy użytkownik dotyka wirtualnego obiektu, ruch cięgien jest zatrzymywany, co uniemożliwia zginanie palców i daje wrażenie dotykania lub trzymania rzeczywistego przedmiotu (np. rękawice CyberGrasp [14] – rys. 2, DexmoF2 [18]). Podobne działania mają rękawice HIRO III [19] i Rutgers Master II-ND glove [20] umożliwiające odczuwanie przez dotyk widzianych na ekranie wirtualnych obiektów.

Rys. 2. Widok rękawic ze sprężeniem zwrotnym (CyberGrasp)

W literaturze można znaleźć dużo informacji na temat interfejsów dotykowych oraz różnych form ww. rękawic dających możliwość symulowania wrażenia dotyku podczas dotykania wirtualnych obiektów. Tego typu rękawice coraz częściej wykorzystywane są w szkoleniu kierowców samochodowych, np.: w zwiększaniu umiejętności operowania kierownicą podczas użytkowania wirtualnych symulatorów jazdy [21], sportowców np. do szkolenia wioślarzy, w aspekcie optymalnej synchronizacji ruchów części ciała (nóg, rąk i tułowia) [22] oraz rehabilitacji kończyn górnych [23, 24].

W artykule przedstawiono koncepcję przeprowadzenia badań eksperymentalnych mających na celu określenie, które czynności związane z użytkowaniem maszyn do obróbki metalu można prowadzić z wykorzystaniem uproszczonego sposobu symulowania wrażenia dotyku (za pomocą wirtualnych elementów sterowniczych), a które z wykorzystaniem elementów rzeczywistych.

2. PYTANIA BADAWCZE

W artykule przedstawiono koncepcję przeprowadzenia badań eksperymentalnych w aspekcie symulowania wrażenia dotyku związanego z manipulowaniem rzeczywistymi i wirtualnymi elementami sterowniczymi. Wyniki z przeprowadzonych badań umożliwią uzyskanie odpowiedzi na następujące pytania:

•   które czynności sterownicze związane z symulacją procesu użytkowania maszyn do obróbki metalu można prowadzić z wykorzystaniem uproszczonej metody symulowania wrażenia dotyku (rękawicy z siłowym sprzężeniem zwrotnym), a które za pomocą symulatora z rzeczywistymi elementami sterowniczymi,

•   który ze sposobów symulowania wrażenia dotyku umożliwia zachowanie wyższej precyzji manipulowania elementami sterowniczymi, w stosunku do zwykłych inforękawic,

•   czy wykorzystanie symulatora z rzeczywistymi elementami sterowniczymi umożliwia uzyskanie większego realizmu symulacji procesu sterowania maszyną niż zastosowanie rękawic z siłowym sprzężeniem zwrotnym.

3. STANOWISKO BADAWCZE

Badania przeprowadzone zostaną na specjalnie wykonanym do tego celu stanowisku badawczym. Stanowisko to będzie się składało z symulatora wybranych elementów sterowniczych oraz z wykonanej rękawicy z siłowym sprzężeniem zwrotnym. Ponadto stanowisko to zostanie wyposażone w oprzyrządowanie VR w postaci zwykłych inforękawic, infohełmu i systemu śledzenia ruchów użytkownika. Wszystkie ww. urządzenia zostaną oprogramowane, pozwoli to na ich właściwe funkcjonowanie oraz wzajemne współdziałanie ze sobą i z wirtualnym środowiskiem. Oprogramowanie obejmie również algorytm dotyczący interakcji użytkownika ze środowiskiem wirtualnym, co umożliwi użytkownikowi wpływanie na przebieg symulacji. Schemat funkcjonowania i wzajemnych powiązań pomiędzy urządzeniami budowanego stanowiska przedstawiono na rysunku 3. Symulowanie wrażenia dotyku na stanowisku badawczym będzie realizowane za pomocą rzeczywistego pulpitu sterowniczego i zwykłej inforękawicy (linia niebieska na rysunku 3). Natomiast odczuwanie dotykania wirtualnych elementów sterowniczych będzie możliwe za pomocą rękawicy z siłowym sprężeniem zwrotnym (linia czerwona na rysunku 3).

Rys. 3. Schemat funkcjonowania urządzeń składowych stanowiska badawczego

Symulator wybranych elementów sterowniczych zostanie wykonany w technice rzeczywistości wirtualnej (VR) i będzie się składał z rzeczywistego i wirtualnego pulpitu sterowniczego. Symulator będzie się składał z fizycznych modeli wybranych elementów sterowniczych umieszczonych na pulpicie sterowniczym. Do tych elementów sterowniczych można zaliczyć: koła pełne lub wieloramienne z rękojeścią (stałą lub obrotową) zamocowaną na obrzeżu, pokrętła jedno- i czteroramienne, dźwignie zaciskowe lub przełączające jedno-/ czteroramienne, przyciski i przełączniki dwu- lub wielopołożeniowe. Założono, że rzeczywistym pulpitem sterowniczym będzie maszyna wyposażona w fizyczne modele wyżej wymienionych elementów sterowniczych. Pulpit ten zostanie odwzorowany w środowisku wirtualnym w postaci wirtualnego pulpitu sterowniczego. Elementy sterownicze (rzeczywiste i wirtualne) zastosowane w symulatorze umożliwią prowadzenie symulacji typowych operacji (zadań sterowniczych) związanych z użytkowaniem maszyn (tj.: ustawianie parametrów pracy maszyny lub położenia stołu, załączanie/wyłączanie maszyny, przemieszczanie stołu lub samej głowicy narzędziowej, załączanie/wyłączanie procesu skrawania itp.).

Rękawica (rys. 4) zostanie wyposażona w system sprzężenia zwrotnego, który odpowiedzialny będzie za zarządzanie funkcjonowaniem mechanizmu (poruszania) cięgien połączonych z palcami rękawicy. W momencie gdy użytkownik dotknie lub obejmuje dłonią wirtualny obiekt, ruch cięgien zostanie zablokowany, co uniemożliwi dalsze zginanie palców. Pozwoli to użytkownikowi na odczuwanie wrażenia, że dotyka lub trzyma w dłoni rzeczywisty obiekt.

Rys. 4. Wstępna koncepcja rękawicy z siłowym sprzężeniem zwrotnym do zastosowania w projektowanym stanowisku badawczym

Wykonane stanowisko badawcze pozwoli na symulację procesu użytkowania maszyny do obróbki metalu z wykorzystaniem uproszczonej metody symulowania wrażenia dotyku (dzięki zastosowaniu rękawicy z siłowym sprzężeniem zwrotnym i wirtualnego pulpitu sterowniczego) oraz tradycyjnej symulacji z wykorzystaniem rzeczywistego pulpitu sterowniczego i zwykłej rękawicy.

4. KONCEPCJA PRZEPROWADZENIA BADAŃ

Koncepcję przeprowadzenia badań na stanowisku badawczym oparto na metodzie „User Testing” [25]. Metoda ta polega na wykonaniu serii badań z udziałem ochotników, którzy nie są ekspertami w dziedzinie rzeczywistości wirtualnej. W badaniach udział weźmie grupa 30 ochotników, w wieku 20-25 lat. Ochotnicy zostaną podzieleni na trzy grupy. Zadaniem każdego z ochotników podczas badania będzie wykonanie symulowanych czynności ustawczych lub obróbczych podczas użytkowania maszyny do obróbki metalu. W badaniach uczestnicy będą użytkować symulator wyposażony w:

• wirtualny pulpit za pomocą rękawicy z siłowym sprężeniem zwrotnym lub
• rzeczywisty pulpit sterowniczy za pomocą zwykłej inforękawicy.

Wyniki badań zostaną porównane z wynikami uzyskanymi przez grupę kontrolną, która będzie wykonywała te same czynności przy użyciu wirtualnego pulpitu sterowniczego, lecz bez użycia oprzyrządowania symulującego wrażenie dotyku i zwykłych inforękawic. Podczas symulacji mierzone będą wielkości pozwalające na obiektywne porównanie tych sposobów symulowania wrażenia dotyku, takie jak czas i precyzja wykonania zadania oraz liczba popełnionych błędów. Ogólny schemat postępowania przy prowadzeniu badania przedstawiono na rysunku 5

Rys. 5. Schemat postępowania przy prowadzeniu badań

linia niebieska – wyniki z przeprowadzonych testów przed rozpoczęciem badania,

linia czerwona – wyniki z testów i z kwestionariuszy wypełnionych po badaniu

linia zielona – wyniki z symulacji prowadzonej podczas badania

Następnie przeprowadzone zostaną testy psychologiczne (wg E. Grandjeana), które pozwolą na zmierzenie poziomu koncentracji i zmęczenia osób biorących udział w badaniu przed i po jego zakończeniu (niebieska i czerwona linia – rys. 5). Uczestnicy badań wypełnią również kwestionariusz sprawdzający funkcjonalność wykonanej rękawicy oraz symulatora (czerwona linia – rys. 5), m.in. w zakresie realizmu symulacji, interfejsu sterowania itp. Na podstawie analizy danych z badań oraz przeprowadzonej symulacji (zielona linia – rys. 5) opracowane zostaną wyniki z badań. Wyniki te zostaną poddane analizie statystycznej z wykorzystaniem jednej z metod: testu t-Studenta, analizy wariancji (ANOVA) lub testów Kruskala–Wallisa.

5. PODSUMOWANIE

Na podstawie tak opracowanej koncepcji zostanie opracowane stanowisko badawcze. Następnie przeprowadzone zostaną badania eksperymentalne, których wyniki pozwolą uzyskać odpowiedzi na postawione pytania w zakresie symulowania wrażenia dotyku. Ponadto wyniki przeprowadzonych badań będą podstawą do opracowania wytycznych dla projektantów wirtualnych aplikacji szkoleniowych i osób prowadzących szkolenia z wykorzystaniem technik rzeczywistości wirtualnej w aspekcie doboru odpowiedniego sposobu symulacji wrażenia dotyku do rodzaju użytkowanej lub tworzonej aplikacji, tak aby możliwe było uzyskanie jak najwyższej precyzji manipulowania elementami sterowniczymi i realizmu symulacji procesu sterowania.

LITERATURA

[1]    Grabowski A.: Wykorzystanie współczesnych technik rzeczywistości wirtualnej i rozszerzonej do szkolenia pracowników (Virtual and augmented reality contemporary techniques in training workers), Bezpieczeństwo Pracy, nr 4/2012, s. 18-21.

[2]    Kalwasiński D.: Opracowanie komputerowego narzędzia do interaktywnego odwzorowania zdarzeń wypadkowych podczas użytkowania suwnic (Development of computer tool for interactive simulation of accident situations occurring during overhead crane operation), Mechanik, nr 7/2012, s. 317-324 [CD].

[3]    Kalwasiński D., Myrcha K.: Środowisko wirtualne dla potrzeb interaktywnej symulacji obsługi tokarki (Virtual environment for interactive simulation of lathe operation), Mechanik, nr 7/2010, s. 187-194 [CD].

[4]    Fuhua Lin, Lan Ye, Vincent G. Duffy, Chuan-Jun Su: Developing virtual environments for industrial training, Elsevier Information Sciences, No. 140, 2002, pp. 153-170.

[5]    Juang J.R., Hung W.H., Kang S.C.: SimCrane 3D: A crane simulator with kinesthetic and stereoscopic vision, Advanced Engineering Informatics, 27, 2013, pp. 506-518.

[6]    Kalwasiński D.: Praktyczny test symulatora suwnicy w aspekcie symulacji wrażenia dotyku, Mechanik, nr 7/2014, s. 285-294 [CD], http://www.mechanik.media.pl/archiwum.html

[7]    Chambers T.L., Aglawe A., Reiners D., White S., Borst Ch.W., Abhishek Bajpayee: Real-time simulation for a virtual reality-based MIG welding training system, Virtual Reality, 2012, Vol. 16, Issue 1, pp. 45-55.

[8]    Virtual Reality Goes to School, New York Times (2012), http://www.nytimes.com/2012/05/20/automobiles/virtual-reality-goes-to-school.html?_r=1,

[9]    Jian Zhou, Xiangming Shen, Dong Liu: Modeling and Simulation for Electric Vehicle Powertrain Controls, ITEC Asia – Pacific 2014, pp. 1-4.

[10]   Dźwiarek M., Saulewicz A., Kalwasiński D.: Investigation of Appropriateness of the VE for Training Purposes Using Fork-Lift VR Simulator, Proceedings of HCI International 2007, © Springer 2007, pp. 815-819, 22-27 July 2007, Beijing China.

[11]   Hayward V., Astley O.R., Cruz-Hernandez M., Grant D. and Robles-De-La-Torre G.: Haptic interfaces and Devices, Sensor Review, Vol. 24, No. 1, 2004, pp. 16-29.

[12]   Lécuyer A., Burkhardt J.-M., Le Biller J., Congedo M.: A Technique to Improve Perception of Contacts with Under-Actuated Haptic Devices in Virtual Reality, Proceedings of the First Joint Eurohaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, 2005, pp. 316-322.

[13]   Barkley J. J.: Haptic Devices, 2003, pp. 1-4.

[14]   Zhou Z., Wan H., Gao S. & Peng Q.: A Realistic Force Rendering Algorithm for CyberGrasp, Computer Aided Design and Computer Graphics, 2005. Ninth International Conference, IEEE, pp.6, ISBN: 0-7695-2473-7.

[15]   Lindeman R.W., Templeman J.N., Sibert J.L. and Cutler J.R.: Handling of Virtual Contact in Immersive Virtual Environments: Beyond Visuals, VIRTUAL REALITY, Vol. 6, No. 3, 2002, pp. 130-139.

[16]   Galambos P.: Vibrotactile Feedback for Haptics and Telemanipulation, Acta Polytechnica Hungarica, Vol. 9, No. 1, 2012, pp. 42-65.

[17]   Visell Y.: Tactile sensory substitution: Models for enaction in HCI, Interacting with Computers 21, 2009, pp. 38-53, doi:10.1016/j.intcom.2008.08.004.

[18]   Coxworth B.: Dexmo exoskeleton-for-the-hand gives computer interfacing the finger(s), 24 October 2014, http://www.gizmag.com/dexta-robotics-dexmo-hand-exoskeleton/34410/, http://dextarobotics.com/products/Dexmo .

[19]   Endo T., Kawasaki H.: Force Perception of Human Finger Using a Multi-Fingered Haptic Interface, Chapter 16 in book R. Balasubramanian and V. J. Santos (eds.), The Human as an Inspiration for Robot Hand Development, Springer tracts in Advenced Robotics 95. Springer International Publishing 2014, pp. 345-361, DOI 10.1007/978-3-319-03017-3_16.

[20]   Bouzit M., Popescu G., Burdea G. and Boian R.: The Rutgers Master II-ND Force Feedback Glove, in proc. 10th Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, 2002, HAPTICS 2002, pp. 145-152.

[21]   Masakazu Hirokawa, Naohisa Uesugi, Satoru Furugori, Tomoko Kitagawa, and Kenji Suzuki: Effect of Haptic Assistance on Learning Vehicle Reverse Parking Skills, IEEE TRANSACTIONS ON HAPTICS, Vol. 7, No. 3, July-September 2014,  pp. 334-344.

[22]   Ruffaldi E., Filippeschi A., Frisoli A., Sandoval O., Avizzano C.A., Bergamasco M.: Vibrotactile perception assessment for a rowing training system, in proc. EuroHaptics conference, 2009 and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, World Haptics 2009, pp. 350-355.

[23]   Karlin Bark, Preeya Khanna, Rikki Irwin, Pulkit Kapur, Steven A. Jax, Laurel J. Buxbaum and Katherine J. Kuchenbecker: Lessons in Using Vibrotactile Feedback to Guide Fast Arm Motions, in proc. IEEE World Haptics Conference (WHC), 2011,  pp. 355-360.

[24]   Budziszewski P.: A Low Cost Virtual Reality System for Rehabilitation of Upper Limb, R. Shumaker (Ed.): VAMR/HCII 2013, Part II, LNCS 8022, 2013, pp. 32-39.

[25]   Bach C., Scapin D.: Comparing Inspections and User Testing for the Evaluation of Virtual Environments, Intl. Journal of Human–Computer Interaction, 26(8), 2010,  pp. 786-824.

 Publikacja opracowana na podstawie wyników III etapu programu wieloletniego pn. „Poprawa bezpieczeństwa i warunków pracy” w latach 2014-2016 dofinansowywanego w zakresie badań naukowych i prac rozwojowych ze środków Ministerstwa Nauki i Szkolnictwa Wyższego. Koordynator programu: Centralny Instytut Ochrony Pracy – Państwowy Instytut Badawczy.