Home

Ein Framework für physikbasierte 3D Interaktion mit großen Displays

Contents

1. a o u ur I w ol B a e a y I a i a d a a S a a s ii a gt a S a kel kel a I a I 9 a I s S kel S S y u kel I a kel a s un s kel kel m a a kel w a s S a Se q kel o I kel y a I l S c B w ye kel S a gt w w a a Dis S F kel kel i a a x kel I kel S S a a q q ee mM a S a q q f a a a a m st a cO N gt o e 2 eS N Se a DH g b ss s S C ANHANG B ERGEBNISSE 123 Diagramme des virtuellen Cockpitsversuchs 1 1 Bitte geben Sie Ihr Alter an 0 454 692 0 15 4 0 n 13 mw 3 2 s 0 86 E 0 Lk ks D MO MO CH CH CH CH Kr og T CH CH CO CH 1 3 Sind Sie zur Zeit WiSe 2013 2014 eingeschriebener Student einer Hochschule 100 0210 n 13 mw 1 0 s 0 E lt kr a z 1 3 b Welchem Studienrichtung geh ren Sie an 69 2 15 4 15 4 n 13 mw 1 5 s 0 75 E 0 Informatik Ang Informatik Tech Informatik 1 4 Tragen Sie eine Brille 30 3 69 2 Ja Nein 1 2 Bitte geben Sie Ihr Geschlecht an 92 3 77 0 n 13 mw 1 1 s 0 27 E 0 M nnlich Weiblich
2. KAPITEL 4 DESIGN 43 Nun stehen beide Varianten zur Verf gung Der ART Tracker der grunds tzlich in jedem Datenpaket mitteilt ob die Hand geschlossen oder ge ffnet ist und wiederum die Kinect die dieses nur jeweils einmal pro nderung mitteilt Es wird sich f r eine sp tere Umsetzung entschieden die Variante des ART Trackers als Standard zu w hlen ist Somit muss die Rea lisierung der Anbindung der Kinect daf r Sorge tragen dass etwaige Zustands nderungen bemerkt und kontinuierlich bis zu einer nderung der Handgeste ausgegeben werden 4 2 2 Physikalische Auspr gung der Artefakte Ausmodellierte Artefakte Abbildung 4 3 zeigt den f r die Physik Engine ben tigten Aufbau eines Joysticks Einzelne Gesten wie nach vorne hinten links oder rechts Dr cken werden mittels Kollisionserken nung der entsprechenden farblichen Fl chen mit den eingef rbten Kugeln ermittelt Dieses Verfahren wurde in dem ersten Test 2 7 benutzt Dieses Verfahren ben tigt eine kontinuier liche Kollisionserkennung durch zugrunde liegende Simulation Dieses Verfahren ist bildlich sehr gut darstellbar erlaubt aber keine M glichkeit der Konfiguration ohne jeweiligen Umbau des Physikmodells Abstrakte Artefakte Eine weitere M glichkeit die Artefakte physikalisch auszumodellieren ist sich auf das N tigste zu beschr nken Abbildung 4 3 ist so ein abstraktes Artefakt welches einen Joystick darstellt Es umfasst ein Greifobjekt gelb einen A
3. Schiebegeste Die Schiebegeste wird mit einer Hand ausgef hrt Die Geste selbst erfolgt l ngs der x Achse im Raum Die Abbildung 2 10 a zeigt die Schiebegeste entlang dieser Achse Bei der Schie begeste handelt es sich um eine kontinuierliche Geste dabei ist es denkbar ein St ck weit zu schieben inne zu halten und dann in dieselbe Richtung die Bewegung fortzuf hren Dar ber hinaus ist es m glich die Bewegungsrichtung zu wechseln und in die entgegengesetzte Richtung zu schieben ohne zwischendurch die Gestenerkennung durch ein ffnen der Hand zu beenden Hier gilt es also mehrere Schiebegesten hintereinander richtig zu erkennen 2 10 c beinhaltet das erstellte Zustandsdiagramm zur Schiebegeste KAPITEL 2 ANALYSE 22 Arm links ausgestreckt Arm rechts ausgestreckt oe Q Abbildung 2 10 Schiebegeste Hebe Senkgeste Eine weitere Geste ist die Hebegeste und ihr Pendant die Senkgeste im weiteren Verlauf der Arbeit auch als Heben und Senken bezeichnet Im Folgenden wird die Hebegeste genauer beschrieben Diese Gesten kommen sowohl mit einer als auch mit beiden H nden vor Wie in Abbildung 2 11 a grafisch dargestellt beginnt die Geste mit leicht ausgestreckten Armen die in einem Winkel zum Boden zeigen Wird nun die Hand geschlossen und die Hand samt Arm nach oben bewegt wird die Hebegeste vollf hrt Arm schr g nach oben Sarg Arm schr g nach unten Abbildung 2 11 Hebeg
4. Masterarbeit Olaf Potratz Ein Framework f r physikbasierte 3D Interaktion mit gro en Displays Fakult t Technik und Informatik Faculty of Engineering and Computer Science Studiendepartment Informatik Department of Computer Science Olaf Potratz Ein Framework f r physikbasierte 3D Interaktion mit gro en Displays Masterarbeit eingereicht im Rahmen der Masterpr fung im Studiengang Master Informatik am Studiendepartment Informatik der Fakult t Technik und Informatik der Hochschule f r Angewandte Wissenschaften Hamburg Betreuender Pr fer Prof Dr rer nat Kai von Luck Zweitgutachter Prof Dr rer nat Gunter Klemke Abgegeben am 27 02 2014 Olaf Potratz Thema der Masterarbeit Stichworte Mensch Maschine Interaktion Motion Tracking Gesten Gestenerkennung Physik Engine Kurzzusammenfassung In dieser Arbeit wird ein Framework zur Interpretation von Gesten f r gro e Displays entwickelt Die Interpretation findet mithilfe einer Physiksimulation statt und soll von den verwendeten Sensoren unabh ngig sein Die Anforderungen f r ein solches Framework werden beschrieben und analysiert Die exemplarische Umsetzung erfolgt f r zwei optische Motiontracker Darauf aufbauende Verfahren zur Erkennung der H nde und der eigentlichen Gestenerkennung werden in der Theorie beschrieben und zum Teil umgesetzt F r die Gestenerkennung selbst kommt eine Physik Engine zum Einsatz Die Teilsysteme kommu nizieren ber einen Me
5. dr cken zur Fol ge h tte Abschlie end wird die Hand ge ffnet also die Endgeste 4 1 2 4 ausgef hrt Die Abbildung 2 8 a zeigt einmal die Dr ckgeste wie sie ausgef hrt wird auf Abbildung D Sin ist das Zustandsdiagramm f r die Dr ckgeste abgebildet Abbildung 2 8 a Dr ckgeste b Zustandsdiagramm f r die Dr ckgeste KAPITEL 2 ANALYSE 21 Ziehgeste Die Ziehgeste in Kurzform als Ziehen bezeichnet kann von einer beliebigen Hand aus gef hrt werden Die Geste startet mit ausgestrecktem Arm und dem Schlie en der Hand Die Hand wird dann wie in der Grafik 2 9 anschaulich dargestellt an den K rper gezogen Diese Geste ist nicht wiederholbar was bedeutet dass nach der Ziehgeste die Endgeste folgen muss Nach dem ffnen und dem anschlie enden Ausstrecken der Hand kann die Geste wiederholt werden Solange die Ziehgeste nicht vollendet wurde ist ein Ab brechen durch erneutes ffnen der Hand m glich Eine Erweiterung der Ziehgeste besteht darin dass sie mit beiden H nden gleichzeitig ausgef hrt werden kann Auch hier erfolgt parallel zur ersten Variante bei ausgestreckten Armen ein Schlie en der H nde ein syn chrones an den K rper ziehen der Arme und anschlie end das ffnen beider H nde In Abbildung 2 9 a und b werden beide Varianten in einem Zustandsdiagramm dargestellt gt Arm angewinkelt we gt Arm ausgestreckt Abbildung 2 9 Ziehgeste
6. e wie Geschwindigkeit oder elek trische Spannung Die f nf Markierungen auf dem Zeigerblatt stellen die Werte 0 25 50 75 und 100 dar Auch diese Umsetzung eines Anzeigers besitzt eine Verz gerung bei der Darstellung des momentanen Wertes die Gr nde hierf r sind identisch zu denen beim Was serstandanzeiger In den Abbildungen e und 5 9 f sind zwei unterschiedliche Werte eines Artefakts visualisiert Abbildung 5 9 Einnand Hebel 3D Ansicht l oben Physik Ansicht r oben Message Broker Anzeiger Diese Komponente arbeitet hnlich wie ihre Vorg nger Allerdings besitzt diese Variante des Anzeigers keine eigene grafische Ausgabe um einen diskreten Zustandswechsel oder kon tinuierliche Wert nderungen anzuzeigen Sie verf gt ber eine Anbindung an die ActiveMQ Die Werte werden vom Artefakt an den Anzeiger weitergeleitet Hier werden diese entspre chend der Auspr gung des Anzeigers weiterverarbeitet und dann an den Message Broker KAPITEL 5 REALISIERUNG 62 weiter gesandt Dieser Vorgang wird kontinuierlich wiederholt Die Queue an die diese Nach richten versandt werden wird in der Initialisierungsphase individuell festgelegt und ist ber die Laufzeit nicht nderbar 5 6 Grafische Ausgabeverfahren Wie im Diagramm 14 4 beschreiben bekommen die Ausgabemedien die Daten f r die gra fische Ausgabe ber den Message Broker Die Ausgabemedien m ssen selbst ber eine grafische Repr sentation der einzelnen
7. zen Pixel transparent darstellt Dar ber hinaus befinden sich die Artefakte nicht direkt vor dem Benutzer sondern seitlich sodass diese Aufnahmen von einem gedrehten Kopf von ungef hr 45 nach links beziehungsweise rechts und einen Blickwinkel nach unten von cir ca 60 entstanden sind Abbildung 6 4 Sicht auf die Artefakte durch das Headup Display KAPITEL 6 USABILITY UNTERSUCHUNG 73 6 2 Durchf hrung 6 2 1 Testdurchlauf f r die Schalttafel Der erste Versuch wurde auf mehrere Tage verteilt durchgef hrt F r den Versuch mit einer Testperson wurden ungef hr 30 Minuten veranschlagt Im Folgenden wird ein Testablauf exemplarisch beschrieben Die Schritte sind in chronologischer Reihenfolge ausgef hrt Es ist wichtig dass sich im Laufe eines Testdurchlaufs keine weiteren zuk nftigen Testpersonen im Raum befinden da ansonsten einige Ergebnisse durch Vorkenntnisse verf lscht werden w rden Testvorbereitung Zu Beginn eines Testdurchlaufs bekommt die Testperson den ersten Teil des Fragebogens um ihn auszuf llen Nachdem dieser Teil ausgef llt wurden wird der Proband ber die Funk tionsweise des ART Trackers aufgekl rt und in diesem Zuge gebeten s mtlichen reflektie renden Schmuck wie Ohrringe und Halsketten abzulegen Im Anschluss zieht die Testper son die Handschuhe f r den ART Tracker an siehe 14 2 und die Person begibt sich vor die Powerwall Der Raum wird weitestgehend abgedunkelt Testdurchf hrung
8. 2 vorn vorn 3 vorn rechts 5 rechts rechts 9 mitte mitte 6 hinten rechts 7 hinten hinten 8 hinten links 4 links links Tabelle 5 2 Tabelle mit Zust nden verschiedener diskreter Joystick Umsetzungen berg nge f r die Variante mit f nf Zust nden wurden nach 60 der maximal Auslen kung gew hlt F r die Version mit neun Zust nden reagierte das System bereits nach 40 der Maximalauslenkung Zu beachten ist hier noch in Abbildung B 8 a das auf eine Ver KAPITEL 5 REALISIERUNG 60 kleidung f r den Joystick nach ersten Tests verzichtet wurde da bei dieser zus tzlich der Blick auf den Aktor verdecken wurde wenn der Benutzer r umlich gesehen unterhalb des Joysticks mit seiner Hand war Abbildung 5 8 Joystick 3D Ansicht a Physik Ansicht b 5 5 2 Umsetzung der Anzeiger Die Realisierung der Anzeiger umfasst sowohl solche die ber eine eigene grafische Dar stellung verf gen also auch solche die die ermittelten Werte und Zust nde der Artefakte nur weiter leiten k nnen Die Anzeiger werden bei der Initialisierung der Artefakte berge ben Die realisierten Anzeiger werden nun im Einzelnen aufgef hrt Lampe Die Lampe stellt die erste Umsetzung eines Anzeigers dar Es handelt sich hierbei um einen diskreten Anzeiger mit zwei Zust nden Abbildung IS Olai zeigt die Lampe im Zustand aus und die Abbildung 5 9 b ist die Darstellung wenn die Lampe an ist Das bereits in der Umset zung der Artefakt
9. Die L sung des Start Ende Problems soll aus der Gestenerkennung selbst ermittelt werden und jeweils separat von den Anbindungen an die Kamerasensoren gel st werden Das System soll durch einheitliche einfache Schnittstellen eine lose Kopplung zu unter schiedlichen Kamerasensoren erm glichen Ebenso soll das visuelle und akustische Feed back an den Benutzer ber das Framework entkoppelt und verwirklicht werden Zum Ende hin steht dem Benutzer eine Grafikausgabe zur Verf gung die sein Handeln widerspiegelt Bei dieser grafischen Ausgabe handelt es sich um eine dreidimensionale Darstellung der Simulation die nicht fotorealistisch ist Als weiteres Ziel soll untersucht werden inwieweit die Verwendung von aus der Realit t bekannten Gegenst nden die Interaktion mit dem System erleichtern kann Konkret soll an hand der unterschiedlichen Gegenst nde ermittelt werden ob eine Analogie den Einstieg in die Benutzung des Systems erleichtert Die Frage der Benutzbarkeit und inwiefern man dem Ideal eines natural user interface n her kommen k nnte soll durch Tests mit anschlie en den Frageb gen ermittelt werden Hierf r werden verschiedene Personen mit unterschiedli chen Hintergr nden zum Test eingeladen http www hpi uni potsdam de baudisch home htmi KAPITEL 1 EINLEITUNG 4 1 3 Gliederung der Arbeit Das erste Kapitel enth lt die Einleitung in der die Motivation und die Zielsetzung dieser Ar beit n her erl ute
10. nde der Testperson verfeinern zu k nnen Kapitel 4 Design Im ersten Teil dieses Kapitels wird sich mit der Funktionalit t befasst welche ein System bieten muss das den Anforderungen aus 2 Jgen gen will Danach folgt die n here Beschreibung einer Simulation in der die Gestenerkennung statt finden soll M gliche Gesten werden in Gruppen unterteilt und es werden unterschiedliche Verfahren zur Kontextbestimmung vorgestellt Anschlie end erfolgt die Erkl rung wie die ei gentliche Gestenerkennung stattfinden soll Im zweiten Teil des Kapitels werden verschiedene Sensoren aufgef hrt und deren Funkti onsweise erl utert Unterschiedliche Auspr gungen der Artefakte werden gezeigt und auch wie diese jeweils der Gestenerkennung dienen k nnen Abschlie end wird auf die Verfahren zur Visualisierung eingegangen und erkl rt wie die Steuerung eines externen Programms erm glicht werden kann Das letzte Teilkapitel befasst sich mit der dem System zugrunde liegenden Software Architektur Es wird ein verteiltes System vorgestellt das mittels Message Broker kommuni ziert 4 1 Funktionalit t Dieser Abschnitt umfasst die Funktionsweisen f r die geforderte Gestenerkennung unter der Verwendung einer Physiksimulation Nach einer Abgrenzung werden Gruppen erl utert in die Gesten innerhalb einer Physiksimulation eingeordnet werden k nnen Anschlie end wer den Joints vorgestellt und anschlie end erfolgt ein berblick ber unterschie
11. nde werden hier zu den Aktoren und als ge ffnete oder geschlossene Handsymbole abgebildet Der Benutzer ist nun in der Lage mit den auf dem Schaltpult befindlichen Artefakten zu agieren indem er nach ihnen greift War das Greifen erfolgreich befindet sich eine Greiffl che in Reichweite zu der sich schlie enden Hand wird der Aktor stellvertretend f r die Hand mit dem Artefakt verbunden und der Benutzer kann dieses nun durch die Bewegung seiner Hand manipulieren Das System selbst kann die virtuellen Eingabeger te auch manipulieren in dem es exemplarisch genannt Schalter auf bestimmte Positionen stellt oder ein Steuerrad wieder auf eine vom System errechnete Po sition vor oder zur ck dreht Der Benutzer sieht ber eine Anzeige das Schaltpult und die Positionen seine H nde auf beziehungsweise ber der Schaltfl che sowie die m glichen Manipulationen die er dort ausf hrt Das eigentliche Wirken des Benutzers die Steuerung eines zweiten Softwaresystems soll dem Benutzer ber die gro e Projektionsfl che sichtbar gemacht werden Dieses System reagiert nicht direkt auf die Gesten des Benutzers sondern auf die durch ihn verursachten Manipulationen an einer Schalttafel Somit wird von den eigentlichen Gesten abstrahiert und man spiegelt eher die intendierten Eingaben des Benutzers wider KAPITEL 2 ANALYSE 12 2 4 Schalttafel Die virtuelle Installation verschiedener Artefakte wird im Begriff der Schalttafel zusammen gefasst
12. ndlich erschien und dies als nat rlich gegeben hingenommen wurde 6 3 1 Ergebnisse Schalttafelversuch Die Ergebnisse des Versuchs liegen im Anhang B als Rohdaten Bloder ausgewertet als Gra fiken Blvor Wie aus den Daten zu entnehmen ist sind die Probanden bunt gemischt Die Ergebnisse zeigen keine Auff lligkeiten im Zusammenhang mit bestimmten Merkmalen der Probanden Die Ergebnisse zeigen dass die berwiegende Zahl der Artefakte von der Mehrzahl der Testperson schnell erkannt wurde und sich auch der Funktionalit t dieser Artefakte dann bewusst waren Einzig der Schaltknopf und der Griff fielen hier etwas aus dem Mittel Der Schaltknopf wurde seltener erkannt Sobald er erkannt wurde konnte die berwiegende Mehrzahl der Personen den Knopf ohne gro e Hilfestellung bedienen Beim Griff hingegen war es umgekehrt er wurde zwar erkannt doch die Funktion ihn zu sich ziehen zu m ssen war nicht immer ersichtlich Auch die Ausf hrung verlief nicht ohne Pannen Durch die Ergebnisse des Testes und die Unterhaltungen mit den Probanden kann die Aus sage getroffen werden das alle Artefakte die nicht ber die Tiefe bedient werden m ssen am besten f r eine Benutzung geeignet sind Darunter fallen der Schalthebel der Schiebe regler und das Rad Die Artefakte die mit zwei H nden zu bedienen waren schnitten in Punkte Benutzbarkeit nicht so gut ab was von den Beobachtungen her aber h ufig auf Ungenauigkeiten mit den Sensoren zur ck zu
13. rbt Der aktive Griff verh lt sich grunds tzlich wie jeder andere Griff auch und kann von einem Aktor gegrif fen werden Der Unterschied kommt dann zum Tragen wenn der Kippschalter gedr ckt wird ndern sich der Status des Artefakts von an nach aus oder umgekehrt l st sich die Ver bindung von Griff und Aktor automatisch vergleichbar mit dem Verhalten des Schaltknopfs Der Aktor wechselt dann in den Zustand nicht gegriffen Dar ber hinaus wird der Griff deaktiviert und der andere Griff des Kippschalters wird aktiviert und kann nun gegriffen KAPITEL 5 REALISIERUNG 58 werden Als Benutzer muss man nun die Hand vorher ffnen und erneut den Kippschalter greifen wenn man den Zustand des Artefaktes wieder ndern m chte Abbildung 5 6 Einnand Hebel 3D Ansicht I oben Physik Ansicht r oben Griff Eine Realisierung des Griffs stellt technisch gesehen keinen gro en Unterschied zum Schaltknopf 5 5 1 dar Das Griffobjekt besitzt einen Freiheitsgrad l ngs der z Achse Die Ruheposition liegt beim Start auf dem minimalen Abstand zum Mittelpunkt des Artefaktes Der Griff kann nun von einer Hand gegriffen und dann l ngs der z Achse heraus gezogen werden Abbildung 5 7 Einnand Hebel 3D Ansicht l oben Physik Ansicht r oben KAPITEL 5 REALISIERUNG 59 Vergleichbar mit dem Schaltknopf schaltet auch dieses Artefakt f r gew hnlich nach mindestens 80 des Maximalabstands abh ngig von de
14. schwer mittelm ig gut sehr gut 4 6 1 Haben Sie den waagerechten Schieber erkannt 0 O0 0 15 4 76 9 n 13 mw 48 s 0 37 E 0 nein schwer gut mittelm ig sehr out ANHANG B ERGEBNISSE 113 4 6 2 Wie intuitiv war Ihnen die Funktionsweise 0 0 0 234 7689 a n 1 mw 4 8 s 0 42 E 0 gar nicht schwer mittelm ig gut sehr gut 4 7 1 Haben Sie den Knopf erkannt DS 0 454 692 77 mess z SS w wo nein schwer mittelm ig gut sehr gut 4 7 3 Handhabung des Knopf 0 0 23 1 46 2 30 8 n 13 mw 41 s 0 73 E 0 schlecht gut d sehr out moss unbenutzbar mittelm ig 4 8 2 Wie intuitiv war Ihnen die Funktionsweise 0 0 77 23 1 23 1 n 13 mw 43 s 0 70 E 0 gar nicht schwer gut d mittelm ig sehr out 4 6 3 Handhabung des waagerechten Schieber 0 0 0 385 615 mo 3 3 vigi es fe be D unbenutzbar schlecht mittelm ig gut sehr gut 4 7 2 Wie intuitiv war Ihnen die Funktionsweise 0 0 30 8 45 2 23 1 n 13 mw 3 9 s 0 7 E 0 88 z bad s 5 S i po d 4 8 1 Haben Sie den Kippschalter erkannt 0 0 15 4 23 1 15 4 13 40 0 7 0 nein schwer mittelm ig gut sehr gut 4 8 3 Handhabung des Kippschalter 77 77 15 480 23 1 mvg ngi Kaell fe Aw CH unbenutzbar schlecht mittelm ig gut sehr out ANHANG B ERGEBNISSE 114 4 9 1 Haben S
15. sprechend der zu bedienenden Software passende Kommandos versenden Jedes Artefakt bekommt per Dependency Injection eine individuell angepasste Teilkomponente des Sen ders Diese Teilkomponente ist entsprechend der Art des Artefakts angepasst und verschickt selbstst ndig entsprechende Kommandos an den Message Broker Der zweite Teil der Komponenten ist in der zu steuernden Software integriert Es handelt sich hierbei um eine Komponente die die Nachrichten vom Message Broker abruft und ver arbeitet Im besten Fall hat man bereits eine Software die ber solch eine Umsetzung ver KAPITEL 4 DESIGN 46 f gt oder aber man muss diese dann f r die Software umsetzen Es empfiehlt sich diese Komponente zu erst zu entwickeln da man im Regelfall bereits ber eine herk mmliche Pro grammsteuerung verf gt und somit der Umfang und die erwartete Funktionalit t gegeben ist Erst im zweiten Schritt sind dann die passenden Artefakte und Senderkomponenten zu verwirklichen 4 3 Software Architektur Als zugrunde liegende Architektur wird ein verteiltes System gew hlt wobei jedes Modul wie in Abbildung 4 4 zu sehen ist nur ber den Message Broker kommuniziert Geht man einen Schritt zur ck und betrachtet das System als Ganzes kann man erken nen dass sich das System f r eine Umsetzung in Anlehnung an das MVC Entwurfsmuster mit aktivem Model eignet Es wird also noch eine Observer Komponente hinzugef gt Eine genaue Erl uterung zum MVC E
16. 0 megg nein viel ein wenig 6 2 Hilfestellung bei Funktionsweise des waagerechten Schieber 100 00 0 mo 2 3 rz n Sor er KE nein viel ein wenig 7 2 Hilfestellung bei Funktionsweise des Knopf 34 5 15 4 0 n 13 mw 1 2 s 0 36 E 0 nein viel ein wenig 8 2 Hilfestellung bei Funktionsweise des Kippschalter 34 5 15 4 0 13 1 2 0 36 0 maag nein viel ein wenig ANHANG B ERGEBNISSE 117 9 1 Hilfestellung beim Erkennen des Griffs 9 2 Hilfestellung bei Funktionsweise des Griffs 69 2 30 3 0 84 5 15 4 0 mwa ec E 0 E 0 Rohdaten Schalttafel Fragebogen Nr 1 1 1 2 1 3 a b c d 2 1 2 2 2 3 2 4 2 5 1 3 2 1 B Sc Bio Chemie 1 4 5 3 2 2 2 2 2 1 B Sc Ang Informatik 1 4 5 2 1 1 3 3 1 1 B Eng Maschinenbau 5 4 5 2 1 1 4 6 1 2 Pension r 4 2 1 1 1 5 6 1 2 Pension r 4 2 1 1 1 6 6 2 2 Einzelh Kauffrau 4 5 1 1 1 7 6 1 2 Rentner 4 5 1 1 1 8 3 1 1 B Sc Informatik 5 4 6 4 4 4 9 3 2 1 M Sc Informatik 6 4 6 4 2 2 10 4 1 2 IT Consultant 4 6 4 3 3 11 5 1 1 M Sc Informatik 6 4 6 2 3 2 121 3 2 1 M Sc Informatik 6 4 5 4 3 3 13 2 2 1 M Sc Informatik 5 4 6 4 3 2 Tabelle B 2 Ergebnisse Fragebogen Schalttafel Teil1 118 ANHANG B ERGEBNISSE 1049An7Z Eve UI J9uuu u Buep z uy Jop UU BungeypueH ap ei sBuipi iv u uu 1s S u q Mz
17. Ausgabemedien 68 6 Usability Untersuchung 69 SR Alte TOUTES 69 6 1 1_ Versuchsaufbau I Die Schalttafell 69 6 1 2 Versuchsaufbau Il Das virtuelle Cockpit 2 2222 70 6 2 Durchf hrung 2 0 nern ra RR ah ei 73 6 21 Testdurchlauf f r die Schalttafel 2 22 2 mE m nn nn 73 6 2 2 Durchf hrung des Tests f r das virtuelle Cockpitl 2 2 2 2 75 6 3 Ergebnisse und Diskussion 77 6 3 1 Ergebnisse Schalttafelversuch 2 222222 nn nn 77 6 3 2 Ergebnisse des virtuelle Cockpits 78 7 Schluss 79 7 1 Zusammenfassungl e 79 WEEN a z ge S Sem Be are ae SL SU W Ee Ae a US Sa JN 80 12 3 AUSDIIER 4 erer e D N au ae A Er en AS Ee Ee 81 Literaturverzeichnis 82 Abbildungsverzeichnis 86 88 A Fragebogen 90 B Ergebnisse 107 Kapitel 1 Einleitung Gesten sind ein gro er Bestandteil der menschlichen Kommunikation Im allt glichen Ge brauch meist unbewusst benutzt unterst tzen sie h ufig die verbale Kommunikation Verba le Kommunikation kann allerdings g nzlich von Gesten ersetzt werden Dies k nnen Gesten unter der Verwendung von H nden und Armen sein Auch kombinierte Gesten von zwei H nden und Armen sind m glich letztlich kann aber auch ein einfaches Handzeichen als vollst ndige Geste verstanden werden Dieses geschieht h ufig in Bereichen in denen ein verbaler Kommunikationsweg versperrt ist oder aber zur dauerhaften Benutzung zu umst ndlich oder zu ungenau ist Letzteres betrifft
18. Be reich ein breiteres Anwendungsspektrum f r diese Art von Kommunikation und Steuerung von Computersystemen Der Bereich der Computerspiele und allgemeiner Unterhaltungs elektronik nimmt hier bereits eine Vorreiterrolle ein Ein gutes Beispiel ist hier die Xbox Ond die standardm ig ber ein Motiontrackingsystem verf gt In diesem Bereich sind Steuerungen mit einfachen Gesten bereits allt glich geworden dies wird sich auch auf an dere Bereiche ausdehnen Eine Form der ber hrungslosen und controllerfreien Kommunikation mit Computersystemen ist vor allem in Bereichen des ffentlichen Raums denkbar Vorstellbar ist ein solches Sys tem berall dort wo nicht allzu komplexe T tigkeiten mit einem System geplant sind An dererseits dort wo Kommunikationsmedien wie Touchscreens nicht praktikabel sind da zu schnelle Abnutzung durch Schmutz und Staub oder aber auch Vandalismus einen solchen Einsatz nur schwer vorstellbar machen F llt die Wahl der Artefakte auf welche die dem Benutzer aus der Realit t vertraut sind kann dies zu einer Steigerung des Grades der Immersion f hren Aber auch im nicht ffentlichen Raum besteht Bedarf unter anderem im Umfeld der Smart Environment Entwicklung Hier bietet vor allem der gro e Einzugsbereich von Systemen zum Motiontracking die Chance dass eine solche Kommunikation nicht weiter ortsgebunden stattfinden muss Die HAW Hamburg ist seit 2009 mit der Entwicklung eines Smart Home befa
19. Sensorik 4 1 2 Gestenerkennung in der Physiksimulation 22222020 4 1 2 1 Handlungsgruppen f r Gesten l 4 1 2 2 Joints 4 1 2 3 __Kontextwahll 4 1 2 4 Start und Endgeste 4 1 2 5 Steuergesten 4 2 Design 4 2 1 Sensoren 4 2 2 Physikalische Auspr gung der Artefakte 2 22 2 2020 4 2 3 Visualisierung 4 2 4 Steuerung f r externes Programm 2 2 2 nn a 4 3 Software Architekt 4 3 1 Kommunikation Message Droken e Realisierung 5 1 Message Broker 5 2 Sensorenadapter 5 2 1 ARl lrackerl 5 3 Physik Engine 5 3 1 Wahl der Physik Engine 5 3 2 Entwicklung eigener Joints 5 4 Umsetzung der Aktoren amp Kontextbestimmung 5 4 1 Aktoren in der Physiksimulation e 5 4 2 Aktoren in der 3D Simulation 24 24 26 26 28 31 31 32 33 34 34 36 36 36 37 37 87 38 39 40 41 41 43 44 45 46 46 INHALTSVERZEICHNIS vi 5 5 Umsetzung des Schaltpults X nn nn nn 53 5 5 1 Umsetzung der Artefaktel e 53 5 5 2 Umsetzung der Anzeiger e 60 5 6 Grafische Ausgabeverfahren 2222222 n nn nn 62 5 7 Akustische Ausgabe e 64 58 FAZ ssr Be SR 65 5 8 1 nderungen bei erneuter Umsetzung 66 5 9 Erweitungsm glichkeiten 2 222 222m nn nn nn 66 5 9 1 Weitere Sensoren noaoo e e 66 5 9 2 Weitere
20. Sie haben keine direkte Auswirkung auf die Artefakte innerhalb der Simulation KAPITEL 2 ANALYSE 20 2 5 3 Steuerungsgesten Alle hier folgenden Steuergesten werden von einer Start und einer Endgeste umschlossen Es ist hier hierbei allerdings zu Beachten dass mehrere einzeln f r sich geltende Steuer gesten hintereinander geschaltet werden k nnen ohne dass sie jeweils von einer Endgeste beendet werden und die n chste Geste durch eine Startgeste eingeleitet wird Als veran schaulichendes Beispiel hierf r sind der Schieberegler 2 4 1 oder der Joystick 2 4 6 zu nen nen Eine Abfolge kann in einzelne Steuergesten herunter gebrochen werden und wird so auch vom System verarbeitet Die Gestenerkennung selbst l uft aber kontinuierlich weiter Dr ckgeste Die erste hier zu beschreibende Geste soll die Dr ck Geste sein Im weiteren Verlauf auch als Dr cken bezeichnet Die Geste wird mit einer Hand ausgef hrt Welche Hand ob die linke oder rechte Hand ist unerheblich Sie startet mit dem Schlie en der Hand also dem Greifen 4 1 2 4 Anschlie end bewegt sich die Hand in gerader Linie vom K rper weg Ein Abbruch der Geste ist m glich indem einfach die Hand w hrend der Bewegung ge ffnet siehel4 1 2 4 Die Geste ist wiederholbar das bedeutet dass nach Ausstrecken der ge schlossenen Hand die Hand wieder an den K rper gezogen werden kann um erneut dann in die gleiche Richtung ausgestreckt zu werden welches ein zweites Mal
21. Umsetzung der Variante 4 1 2 3 mit tels Distanzbestimmung zu den m glichen Kontexten statt ausgel st durch die Greifgeste der entsprechenden Hand In diesem Fall wird der Aktor unter Verwendung des in Abschnitt 5 3 2lentwickelten Joint mit der innerhalb des Suchradius am n chsten liegenden und freien Greiffl che verbunden und befindet sich nun in dem Kontext des dazu geh rigen Artefaktes Die Wahl hat Einfluss auf die Ausgestaltung der physikalischen Kugel die als Repr sen tant des Aktors dient Es kann hier auf eine Kollisionserkennung verzichtet werden wie sie f r eine der anderen m glichen Kontextwahlen ben tigt worden w re Des Weiteren k n nen hier Implementierungen zu Oberfl cheneigenschaften die eine Reibungsberechnung erm glichen weggelassen werden wie sie eine m gliche Umsetzung nach 4 1 2 3 verlangt h tten 5 4 2 Aktoren in der 3D Simulation Die Aktoren werden in der 3D Simulation als H nde abgebildet F r die drei Zust nde eines Aktors gibt es wie in Abbildung 5 1 zu sehen ein dreidimensionales Gegenst ck In der Darstellung wird unterschieden welche Hand der Aktor repr sentiert und entsprechend eine linke oder rechte Hand in die 3D Simulation geladen Die Lage der Hand wird so gew hlt wie der Benutzer voraussichtlich seine Hand auch real h lt Beiden verwendeten Sensoren 4 2 1 und 4 2 1 ist es nicht m glich die Lage im Raum einer realen Hand zu bestimmen somit ist eine dynamische Rotation der Handabbil
22. Ye peng befasst sich mit dem Interaktion zwischen einem Benutzer und einem gro en Bildschirm Bei den Gesten handelt es sich allerdings um ausschlie lich kommunikative Zeigegesten Ohne eine Wertung vornehmen zu wollen gilt es hier zu beachten worin genau die Geste nerkennung und Steuerung besteht Ob nur die mitgelieferten Funktionen des Sensors und deren Gestenrepetoire genutzt wird sowie in der Arbeiten 3D Hand Gesture Recognition Based on Sensor Fusion of Commodity Hardware K Denker 2012 Gesture Recognition based on 2D and 3D Feature by using Kinect Device u a 2012 und Gesture Based PC Interface with Kinect Sensor ERAP 2012 oder aber ob eine tiefer gehende Gestenerken nung aufgebaut wird wie es mit dieser Arbeit der Fall ist KAPITEL 2 ANALYSE 11 2 3 Szenario Das hier im folgenden beschriebene Szenario ist in Teilen von den in Abschnitt 2 2 Jaufgef hr ten Projekten inspiriert Es soll ein System entwickelt werden das eine Mensch Maschine Kommunikation erm glicht auf Basis einfacher Gesten im Rahmen bestimmter Kontexte Es handelt sich um ein zweigeteiltes System erster Teil sind die sich im Raum befindli chen virtuellen Eingabeger te die der Benutzer mit seinen H nden greifen und manipulieren kann Dieses geschieht sobald sich der Benutzer innerhalb des Messbereichs des verwen deten Trackingsystems befindet Es werden beide H nde des Benutzers erfasst und in den virtuellen Raum bertragen Die H
23. Zustand einer Artefaktes separat anzuzeigen Dies geschieht ber die verschiedenen Vari anten von Anzeigern Die Darstellung der Entit ten durch die 3D Engine soll grafisch einfach gehalten werden Es werden keine Texturen verwendet Auf optische Details wie Glanz Reflexion oder Transpa renz wird gr tenteils verzichtet Gro es Display Ein gro es Display kann als Darstellung der Schalttafel dienen Dabei ist entscheidend dass das Display selbst und die Simulation der Schalttafel zumindest was die r umliche Ausrich tung betrifft identisch sind Der Benutzer steht mit etwas Abstand vor diesem gro en Display KAPITEL 4 DESIGN 45 und manipuliert mit Gesten die Gegenst nde die er auf dem Display sieht Das errechne te Bild welches von der simulierten Schalttafel erzeugt wird sollte eine Frontalsicht auf die Schalttafel bieten und aus der gleichen Blickrichtung erfolgen wie der Benutzer auf das Dis play schaut Headup Display Die Benutzung eines Headup Displays erm glicht es die Artefakte nicht nur an einem Ort in der Simulation aufzubauen und diese wie im Fall der Schalttafel dann ber ein fest po sitioniertes Display auszugeben Es wird m glich die Artefakte im Raum zu verteilen Der Benutzer hat nun die M glichkeit die Artefakte immer von der jeweiligen Position aus zu betrachten in der er sich befindet Dies wird als Ich Perspektive bezeichnet Der vorher feste Blickwinkel auf die Simulation wird durch die Pos
24. auch die Kommunikation mit Computersystemen Selbst wenn unter den gegebenen Umst nden verbale Kommunikation denkbar w re ist sie meist zu umst ndlich da f r kom plexere Handlungen detailreiche verbale Kommandos notwendig w ren Hier offenbart sich ein Bet tigungsfeld f r die Gesten und somit auch f r die Gestenerkennung Ein allt gliches Beispiel hier f r sind die von der Polizei verwendeten Handzeichen zur Regelung des Stra Benverkehrd Umso umfangreicher die Interaktionen werden welche mit Hilfe von Gesten ausf hrbar wer den sollen desto komplexer muss auch das auf dem Computer arbeitende System werden um alle Gesten korrekt erkennen zu k nnen Gleichzeitig werden Regeln f r die korrekte Ausf hrung der Gesten unerl sslich Mehrdeutig interpretierbare Bewegungen sollen m glichst unterbunden werden damit es nicht zu Miss interpretationen kommt Diese Regeln umfassen in den meisten F llen ein Gestenalphabet welches Gesten bestimmten Funktionen zuordnet Dieses Alphabet muss im Regelfall vom Benutzer erlernt werden Es gilt ein Gleichgewicht zwischen der Komplexit t eines Computersystems und der Anzahl der Regeln die ein Benutzer beherrschen muss zu finden Hierbei gilt es beide Teile in ih ren Umf ngen wenn m glich klein zu halten Aus Sicht der Benutzer sollte es im besten Fall keine Regeln oder keine offensichtlichen Regeln die es vorher zu lernen gilt geben http www gesetze im internet de stvo_2013 __36
25. den Fragen auf dem Fragebogen vorhanden sein werden diese gekl rt Au erdem findet noch eine kurze Unterhaltung ber das Erlebte statt KAPITEL 6 USABILITY UNTERSUCHUNG 77 6 3 Ergebnisse und Diskussion Ein kurzes Vorwort unter welchem Blickwinkel die folgenden Testergebnisse zu bewerten sind Um die in 1 2 gefassten Ziele bez glich bekannter Artefakte aus der Realit t zu testen wurden die Testpersonen im Unklaren gelassen was genau getestet werden sollte Ihnen wurde das Komplettsystem vorgestellt das sie benutzen sollten und nicht einzeln auf die Punkte eingegangen welche die Hauptziele dieser Arbeit umfassen Hauptgrund daf r war gerade die Hypothesen zu pr fen ob die bernahme von Form und Funktion realer Gegen st nde in die Virtualit t einen Einstieg in die Benutzung dieser Gegenst nde vereinfacht und somit ein Natural Interface geschaffen werden konnte Auch ein expliziter Hinweis auf das Testen der Gestensteuerung an sich h tte diesem Ziel im Wege gestanden da die Arte fakte ja Hauptbestandteil dieser Gestenerkennung sind Dies hatte nun zur Folge das viele ihr Augenmerk auf andere Teile des Komplettsystems richteten Vor allem die zum Teil nicht zufriedenstellenden Sensorleistungen wurden somit Hauptbestandteil der Kritik am Gesamt system Die Gestensteuerung das Erkennen und das Benutzen der Gegenst nde fiel dabei in den Hintergrund oftmals auch deswegen da vielen Testpersonen die Nutzung als selbst verst
26. der Powerwall und wird dort gestartet Auch der Message Broker in Form einer ActiveMQ liegt bei den Versuchen auf der Powerwall da diese bei al len Versuchen nie an ihre rechnerischen Leistungsgrenzen gekommen ist lohnte es sich nicht einzelne Komponenten des Frameworks auf andere Rechner auszulagern Die Kom munikation erfolgt aber weiterhin ber die ActiveMQ und somit w re eine Auslagerung bei Engp ssen in der Rechenkapazit t jederzeit gew hrleistet 12 http www amd com de products desktop graphics ati radeon hd 5000 hd 5870 eyefinity 6 edition Pages overview aspx KAPITEL 5 REALISIERUNG 63 Abbildung 5 10 Powerwall Stand 06 02 2014 Sekund r PC F r Teile des Systems kann es n tig oder aber sinnvoll sein diese auf einem zweiten Compu ter ausgef hrt zu werden Dies betrifft in erster Linie Komponenten die unter Verwendung der 3D und Physik Engine arbeiten da hier immer nur eine Anwendung zurzeit im Fullscreen Modus laufen kann Dar ber hinaus erm glicht das Auslagern bestimmter Komponenten eine separate berwachung Besonders im Fall des Adapters f r den ART Tracker kann es von Vorteil sein hier die Verfahren zum Erkennen der Greif und Loslassgeste ber einen separaten Monitor zu berwachen Headup Display HUD Das Headup Display Abbildung 5 11 im weiteren Verlauf der Arbeit auch mit HUD abge k rzt stellt in seiner Hardwareform eine Art Hybrid dar einerseits ist es ausschlie lich zur Wiederg
27. durch vorheriges individuelles Einmessen der Person zum Start eines Versuches m glich bleiben Bewegungsgeschwindigkeit der H nde Trotz hoher Abtastrate des ART Trackers von 30 Frames pro Sekunde siehe ART Anleitung ARTtracker Anleitung 2007 ist es not wendig die H nde nicht zu schnell zu bewegen Eine zu schnelle Bewegung f hrt dazu dass ein zu gro er Abstand zwischen den einzelnen erfassten Punkten entsteht und die Verfahren in 3 3lins Leere laufen Unterschieden werden hier ben tigte Posen mit und ohne Verwendung des Headtrackers der am Headup Display befestigt ist KAPITEL 3 ALGORITHMEN 33 Ohne Postion des Kopfes Blickrichtung Die Hauptblickrichtung der Person ist auf die Powerwall Es wird erwartet dass sich die Testperson im Laufe eines Versuchs nicht umdreht und dann mit dem R cken zur Powerwall steht da ansonsten die Zuordnung von linker und rechter Hand nicht mehr zutrifft Position und Haltung der Arme Die Testperson sollte H nde und Arme nicht kreuzen da ansonsten unter der Voraussetzung der Blickrichtung in Richtung Powerwall die Zu ordnung der Aktoren vertauscht wird Im Regelfall werden die H nde maximal zur K r permitte gef hrt Sollte eine Bewegung der Hand ber die K rpermitte hinaus gehen ist darauf zu achten dass die andere Hand mehr Abstand zum K rper h lt damit eine stimmige Zuordnung erhalten bleibt Mit Position und Blickwinkel des Kopfes Wird der Headtracker verwendet erg
28. nu g w p yw JYEJUOY ul 4311p 491u lp u jjolsiueJ Sem LOL uuem SSNMOQ lui pinA SZ punog u p yonp uoa Bun smag uoSi 91 9qi9uinsuoo UEWIELSJUZF er B6unzinisi lun N joqui S u quej Buni isijlensiA 3N OL uoneuiq 5 u upol jsn u u p un er u unb m qpue eH pun u piu A Uaidoiceng luuoy Uaiaig 6 8 1yoy o oyey uopuejsion WEIS S sep sem vols zeid lp Bunuuuuilsq u j SEM S Y9OU uu A ef em Jequu y y z p f ep M lme us a lus Ioawz JeH Z 6njunp qsBunuuoms6B yoou yu in Si WOU EIN 9 u pngq uoa Bunij n 1s pun Bunysemisan Jop q uj ll ws p SNEH uu 91109 1J uSsSluo1 i 1 uoilluues6uni n 1 s op pun qeinag u p in yo lpueys an 4919 sje ds ag s p s ms uny mM pun neqjnv S eydeu pe1 6 OU YewojneusNleyuye I u sui g g z in6 Juge UOL sem u y s 1I z1 p luuoy y M lmo ua a ep Ind r 44919 BoNsulg u p usydew 948 1 1nduuoopiog u p nj One wj g z ep o nazyloMm Sluueyagyy 6unp uuyonti se y y 14aS j ua joyoeg 1 po Uu Jl u w p UU 4219 214 om Bunuuv ul y inu Er yone s OED yosne19 10113 UI Une pun pueH loti z er uod ue oyde PURISIMA g z sqn ofgezu L S FS N Tabelle B 7 Ergebnisse Fragebogen Schalttafel Teil2 5 von 5 ANH AN GB ERGEBNIS SE 122 Roh dat enS cha Ittafel Beob acht ungs bo gen
29. oo u H IG ER H Zu e Dw ma ma gut gar nicht schwer mittelm ig sehr out sehr schlecht schlecht mittelm ig sehr gut 3 3 1 Umgang mit dem ART Tracking Sensor 3 3 2 Umgang mit dem Kinect Sensor 77 30 83 23 1 30 3 77 0 77 23 1 33 5 30 3 keep i 1 u _ I co u w u E E mo e mo S i gut gar nicht schwer mittelm ig sehr gut sehr schlecht schlecht mittelm ig sehr gut 3 3 3 Welcher Sensor gefiel Ihnen Besser 0 15 4 76 9 7 7 n 13 mw 2 9 s 0 4 E 0 r Kine Beide gleich kein ART Tracke ANHANG B ERGEBNISSE 111 4 1 1 Haben Sie den Hebel erkannt 0 0 0 30 3 61 5 nein schwer mittelm ig gut sehr out 4 1 3 Handhabung des Hebels DS 0 77 385 538 r unbenutzbar mittelm ig gut sehr out n 13 mw 47 s 0 47 E 0 u lc 33 Z oo On ma 4 2 2 Wie intuitiv war Ihnen die Funktionsweise 77 77 0 308 538 gar nicht schwer mittelm ig gut sehr out 4 3 1 Haben Sie das Rad erkannt 0 0 0 23 1 69 2 nein schwer mittelm ig gut sehr out 3 u _ I co ma o n 13 mw 4 8 s 0 43 E 0 4 1 2 Wie intuitiv war Ihnen die Funktionsweise 0 0 gar nicht schwer 0 308 692 mittelm ig gut sehr gut 4 2 1 Haben Sie den Zweihand Hebel erkannt 0 77 0 308 538 3 nein
30. pdf Hara 2011 HARA Tenshi C Realisierung der Erkennung menschlicher Bewegungsmus ter durch Wireless Sensor Nodes 2011 URLhttp hara tc publications CaptureWSN pdf Heitsch 2008 HEITSCH Johann Ein Framework zur Erkennung von dreidimensiona len Gesten 2008 URL http users informatik haw hamburg de ubicomp arbeiten bachelor heitsch pdf Hilliges 2012 HiLLIGES Otmar u HoloDesk direct 3d interactions with a situated see through display 2012 URL http doi acm org 10 1145 2208276 2208405 IK Denker 2012 K DENKER u a 3D Hand Gesture Recognition Based on Sensor Fusion of Commodity Hardware 2012 URL http cg cs uni kl de denker publications pdf mucl2 pdf Kokott 2013 KoKoTT Christian Using the Kinect InteractionStream in XNA 2013 URL Ihttp getgeeksome wordpress com 2013 05 09 using the kinect interactionstream in xna Latoschik 2005 LATOSCHIK Marc E A User Interface Framework for Multimodal VR In teractions 2005 URL http doi acm org 10 1145 1088463 1088479 Mohammadali Rahimi 2008 MOHAMMADALI RAHIMI Matthias V Gestenba sierte Computerinteraktion auf Basis von Multitouch Technologie 2008 URL http users informatik haw hamburg de ubicomp arbeiten bachelor rahimi_vogt pdf LITERATURVERZEICHNIS 84 Nogalski 2012 NoGALSKI Malte Gestengesteuerte Positionierung von Klangquellen einer Wellenfeldsynthese Anlage mit Hilfe eines kame
31. schwer gut mittelm ig sehr gut u lt I oo oo Om mess z 4 2 3 Handhabung des Zweihand Hebels 77 0 unbenutzbar schlecht 30 3 23 1 38 5 gut mittelm ig sehr gut n 13 mw 3 8 s 1 17 E 0 4 3 2 Wie intuitiv war Ihnen die Funktionsweise 0 0 gar nicht schwer 77 46 2 45 2 mittelm ig gut sehr gut n 13 mw 44 s 0 52 E 0 ANHANG B ERGEBNISSE 112 4 3 3 Handhabung des Rad 0 77 77 385 462 3 n 1 T mw 4 2 s 0 89 E 0 mw 3 Z nu es UG K D unbenutzbar schlecht mittelm ig gut sehr gut 4 4 2 Wie intuitiv war Ihnen die Funktionsweise DS 454 77 46 2 30 3 Tom 22 Z SS m oo gar nicht schwer mittelm ig gut sehr out 4 5 1 Haben Sie den senkrechten Schieber erkannt 0 0 0 234 692 n 13 mw 48 s 0 43 E 0 nein schwer gut mittelm ig sehr out 4 5 3 Handhabung des senkrechten Schieber 0 0 0 452 538 n 13 mw 45 s 0 50 E 0 schlecht gut J sehr out unbenutzbar mittelm ig 4 4 1 Haben Sie das Zweihand Rad erkannt 0 0 77 23 1 61 5 nein schwer mittelm ig gut sehr gut 4 4 3 Handhabung des Zweihand Rads 0 30 8 30 35 15 4 23 1 mess Z n SI GG unbenutzbar schlecht mittelm ig gut sehr gut 4 5 2 Wie intuitiv war Ihnen die Funktionsweise 0 0 0 23 1 76 9 mess iZ n SS I w em oo garnicht
32. um zwei H nde handelt ergeben sich Erwartungshaltungen an diese KAPITEL 3 ALGORITHMEN 34 Wolken Eine dieser Erwartungen ist dass die beiden Punktwolken nicht ohne weite res verschwinden k nnen Voraussetzung daf r ist dass die H nde den Messbereich der Anlage nicht verlassen Dar ber hinaus werden die H nde einen kontinuierlichen Weg beschreiben Die H nde und somit auch die Punktwolken k nnen zwischen zwei Messungen nur eine bestimmte Wegstrecke zur ckgelegt haben daher springen die Punktwolken nicht Misst man Bewegungsrichtung und Geschwindigkeit kann man ei ne Aussage dar ber machen wo die Wolke sich ungef hr bei der n chsten Messung befinden wird 3 3 4 Startposition der Aktoren Allen Versuchen eine m glichst reibungslose und korrekte Verfolgung der H nde zu erzie len zum Trotz kann es immer wieder vorkommen dass entweder die Verfolgung der H nde oder aber die Zuordnung fehlschl gt Um in diesem Fall m glichst schnell weiter arbeiten zu k nnen stellt sich der Benutzer gerade in seine Ausgangspostion und streckt beide Arme links bzw rechts vom K rper in einem m glichst 90 betragenden Winkel ab Die H nde befinden sich nun in besonders beobachteten Bereichen werden hier Punktwolken erkannt wird die gesamte Erkennung zur ckgesetzt und davon ausgegangen dass die dort vorhan denen Punktwolken die H nde des Benutzers sind Dar ber hinaus wenn das System die Bewegung einer Hand nicht mehr verfolge
33. und in Abbildung ER de gleiche Hand wenn sie greift Im Fall des ART Trackers sei noch erw hnt dass das Greifen wie in Abbildung 4 1 anders aussehen sollte da das Ballen einer Faust die Reflektionskugeln einschlie en und folglich ein Tracking verhindern w rde In dem Fall w re ein Schlie en der Hand mit ausgestreck ten Fingern n tig Wird die ge ffnete Hand nun zu einer sich schlie enden Hand geformt verringert sich der Abstand des Daumens zu den anderen vier Fingern und somit auch zum Schwerpunkt Wird ein bestimmter Abstand unterschritten gilt die Hand als geschlos sen und der Aktor wird in den Status Gegriffen versetzt Dabei gilt es zu beachten das die Grenzen von Gegriffen und Ge ffnet nicht bei einandner liegen Es gibt im Abstand noch einen Bereich dazwischen eine Grauzone wo die Hand als undefiniert gilt Solange sich der Abstand des Daumens in dieser Grauzone bewegt wird der alte Zustand in unserem Beispiel also ge ffnete Hand bebehalten Erst wenn die Grenze zum Schlie en unterschritten ist wechselt der Status Wird die Hand wieder ge ffnet gilt die Hand solange als geschlossen bis die Grenze zum Ge ffnet sein berschritten wird Das verwenden einer Grauzone soll ein andau erndes ffnen und Schliessen der Hand verhindern wenn sich der Daumen der Gren ze n hert Die zu w hlenden Grenzewerte sind aus Versuchen zu ermitteln Die Werte sind variabel zu halten um sie sp ter durch ein vorheriges Einmessen der H
34. zu beschreiben Hebel Die Verhaltensweise des Einhand und Zweihandhebels sind in ihrer Umsetzung nahezu identisch Allein die Tatsache dass beim Hebel f r zwei H nde beide Griffe in den Abbil dungen B 2 a und c gr n dargestellt gegriffen werden m ssen damit eine Manipulation erfolgen kann ist unterschiedlich Sobald eine Grifffl che von einem Aktor gegriffen wird verf rbt sich diese Grifffl che rot und kann von keinem weiteren Aktor gegriffen werden Die Hebel verf gen in dieser Umsetzung ber einen Freiheitsgrad Dieser Freiheitsgrad bezieht KAPITEL 5 REALISIERUNG 54 sich auf die Rotation um die x Achse Die maximale Auslenkung um die x Achse betr gt Plus Minus 80 um die Ruheposition die orthogonal zur Schalttafel ist F r das Umschalten von einem Zustand m ssen jeweils 90 des gesamten Wertes des Frei heitsgrads berwunden werden Ist der Schalter aus ist er nach unten geklappt Von diesem Status aus muss er also einen Wert von 64 berschreiten damit der Status auf an wechselt Soll der Hebel wieder auf aus wechseln muss der Hebel einen Winkel von 64 unterschreiten Die Abbildungen 5 2 b und d zeigen die physikalische Repr sentation der Hebel mit Umrissen der grafischen Darstellung Das pinkfarbene Kreuz ist der Mittelpunkt eines Artefaktes um den eine Rotation stattfindet Dar ber hinaus ist das gelbe Griffobjekt zu sehen welches jeweils mit einem Aktor mittels Joint eine
35. zum Ver binden des Aktors mit einem Artefakt des Schaltpults passiert nichts weiter andernfalls wird ein Gegenstand freigegeben Beide H nde k nnen diese Gesten unabh ngig von einander ausf hren KAPITEL 4 DESIGN 40 Abbildung 4 1 Start und Endgeste 4 1 2 5 Steuergesten Die eigentliche Gestenerkennung findet hier statt Es handelt sich hierbei um manipulative und transformative Gesten Diese Einstufung der Gesten auf grundlage Handlungsgruppen f r Gesten 14 1 2 1 geschieht unter Betrachtung der physikalischen Simulation Die sp tere Darstellung in der 3D Simulation wird hierbei vernachl ssigt da die dort abgebildeten Ob jekte zum Teil wesentlich umfangreicher sind Grunds tzlich gibt es sechs Freiheitsgrade l ngs derer sich ein Objekt bewegen kann Drei Bewegungsgrade entlang der Raumachsen und drei Rotationsm glichkeiten auch jeweils um die drei Achsen im Raum Der Benutzer kann nun je nachdem wie diese Freiheitsgrade f r ein Artefakt gew hlt und konfiguriert sind dieses Artefakt manipulieren Das Ergebnis dieser Manipulation wird vom System ausgewertet Werden bei diesen Ergebnissen Zustands nderungen des Artefaktes entdeckt werden diese weiter gegeben Als Beispiel dient hier das Umlegen eines Hebels Der Hebel wird von unten nach oben bewegt Dabei spielt es keine Rolle wie lange es dau ert noch ob mitten in der Bewegung gestoppt wird Auch ein Loslassen oder ein kurzzeitiger Richtungswechsel haben keine
36. 1 3 a Welchen Abschluss streben Sie aktuell an 53 3 45 2 n 13 mw 1 5 s 0 50 E 0 5 g m 1 3 c Im wievielten Studiensemester befinden Sie sich Gesamtzahl 15 4 0 15 4 15 4 30 3 23 1 F n II KI u I co mes Z o 10 12 12 ANHANG B ERGEBNISSE 124 2 1 Wie lange verwenden Sie bereits Computer 0 0 0 100 0 n 13 mw 4 0 s 0 E 0 Ha Hal SR Keine vorkenntisse Bis zu einem Jahr 2 3 Haben Sie allgemeine Kenntnisse in Gestensteuerung DS 77 385 538 mess z SOS Muj in keine wenig mittelm ig gute Kenntnisse 2 5 Haben Sie bereits eine 3D Gestensteuerung Verwendet 23 1 30 3 33 5 7 7 n 13 mw 2 3 s 0 91 E 0 E selten h ufig gelegentlich 2 7 Haben Sie Erfahrungen mit Spiel Flugsimulationen 0 385 538 77 n 13 mw 2 7 s 0 61 E 0 keine wenig mittelm ig gute Kenntnisse 2 2 Wie lange verwenden Sie einen Computer pro Woche 0 0 0 0 454 769 n 13 mw 5 8 s 0 37 E 0 E x bi Val i N o o we in m N 2 4 Haben Sie bereits Kenntnisse ber 3D Gestensteuerung 77 45 2 385 77 u _ I oo 2 H Tom 22 z oS keine wenig mittelm ig gute Kenntnisse 2 6 Haben Sie bereits am Versuch zum Schaltbord teilgenommen 38 5 45 2 n 13 mw 1 5 s 0 50 E 0 lt 3 0 z ANHANG B ERGEBNISSE 125 3 1 Wie intuitiv war
37. 2 Sensorenadapter Im folgenden Abschnitt wird kurz auf die Umsetzung der bereiten zur Verf gung stehenden Sensoren und ihre Anbindung an das Gesamtsystem im einzelnen eingegangen http activemg apache org KAPITEL 5 REALISIERUNG 50 Name der Queue Beschreibung Hand Links H lt die Daten f r die linke Hand vor Hand Rechts H lt die Daten der rechten Hand vor Kopf Empf ngt die Position und aus Ausrichtung des Headup Displays SpaceSim Steuerung Spezielle Queue f r die Kommunikation mit dem externen Programm f r den Versuchsaufbau des virtuellen Cockpits link Tabelle 5 1 Namen der Queues auf der ActiveMQ Kinect for Windows Es werden die in Unterkapitel 4 2 1 aufgef hrten Anforderungen umgesetzt Die Umsetzung erfolgt mit Hilfe des Kinect SDK Version Ke die Programmiersprache ist CH Ad I Die Basis f r die Umsetzung bildet das Tutorial von Christian Kokott Kokott 2013 und das Tutorial Duncan 2013 und der dort enthaltende Sourcecode von Greg Duncan Die Anbindung an die ActiveMQ erfolgt die Erweiterung Apache NMS ActiveMQ Version 1 6 0 Der Start des Adapters aktiviert die Kinect sobald die Kinect aktive ist und eine Person erkennt wird die bertragung an die ActiveMQ gestartet 5 2 1 ART Tracker Die Urspr nge des Sensoradapters gehen auf die Arbeit Potratz 2011 zur ck und es kom men die gleichen Handschuhe siehe 4 2 f r den Anwender zum Einsatz Es werden f r d
38. 5 REALISIERUNG 57 die maximale Ausdehnung betr gt Wird der Knopf gegriffen und dann rein gedr ckt ndert sich sein Zustand auf an wenn der Abstand 20 der maximalen Ausdehnung unterschreitet Zus tzlich l st der Schaltknopf die Verbindung zum Aktor in diesem Moment Der Aktor schaltet auf seinen Zustand nicht gegriffen und der Schaltknopf springt wieder auf seine maximale Ausdehnung zur ck Von hier kann der Schaltknopf erneut gegriffen werden und dann durch erneutes Dr cken aber mals seinen Zustand von an wieder auf aus ndern Die Ausdehnung betr gt 0 8 Ma einheiten und sorgt daf r dass der gedr ckte Knopf nicht vollst ndig in der Schalttafel ver schwindet und immer ein St ck zu sehen ist Abbildung 5 5 Einnand Hebel 3D Ansicht a Physik Ansicht b Kippschalter Der Kippschalter verf gt ber einen Rotationsfreiheitsgrad um die y Achse Die Ruheposition des Artefakts liegt bei der Initialisierung genau zwischen beiden Zust nden Die maximale Rotation in eine Richtung betr gt 20 Zu Beginn wird der Status des Kippschalters auf an oder aus gestellt und so eine der beiden maximalen Auslenkungen gew hlt Der Kippschalter verf gt ber eine Besonderheit er besitzt grunds tzlich zwei Griffe wovon abwechselnd immer nur einer aktiv ist und gegriffen werden kann Wie in Abbildung 5 6 a zu sehen ist ist vom Benutzer aus betrachtet der linke Griff aktiv und gr n gef
39. 99 s uosideu uu 1 s S 1 uijouolne Buni n 1Ss inz gz ula JeA nym yI luuoy ef Z Z Z G JeJeny Uey uoj idso piA uauIyISeN Jop0 u n z yey uoa Buni n 1s Jop uy uol l6 r er Z r Z r r S r BunianslsenazUyeJ er Z E D r Js ndwon 1 1eq6e1 1 pO EN g z Bunzinsiejun uol l5elliVv jer g FF E E z opuelsnz ssiuBi i1g jne B6uni n 1S AI NE tIJ 6unu lp g an yessju er Z L Z Z r L ZY lt 9 S FFe Z FEN Tabelle B 10 Ergebnisse Fragebogen virtuelles Cockpit Teil 2 Hiermit versichere ich dass ich die vorliegende Arbeit im Sinne der Pr fungsordnung nach 22 4 bzw 24 4 ohne fremde Hilfe selbst ndig verfasst und nur die angegebenen Hilfsmit tel benutzt habe Hamburg 27 02 2014 Olaf Potratz
40. Abbildung 6 1 Verteilung der verwendeten Komponenten f r den Schalttafelversuch 6 1 2 Versuchsaufbau ll Das virtuelle Cockpit Wie aus der Abbildung 6 2 zu entnehmen ist hat sich der Aufbau des Systems zum vorhe rigen Test stark ge ndert Die Powerwall dient nun nicht mehr zur Gestenerkennung hier laufen lediglich noch der Kinect Adapter die ActiveMQ und das externe zu steuernde Pro gramm In diesem Fall handelt es sich um eine kleine Flugsimulation die mittels simulierten Artefakten gesteuert werden soll Die eigentliche Physiksimulation findet auf dem Laptop statt Von hier aus kann das erzeugte 3D Bild aus Sicht des Piloten direkt an das ange schlossene Headup Display ausgegeben werden In diesem Test wird das ART Tracking System sowie auch der Kinect Sensor gleichzeitig ver wendet allerdings beschr nkt sich der ART Tracker auf die Positions und Lagebestimmung des Headup Displays Der Kinect Sensor bernimmt das Tracken der H nde KAPITEL 6 USABILITY UNTERSUCHUNG 71 Powerwall PC Kinect Flugsimulation T Externes Programm USB Steuerkommandos Kinect Adapter lt lt recive gt gt Steuerung Steuerung 1 S des Aktoren Fliegers lt lt send gt gt 8 Message 3D Simulation Broker 5 ART Tracker Server Kopfposition lt lt send gt gt Powerwall Monitore ART Tracker Ak
41. Der n chste Abschnitt der Arbeit umfasste die Realisierung Es folgten technische Details zur Anbindung der einzelnen Sensoren als auch die Wahl einer Physik Engine Hier kamen Erfahrungen aus weiteren vorherigen Versuchsaufbauten zum Tragen Im Rahmen der Um setzung der Schalttafel wurden die Umsetzungen der einzelnen simulierten Artefakte genau beschrieben Auch die f r die Anzeige verwendeten simulierten Gegenst nde wurden hier genau aufgef hrt Im Anschluss daran wurden die f r die Ausgabe benutzen Ger te und deren Einbindung ins System genauer untersucht Im Anschluss folgte ein technisches Fazit und verschiedene M glichkeiten der Weiterentwicklung aufgezeigt Dar ber hinaus wurden noch andere Sensoren und Ausgabemedien vorgestellt die Verwendung in diesem Aufbau finden k nnten Es haben im Anschluss an die Realisierung zwei unterschiedliche Tests zur Untersuchung der Usability stattgefunden Es wurden der Testaufbau und die folgende Ausf hrung der Tests beschrieben Anschlie end fand eine Bewertung der Testergebnisse statt Den Abschluss dieser Arbeit bildet dieses Kapitel es enth lt diese Zusammenfassung ein Fazit und einen Ausblick 7 2 Fazit Die hier entwickelte Umsetzung des erdachten Frameworks bietet ein Beispiel f r eine phy sikbasierte Variante einer dreidimensionalen Gestenerkennung Die in der Umsetzung auf getretenen Schwierigkeiten und Grenzen des Systems liegen alle in technischen Bereichen Die limitierenden Fak
42. Diese Daten umfassen sowohl Position wie auch die internen Zust nde Die Physik Engine manipuliert ihre Daten selbstst ndig lediglich die Position und Zust nde der Aktoren werden von au en bei gesteuert KAPITEL 4 DESIGN 47 View Die View Komponente entnimmt die Daten zur Anzeige dem Modell und stellt die se dar Die View Komponente ist abweichend zum MVC Muster vollkommen passiv Dar ber hinaus kann man die Steuerung der externen Programme noch der View zu schreiben da dieser Teil auch bestimmte Zust nde innerhalb des Modells widerspie gelt Controller Die Adapter der jeweiligen Sensoren bilden den Kern des Controllers Sie liefern die Daten der H nde und des Kopfes an das Modell Observer Der Observer pr ft das Model als Ganzes auf Ver nderung Bei Ver nderung werden alle relevanten Daten die f r die grafische Ausgabe und die zum Steuern der externen Programme ben tigten Befehle sofern vorhanden dem Modell entnommen und passend an die View weitergegeben Sensoren ART Tracker Kinect Externe Programmsteuerung A Physiksimulation UDP 9 USB Aktoren S ART Trackdi Kinect Adapter Adapter P Right Hand Left Hand Aktoren A lt lt recive gt Aktoren Kopfposition lt lt send gt lt lt send gt gt Artefakt 1 gt A
43. E 0 nein viel ein wenig 3 1 Hilfestellung beim Erkennen des Rads 34 5 15 4 0 mum 22 Z K Soja GR O LA nein viel ein wenig 4 1 Hilfestellung beim Erkennen des Zweihand Rads 76 9 15 4 7 7 mess H z I i SS I O Oa GA nein viel ein wenig 1 2 Hilfestellung bei Funktionsweise des Hebels 76 9 15 48 7 7 n 13 mw 1 3 sz D I E 0 nein viel ein wenig 2 2 Hilfestellung bei Funktionsweise des Zweihand Hebels 54 5 15 4 0 13 1 2 0 36 0 mes nein viel ein wenig 3 2 Hilfestellung bei Funktionsweise des Rads 923 77 0 ma 3 iz SS r ci HA al Se nein viel ein wenig 4 2 Hilfestellung bei Funktionsweise des Zweihand Rads 923 0 77 13 1 2 0 53 0 meaa nein viel ein wenig ANHANG B ERGEBNISSE 116 5 1 Hilfestellung beim Erkennen des senkrechten Schieber 92 3 7 7 0 n 13 m 1 1 s 0 27 E 0 nein viel ein wenig 6 1 Hilfestellung beim Erkennen des waagerechten Schieber 100 0 0 10 mess Z Sono nein viel ein wenig 7 1 Hilfestellung beim Erkennen des Knopf 615 335 0 1 mum 22 Z GEI ER Ep EH nein viel ein wenig 8 1 Hilfestellung beim Erkennen des Kippschalter 92 3 7 7 0 n 13 mw 1 1 s 0 27 E 0 nein viel ein wenig 5 2 Hilfestellung bei Funktionsweise des senkrechten Schieber 84 5 15 4 0 13 1 2 0 36
44. G 3 am Hasso Plattner Institut erforscht und umgesetzt Der Ansatz dieser Arbeit versucht die Erkennung von Gesten vom eigentlichen Handeln des Anwenders zu trennen indem das System sich nur die Auswirkungen der Gesten anschaut Dies soll unter der Ber cksichtigung des schnellen Fortschreitens der Technik im Bereich der Sensorik geschehen innerhalb dessen die Gestenerkennung unabh ngig von einem bestimmten Sensor geschehen kann 1 2 Zielsetzung Das Ziel dieser Arbeit kann in zwei Teile aufgeteilt werden Zum einen soll das oben aufgef hrte Verfahren zur Gestenerkennung analysiert und die n tigen Eigenschaften die f r eine softwaretechnische Umsetzung von Bedeutung sind er mittelt werden Der praktische Teil dieser Arbeit umfasst die Entwicklung eines Softwaresys tems das die in der Analyse ermittelten Anforderungen ber cksichtigt Dieses System soll als Framework entwickelt werden um sp ter erscheinende Sensoren und Ausgabemedien einfacher integrieren zu k nnen Um die Gestenerkennung realisieren zu k nnen verf gt der Kern des Systems ber eine Physik gest tzte 3D Simulation Die Physik Engine bildet das Fundament f r die Erkennung der Gesten da es die Einhaltung der Eigenschaften und Regeln der einzelnen Gegenst n de sicherstellt Die vom Anwender erzeugten Gesten sollen dann durch die Interaktion mit der 3D Simulation erkannt werden und nicht wie h ufig blich nur durch reine Verarbeitung der Bewegungsabl ufe
45. Im weiteren Verlauf der Arbeit virtuelle Schalttafel Schaltpult oder auch Schaltbord genannt Die Metapher der Schalttafel hnelt der in 2 1 zu sehenden Schalttafel Die im Schaltpult befindlichen Ger te werden in dieser Arbeit als Schalttafel Artefakt oder kurz Ar tefakte bezeichnet Diese Artefakte umfassen zum Beispiel Schaltkn pfe Hebel und Stellr der Eine ausf hrliche Auflistung der Artefakte folgt im Anschluss Jedes Schalttafel Artefakt verf gt ber eine oder mehre Greiffl chen wie in 2 6 b beispielhaft verdeutlicht Bei einer Greiffl che handelt es sich um einen Bereich des Artefakts mit dem sich ein Aktor verbin den kann Dies erm glicht eine Vereinfachung der Handhabung mit den Artefakten da der Benutzer direkt erkennen kann wo er anfassen kann und soll Grunds tzlich kann sich nur ein Aktor mit einer Greiffl che verbinden zur Zeit verbinden Es ist allerdings m glich einen Schalttafelartefakt mit mehr als einer Greiffl che auszustatten um so eine beidh ndige Ak tion zu erzwingen Als ein Beispiel hierf r ist der zweih ndige Hebel der sp ter in 12 4 4 vorgestellt wird zu nennen Abbildung 2 1 Fotoausschnitt einer Schalttafel Quelle Schalttafel Die verwendeten Artefakte haben entweder diskrete oder kontinuierliche Zust nde Der einfachste Fall f r diskrete Zust nde sind An und Aus Wie im Beispiel des Schaltkopfes Die Postion des beweglichen Bestandteils des Artefaktes werden immer auf ge
46. K nig w nschte sich dass alles was er ber hrte zu Gold w rde In die Gestenerkennung bertragen bedeutet das die auch als Start Ende Problem bezeichnet Herausforderung sich darausdas ergibt dass ein System bei kontinuierlicher Bewegung des Benutzers in die Lage versetzt werden muss entscheiden zu k nnen wann eine bewusste Geste beginnt und wann diese wieder endet Dieses Problem hat zwei Seiten zum einen k nnen bewusste Gesten nicht rechtzeitig erkannt werden also der Anfang der Geste vom System verpasst werden was eventuell verhindert das eine Geste beziehungsweise die richtige Geste erkannt wird Zum anderen ergibt sich das Problem dass jegliche auch ungewollte Bewegung des Benut zers als Geste interpretiert wird Der Benutzer also ungewollt mit dem System interagiert Nachzulesen unter anderem in Hara 2011 wo auf die Ausf hrung dieses Problem einge gangen wird Kontextauswahl Genau wie das oben aufgef hrte Midas Touch Problem treten die Herausforderungen mit dem Ermitteln des Kontextes in dem eine Geste auftritt erst im dreidimensionalen Bereich auf Im 2D Bereich ergibt sich der Kontext bereits durch das Ber hren der Fl che Der darunter liegenden Desktop Metapher zufolge wird durch das Ber hren ein Element ausgew hlt in dessen Kontext man sich dann bewegt und welche ein bestimmtes Gestenrepertoire versteht Im 3D Bereich hingegen kann man das Problem nur insoweit umgehen in dem man den Benutzer stets nur in
47. KAPITEL 2 ANALYSE 6 spielen der Zustand der Person seine Haltung sowie seine Mimik eine wichtige Rolle bei der korrekten Interpretation der Geste Bei der Gestenerkennung spielt das sogenannte Start Ende Problem oder auch Midas Touch Problem eine gro e Rolle Die im Folgenden aufgef hrten Verfahren zur Gestenerkennung werden nur kurz angesprochen Da nach Analyse dieser Verfahren keine Verwendung zum L sen der in dieser Arbeit gestellten Aufgabe gesehen wurde wird auf eine tiefer gehende Beschreibung verzichtet und auf die entsprechenden Arbeiten verwiesen 2 1 2 Angewandte Gestenerkennung in 2D Gestenerkennung in einer zweidimensionalen Umgebung bedeutet dass die zu interpretie rende Geste sich auf zwei Dimensionen beschr nkt Ein beliebtes Eingabeger t sind Touchscreens vor allem Mobilger ten wie Smartphones oder Tablets w ren ohne sie kaum vorstellbar Wie in der Arbeit 2008 beschrieben kann als Eingabeger t f r 2D Gesten auch ein Touchscreen dienen Das Start Ende Problem kann hier im Zusammenspiel mit dem Ber hren des Touchscreens dem Start der Geste und dem Loslassen des Touchscreens als Ende der Geste behan delt werden Ansatz zur Erkennung der Gesten liefern hier die einzelnen Positionen der Ber hrung ber die Zeit Als m gliche Verfahren zur Gestenerkennung werden in hammadali Rahimi 2008 das Hidden Markov Modell die Support Vector Machines und die Space Time Linearisierung gena
48. Objekte verf gen Mittels bertragung wird nur der Zustand und die Position der einzelnen Objekte bertragen und st ndig aktuell gehalten Die Realisierung erfolgt ebenfalls mit Hilfe des JMonkeyEngine in der Version 3 Alle in der 3D Welt vorhanden Objekte sind eindeutig identifizierbar und k nnen somit gezielt ber ih ren Schl ssel angesprochen werden Dieser Schl ssel liegt den einzelnen Nachrichten des Message Brokers bei somit k nnen einzelne Objekte gezielt ver ndert werden In der praktischen Umsetzung hat sich gezeigt dass es sich nicht lohnt die Physikberech nung und die grafische Ausgabe getrennt zu starten da beide wie beschrieben das gleiche Framework nutzen Hierf r kann die grafische Ausgabe auch direkt ber die Physik ange sprochen werden Dies erleichterte die Entwicklung und Fehlersuche Das eigentlich ange strebte Verfahren ber den Message Broker bliebt aber erhalten und man kann beliebig viele weitere grafische Ausgaben anbinden Powerwall Die Powerwall wie in Abbildung 5 10 zu sehen ist mit 2 ATI Radeon HD 5870 Eyefinity 6 Grafikkarten ausgestattet und erm glicht so eine maximale Aufl sung von 5760 2160 Pixeln F r die anstehenden Versuche wird die Powerwall sowohl zur Berechnung der Phy sik als auch zur grafischen Anzeige der Schalttafel benutzt Wie dem Diagramm in 6 1 zu entnehmen ist wird auch die Kinect direkt an die Powerwall angeschlossen Somit befindet sich der ben tigte Adapter auf
49. Realit t frei bewe gen kann Die Google Glass verf gt von sich aus nicht ber die F higkeiten Lage und Ro tation des Kopfes festzustellen Wenn diese Aufgabe von einer anderen Komponente ber nommen wird k nnte die Google Glass ein wesentlich handlicherer Ersatz f r das benutzte Headup Display siehe 5 11 sein Die Google Glass k nnte die Rolle des Headup Displays in Verbindung mit der Leap Motion bernehmen 14nttp www oculusvr com 15http www google com glass start Kapitel 6 Usability Untersuchung 6 1 Aufbau F r die einzelnen Versuche werden unterschiedliche Versuchsaufbauten ben tigt Diese Ver suchsaufbauten und ihre Besonderheiten sollen hier im folgenden Abschnitt beschrieben werden Es handelt sich hierbei jeweils um eine Konkretisierung des generellen Aufbaumus ters aus dem vorherigen Kapitel 5 6 1 1 Versuchsaufbau l Die Schalttafel Bei dem Aufbau f r den Versuch mit der Schalttafel werden bis auf den ART Tracker Adap ter alle Software Komponenten auf dem Powerwall PC gestartet Diese Komponenten sind der Message Broker in Form der ActiveMQ Au erdem wird die Physiksimulation auf der Powerwall gestartet diese beinhaltet die simulierte Schalttafel Die Ausgabe der Schaltta fel erfolgt auf 4 von den 6 Monitoren der Powerwall Als letzte Komponente wird noch der Kinect Adapter auf der Powerwall gestartet sofern das Tracking der H nde ber die Kinect erfolgen soll Dieser Vorgang ist mit dem ART Tra
50. Schalttafel mit m glichen dort verwendbaren Komponenten auf Anschlie end wird untersucht welche Bewegungen beim Bet tigen dieser Schalttafelkomponenten gemacht werden und wie sich daraus Gesten ab leiten lassen Es werden die funktionalen Anforderungen aufgef hrt und zum Abschluss werden die in Projektausarbeitung 2013 ausgef hrten ersten Untersuchungen gezeigt 2 1 Mensch Maschine Kommunikation 2 1 1 Gestenerkennung Es bedarf vor der Gestenerkennung einer Unterscheidung um welche Art von Geste es sich jeweils handelt Joachim Boetzer f hrt in seiner Arbeit Heitsch 2008 eine Klassifizierung der Gesten nach Vladimir Pavlovic auf es erfolgt dort eine Aufteilung der Gesten in bewusste und unbewusste Gesten Bewussten Gesten wurden weiter in kommunikative und manipulative Gesten unterteilt Es soll sich dieser Unterscheidung f r diese Arbeit bedient werden Es werden beide Arten der bewussten Gesten verwendet Ein Gro teil der Arbeit wird ausschlie lich den manipulativen Gesten widmen Die Richtige oder besser gesagt die im jeweiligen Augenblick korrekte Bedeutung einer Geste zu erkennen ist schwierig Eine Geste kann viele unterschiedliche Aussagen haben Welche genaue Aussage der Initiator verfolgt l sst sich oft nur im Zusammenhang mit vielen Faktoren erschlie en Einige Faktoren sind unter anderem der Gesteninitiator selbst die Situation in der die Geste gemacht wird und der Empf nger der Geste Dar ber hinaus
51. Sollte die Schaltpult Anwendung noch nicht gestartet worden sein wird sie nun gestartet Der Tester sieht bei dem ersten Aufbau den Hebel ohne dass ihm explizit erkl rt wird das es sich bei dem Artefakt um einen Hebel handelt Dar ber hinaus sind die H nde des Pro banden nun ebenfalls in der Anwendung zu sehen Es werden die drei m glichen Zust nde seiner Abbildungen der H nde erkl rt siehe 5 4 2 Zugleich erfolgt noch der Hinweis wie mit den Handschuhen f r den ART Tracker am besten gegriffen werden kann Zum Abschluss der kurzen Einf hrung wird dem Benutzer noch mal gezeigt was passiert wenn das Sys tem einmal das Tracking der H nde verliert und wie der Benutzer dann seine H nde wieder einfangen oder bei den Wartepositionen abholen kann Nun beginnt der eigentliche Test Dieser Teil wiederholt sich f r alle Artefakte und wird in diesem Rahmen einmal exemplarisch f r das erste Artefakt den Hebel durchgesprochen Die Abbildung 6 5 zeigt eine Aufnahme mit Testperson und dem Zweihandrad Artefakt unter Verwendung des ART Tracker Systems Zuerst wird der Benutzer gefragt was er dort genau auf der Schalttafel sieht Sollte der Benutzer das Artefakt nicht erkennen werden ihm Tipps gegeben Nachdem die Art des Ar tefaktes gekl rt wurde wird die Funktionsweise zum Thema In vielen F llen ist der folgende Punkt unn tig gewesen da die Testperson bereits anfing nach dem Artefakt zu greifen und versuchte es zu bewegen Sollte d
52. Verbindung zu einem Aktor aufbaut sofern ein Greifen der Hand erkannt wird die durch diesen Aktor repr sentiert wird Abbildung 5 2 Einhand Hebel 3D Ansicht a Physik Ansicht b Zweihand Hebel 3D Ansicht c Physik Ansicht d KAPITEL 5 REALISIERUNG 55 Rad Die Umsetzung des Rads umfasst ebenfalls eine Variante f r eine Hand Abbildung 5 3 a und eine Variante f r zwei H nde Abbildung 5 3 c Bis auf die unterschiedliche Anzahl der ben tigten H nde zur Benutzung der Artefakte und die damit verbundene unterschiedliche Verwirklichung der physikalischen Eigenschaften und der grafischen Darstellung sind beide Artefakte gleich im Verhalten Beide R der verf gen ber einen identischen Freiheitsgrad f r die Rotation um die z Achse Der Rotationsumfang betr gt 1080 bzw 6 Pi Das Rad kann in diesem Fall also drei Mal um die eigene Achse gedreht werden Die Zustands nderung ist kontinuierlich von 0 100 Bei 0 ist das Rad vollst ndig rechtsherum gedreht Es gilt also als geschlossen Es kann nun links herum auf gedreht werden Abbildung 5 3 Einhand Rad 3D Ansicht a Physik Ansicht b Zweihand Rad 3D Ansicht c Physik Ansicht d KAPITEL 5 REALISIERUNG 56 Nach beispielsweise einer Rotation von drei Pi ist ein Wert von 50 erreicht Es kann jederzeit wieder rechts herum gedreht werden um den Vorgang r ckg ngig zu machen Dreht man nach der ersten Rotation von drei Pi weiter n
53. abe der Grafik gedacht anderseits ben tigt es zur Darstellung der Grafik selbst seine spezifische Position im Raum damit das passende Bild f r den Tr ger des Headup Displays errechnet werden kann Das Headup Display ben tigt somit auch eine eigene Sen sorenkomponente die es mit den ben tigten Werten versorgt In diesem Fall wurde das ART Trackingsystem zu Hilfe genommen um die Position zu bestimmen Das Headup Display wur de mit einem ART Tracker Artefakt vom Typ Brille5 kombiniert Das Artefakt wurde passend auf seine Ruheposition Kopf gerade Blickrichtung zur Powerwall ins ART Trackingsystem eingemessen Die vom ART Tracker errechneten Positions und Winkeldaten wurden emp fangen weiterverarbeitet und dann zur weiteren Verwendung ebenfalls der ActiveMQ zuge sandt Um das Bild f r das Headup Display zu errechnen wird das in der 3D Simulation vorhande ne Kamera Objekt mit den verarbeiteten Daten aus der ActiveMQ versorgt Headup Display KAPITEL 5 REALISIERUNG 64 und Kamera Objekt werden gleichgeschaltet Somit kann ber die Bewegung des Headup Displays die Kamera gesteuert werden Zus tzlich wird das erzeugte Bild noch auf dem PC ausgegeben an dem das Headup Display angeschlossen wird Somit k nnen weitere Per sonen verfolgen was der Tr ger des Headup Displays sieht Die beiden Screenshots 5 11 b und Silo zeigen die Artefakte die ber das Headup Display zu sehen sind wobei noch zu beachten ist dass die hier schwarzen P
54. ach links um zus tzliche drei Pi ist der Wert 100 erreicht und das Rad blockiert Eine weitere Rotation nach links ist nun nicht mehr m glich Schieberegler F r die Realisierung des Schiebereglers wird nur ein gelbes Griffobjekt verwendet da hier ausschlie lich die Verwendung mit einer Hand vorgesehen ist Es gibt zwei Auspr gungen des Schiebereglers Eine Variante wie sie in Abbildung 5 4 zu sehen ist kann l ngs der y Achse bewegt werden Die andere Variante ist um 90 nach rechts gekippt und kann so entlang der x Achse bewegt werden Die maximale Beweglichkeit betr gt 3 0 Ma einheiten Der Zustand des Artefakts selbst ist im Regelfall kontinuierlich Der Mittelpunkt des Artefaktes wird wie gehabt durch das pinkfarbene Kreuz wie in Abbil dung B 4 b zu erkennen ist dargestellt Kontinuierliche Zust nde werden von 0 bis 100 Prozent angegeben Die Entfernung l ngst der zu manipulierenden Achse ist daf r entscheidend Bei einem Abstand von 0 zum Miittel punkt entspricht dies einem Zustand von 0 Die Entfernung von 3 entspricht hier einem Zustand von 100 Abbildung 5 4 Schieberegler 3D Ansicht a Physik Ansicht b Schaltknopf Das Schaltknopf Artefakt besitzt ein Griffobjekt Es kann l ngs der z Achse bewegt werden Die Zust nde des Schaltknopfs sind diskret er besitzt zwei Zust nde Hierbei ist zu beach ten dass der Schaltknopf beim Start auf aus gestellt ist und sein Abstand zum Mittelpunkt KAPITEL
55. acking Systems ARTtracker Anleitung 2007 ist zu entneh men dass die Ermittlung der Position so wie die Rotation von starren bereits eingemessenen ART Trackerartefakte innerhalb des Messbereichs m glich ist XBox 360 Kinect Die Kinect von der xBox 360 die noch im ersten Versuch 2 7 zum Einsatz kam spielt im weiteren Verlauf dieser Arbeit keine Rolle mehr da sie nicht ber die ben tigten F higkeiten zum Erkennen des Greifens mit den H nden verf gt Kinect for Windows Die Kinect for Windows bringt einige Neuerungen mit sich Die wich tigsten sind wohl das Erkennen unter anderem vom Greifen und ffnen der H nde Die Kinect for Windows wird f r die Umsetzung sp ter eine tragende Rolle spielen Sofern in der Arbeit nicht anders beschrieben wird mit dem Begriff Kinect immer die Kinect for Windows gemeint Die Erkennung der Greif und Loslassgeste erfolgt bereits durch die Kinect und ihre Trei bersoftware selbst Unteranderem die Arbeit von Br ggemann 2013 erl utert den Aufbau und die Funktion der Kinect Die bermittlung einer gefundenen Geste erfolgt eventbasiert Dies bedeutet in diesem Fall dass nur in einem Datenpaket das von der Kinect gesandt wird steht dass eine Greifgeste gefunden wurde Die nachfolgenden Pakte enthalten keine Infor mationen ber das Greifen Sobald die Kinect feststellt dass die Hand sich wieder ge ffnet hat wird innerhalb eines Datenpakets mitgeteilt dass die Hand sich wieder ge ffnet hat
56. andere Physik Engines und ihre Einbindungen in 3D Grafik Engines wieder in Betracht gezogen werden Hier fiel vor allem die Jmonkey Engine 3 wieder in den Fokus mit der Verwendung von der Bullet Physik Engt Hm C Die Verbindung zwischen JMonkey welche in Java geschrieben ist und der Bullet Engine wird durch JBullel sichergestellt Mit dieser Engine wurden bereits ausgiebig Erfahrungen in der Umsetzung der Arbeit Potratz 2011 gesammelt Da JBullet in den ersten Versuchen passende Eigenschaften zeigte die grunds tzlich eine Umsetzung erm glichen und nicht zuletzt auch die M glichkeit einfacher selbst erstellte 3D Objekte in JMonkey einzuladen lie en die Wahl schlussendlich auf die JMonkey Engine und JBullet fallen 5 3 2 Entwicklung eigener Joints Die ber die JMonkey eingebundene JBullet Physik Engine bieten von sich aus Joints an Darunter fielen auch Joints die zum Verbinden des Aktors mit den Artefakten dienen k nn ten Bestimmte Varianten der Joints erf llten prinzipiell die Anforderungen aus 4 1 2 2 Al lerdings zeigte sich nach dem Fortschreiten der Umsetzung das diese Joints nicht immer zuverl ssig waren beziehungsweise ab und an ein inakzeptables Fehlverhalten an den Tag legten Da eine Fehlersuche im Rahmen des eigenen Programmcodes erfolglos blieb musste ein eigener Joint implementiert werden Obwohl f r die Physik Engine ODE geschrieben bot die Arbeit von Russel Smith Smith 2002 eine guten Einstieg f r d
57. as Touch Problem treten die Herausforderungen mit dem Ermitteln des Kontextes in dem eine Geste auftritt erst im dreidimensionalen Bereich so richtig auf Im 2D Bereich ergibt sich der Kontext bereits durch das Ber hren der Fl che Der darunter liegenden Desktop Metapher zufolge wird durch das Ber hren ein Element ausgew hlt in dessen Kontext man sich dann bewegt und welches ein bestimmtes Gestenrepertoire ver steht Im 3D Bereich hingegen kann man das Problem nur insoweit umgehen indem man den Benutzer stets in nur einem globalen Kontext h lt Dieses Verfahren ist aber zunehmend ineffizient Da man bei komplexeren Steuerm glichkeiten f r jede Steuerung eine eigene Geste bzw eine eindeutige Abfolge bestimmter Gesten ben tigt Will man dieses Problem l sen und dem Benutzer mehrere Kontexte zur Verf gung stellen in denen man dann ber geordnet betrachtet ob die gleichen Gesten unterschiedliche Auswirkungen haben muss man der Gestenerkennung noch eine Kontextermittlung vorschalten 2 5 2 Start und Endgeste Wie im Abschnitt 2 1 4 beschrieben st t man bei der Gestenerkennung im Raum auf die Problematik dass Start und Ende einer Geste nicht ohne Weiteres erkannt werden k nnen Die folgende Herangehensweise zum L sen sieht vor dass zwei gesonderte Gesten definiert werden eine Start und eine Endgeste Es handelt sich hierbei um kommunikative Gesten da sie dem System getrennt von der eigentlichen Simulation etwas mitteilen
58. atlon lt 4 4 kus kunu aaa en 2 1 2 ZIO SElZUNG L A lt s ea yasa aine ie ger ee ara bear 3 1 3 Gliederung der Arbeit 4 5 2 1 Mensch Maschine Kommunikationl 5 2 1 1 Gestenerkennungl 5 2 1 2 Angewandte Gestenerkennung in Zi 6 2 1 3 Angewandte Gestenerkennung in 3D 2 2 222m 6 2 1 4 Herausforderungen in der 3D Gestenerkennung 22 2 7 2 2 Themenverwandte Arbeiten 8 2 2 1 A User Interface Framework for Multimodal VR Interactions 8 EECHER 8 2 2 3 HoloDesk Direct 3D Interactions with a Situated SeeThrough Display 9 2 2 4 weitere Arbeiten onoo 10 r s suu ee ee Dee a e De ee 11 2 4 Schalttafell 12 de a a A e a Ga 13 2 4 2 Schaltknopf A ENEE a 14 243 G ENEE 15 2 44 Hebell 2 Common 16 goa Sup ee ee Te DR RER REEL 17 S O JOYSIICKI 2 unu s Saar 2 uyu qo ar 2 se de ee 18 Ps SS SPS P S PS ee 19 2 5 1 Kontext e 19 2 5 2 Start und Endgeste 19 s e A sa ae ee e 20 2 6 Funktionale Anforderungen 24 INHALTSVERZEICHNIS 2 6 1 Abgrenzung 2 7 Erste Untersuchungen 3 Algorithmen 3 1 Aufbereitung der ART Trackerdaten 3 2 Abstraktion auf Aktoren ART 3 3 Aktorzuordnung 3 3 1 Anzahl der H ndel 3 3 2 Hypothese Normale Posen 3 3 3 Erwartungshaltung an Aktorbewegung e 3 3 4 Startposition der Aktoren 3 4 Gestenerkennung ART 5 4 1 Funktionalit t 2 2 2 4 1 1 Abgrenzung der
59. bjekten sehr realit tsnah Die Arbeit ist aktuell und veranschaulicht gut die zurzeit vorhandenen M glichkeiten Insbe sondere das Physikmodell der Aktoren aus zusammengesetzten einzelnen Kugeln und die darauf m gliche realit tsnahe Interaktion beim Greifen von Objekten ist sehr interessant auch wenn sich dieses Verhalten in ersten Versuchen nicht exakt nachbauen lie KAPITEL 2 ANALYSE 10 2 2 4 weitere Arbeiten Mitunter durch die Ver ffentlichung der Kinect und deren M glichkeiten zum Erkennen von Gesten sind in den letzten Monaten viele neue Arbeiten im Bereich der drei dimensionalen Gestenerkennung erschienen Im folgenden sollen einige davon kurz aufgef hrt werden Die Arbeit S hmelioglu 2011 von Burak S hmelioglu Experimenteller Vergleich von Tech niken zur intuitiven Interaktion in Augmented Reality Anwendungen beschreibt grundlegen de Methoden zur Interaktion in einem virtuellen Raum In diesem Rahmen werden auch verschiedene Gestenerkennungen im 3D Bereich vorgestellt In der Arbeit Human Gesture Recognition Using Kinect Camera 2012 von Orasa Patsadu und anderen wird eine Gestenerkennung auf Basis von Data Mining Me thoden vorgeschlagen und mit herk mmlichen Verfahren zu Gestenerkennung wie Support Vector Machines Entscheidungsb um verglichen Die Arbeit Human computer Interaction using Pointing Gesture based on an Adaptive Vir tual Touch Screen Ye peng 2013 von Pan Jing und Guan
60. bleibt erhalten nur die beteiligten Einzelkompo nenten ver ndern ihre Position oder Anordnung zu einander Manipulation Die Manipulation kann die Position und die Rotation des Assemblys im Raum betreffen Hierbei wird das gesamte Assembly bewegt 4 1 2 2 Joints Ein Joint ist ein innerhalb einer Physiksimulation verwendetes Verbindungsst ck zwischen zwei einzelnen physikalischen Objekten In diesem Zusammenhang sei auf die Arbeit von Russel Smith Smith 2002 verwiesen in der verschiedene Arten von Joints in seiner Arbeit auff hrt Philipp Ro berger beschreibt Joints in seiner Arbeit Ro berger 2008 als Feder Masse Systeme Grunds tzlich umfasst der Begriff Joint sehr viele Arten von M glichkeiten wie Gegenst nde miteinander verbunden werden k nnen Es besteht die M glichkeit die Aktionen die zwei Objekte die mittels Joints verbunden sind einzuschr nken Bestimmte Joints erlauben nur Rotationen um ausgew hlte Achsen andere erlauben nur innerhalb bestimmter Grenzen die Bewegung eines der Objekte bevor das andere Objekt beeinflusst wird F r das zu entwickelnde System sind mehrere Arten von Joints n tig Welche die die Bewe gungsm glichkeiten einschr nken und welche die hnlich eines Gummibands Kr fte von KAPITEL 4 DESIGN 38 einem Objekt auf das andere Objekt bertragen k nnen Es gibt keine einheitlichen Umset zungen in den verschiedenen Physik Engines Somit gilt bei der Wahl einer Engine darauf zu a
61. ch 4 2 Wenn Ja Welche Einsatzbereiche k nnten Sie sich vorstellen Anhang B Ergebnisse Die Ergebnisse der Frageb gen wurden h ndisch in den Computer bertragen Die Dia gramme wurden mit einem selbst entwickelten Programm in Java erstellt ANHANG B ERGEBNISSE 108 Abk rzung Bedeutung n Anzahl der Testpersonen mw Mittelwert s Standardabweichung E Anzahl der Enthaltungen Tabelle B 1 Legende f r die Diagramme der Frageb gen Diagramme Schalttafel Fragebogen 1 1 Bitte geben Sie Ihr Alter an 0 454 385 77 77 30 8 n n 13 mw 4 0 s 1 52 E D VO vo e CH CH CH bai D c n E ES q N N m m 1 2 Bitte geben Sie Ihr Geschlecht an 53 3 46 2 0 M nnlich Weiblich 1 3 Sind Sie zur Zeit WiSe 2013 201 4 eingeschriebener Student einer Hochschule 61 5 33 5 n 13 mw 1 4 s 0 49 E 0 lt 3 S 1 3 b Welchem Studienrichtung geh ren Sie an 62 5 12 5 12 5 12 5 n 8 mw 1 8 s 1 09 E 5 D E 5 z E Ei o 2 m z 1 3 d Welchen Beruf gehen Sie derzeit nach 40 0 20 0 20 0 20 0 5 n mw 2 2 s 1 17 E 8 Gelb K Sonsulte A 2 7 ec ntner 1 3 a Welchen Abschluss streben Sie aktuell an 50 0 37 5 12 5 n 8 mw 1 6 s 0 70 E 5 c co ko z m e 1 3 c Im wievielten Studiensemester befind
62. chlecht mittelm ig gut sehr gut Enthaltung O O O O O O 4 12 Wie hilfreich war das akustisches Feedback gar nicht schlecht mittelm ig gut sehr gut Enthaltung O O O O O O 5 Allgemeine Fragen zur 3D Gestensteuerung 5 1 Oft bestehen Zweifel des Benutzers ob Seine Interaktionen Gesten vom Computer richtig verstanden wurden In wie weit Ihrer Meinung nach konnte mit diesem System da gegen gewirkt werden Sensorfehler au en vor gelassen 5 2 K nnen Sie sich eine allt gliche Benutzung von einer 3D Gestensteuerung vorstellen Bewertungsbogen f r einen Probanden im Testdurchlauf es Hebels es Zweihand Hebels Hebel 1 1 Hilfestellung beim Erkennen des Hebels nein Ein wenig viel O O O 1 2 Hilfestellung bei Funktionsweise d nein Ein wenig viel O O O Zweihand Hebel 2 1 Hilfestellung beim Erkennen des Zweihand Hebels nein Ein wenig viel O O O 2 2 Hilfestellung bei Funktionsweise d nein Ein wenig viel O O O Rad 3 1 Hilfestellung beim Erkennen des Rads nein Ein wenig viel O O O 3 2 Hilfestellung bei Funktionsweise d nein Ein wenig viel O O O es Rads Zweihand Rad 4 1 Hilfestellung beim Erkennen des Zweihand Rads nein Ein wenig viel O O O 4 2 Hilfestellung bei Funktionsweise d nein Ein wenig viel O O O Senkrechten Schieber es Zweihand Rads 5 1 Hilfestellung beim Erkennen des senkrechten Schieber nein Ein wenig viel O O O 5 2 Hilfestellung bei Fun
63. chten ob die dort vorr tigen Joints die Anforderungen erf llen k nnen 4 1 2 3 Kontextwahl Innerhalb einer Physiksimulation besteht die Kontextwahl darin das entsprechende Arte fakt auszuw hlen mit dem interagiert werden soll und das somit zur Gesteninterpretation herangezogen wird Diese Artefakte bestehen nun selbst aus einzelnen Teilobjekten Jedes Artefakt wird mit einem oder mehreren Objekten best ckt mit denen ein Aktor sich verbin den kann Diese Objekte werden Greifobjekte oder kurz Griffe genannt Es wird der Kontext des Artefaktes gew hlt mit dessen Griff sich ein Aktor verbindet Im folgenen werden vier verschiedene M glichkeiten aufgef hrt wie so eine Verbindung ent steht und wie lange sie Bestand hat Kontextwahl mittels Reibung Der Aktor ber hrt den Griff eines Artefakts die Physik Simulation errechnet anhand von Oberfl cheneigenschaften und auftretenden Kr ften die entstehende Reibung Das Physi kobjekt wird ausschlie lich durch die errechneten Reibungskr fte manipuliert Die Kontext wahl entsteht impliziet durch die Ber hrung beider Objekte Bei dieser Variante sollten die Griffe so geformt sein dass m glichst eine gro e Oberfl che f r die Reibung zur Verf gung steht Entfernt sich der Aktor wieder und die Ber hrung zwischen den beiden Gegenst nden endet ist auch die Wahl des Kontextes wieder aufgehoben Kontextwahl mittels Kollision Der Aktor schneidet das Greifobjekt Beide Objekte werden nun
64. cker Adapter abzustimmen da nur einer der beiden Adapteranwendungen zur gleichen Zeit laufen darf Der ART Tracker Adapter wird auf einem sekund ren Computer gestartet damit man eine separate Bildschirmausgabe der Punktwolken bekommt Ein Bild dieser Aussage ist der Ab bildung B 3 zu entnehmen Das ART Tracking System selbst besitzt seinen eigenen Server der ohnehin getrennt von dem eigentlichen Versuchsaufbau vorhanden ist Ein berblick ber diesen Aufbau kann dem Diagramm in 6 1 entnommen werden Der Bereich vor den Bildschirmen der Powerwall ist freiger umt es befinden sich keine weiteren Gegenst nde im Messbereich der Trackingsysteme Aus diesem Grund wird an dieser Stelle von einem Foto des Versuchsaufbaus verzichtet und auf die Abbildung 5 10 a verwiesen KAPITEL 6 USABILITY UNTERSUCHUNG 70 Powerwall PC ART Tracker Server Kinect JMonkey Engine Physiksimulation ART Track d racker Q USB Fre z S Kinect adape Right Hand Left Hand Aktoren lt lt recive gt gt Pa Laptop F UDP Li Aktoren Artefakt lt lt send gt gt a Le eg z ART Tracker Message z Adapter Broker Steuergesten Anzeiger rO erkennung N A N NL Q E Powerwall Monitore 3D Simulation Sound SS
65. des Tasters findet l ngs der z Achse statt Grunds tzlich ist der Taster in der Position Aus Wird der Taster gedr ckt wechselt er in den Zustand An Nachdem der Taster losgelassen wird springt der Taster nach kurzer Zeit wieder in den zustand Aus und kann von hier aus erneut gedr ckt werden Kippschalter Als weitere M glichkeit f r ein Artefakt das die Dr ckgeste behandelt soll hier ein Kippschalter genannt werden Wie auch der Taster besitzt der Kippschal ter die zwei diskreten Zust nde An und Aus Die Manipulation findet auch durch Dr cken statt allerdings bewegt sich das Artefakt selbst um die y Achse Die Beson derheit des Kippschalters ist seine wechselnde Fl che an der gegriffen werden kann Die hervorstehende Fl che kann gegriffen und rein gedr ckt werden Dabei ndert der Kippschalter seinen Zustand von An nach Aus oder umgekehrt Ist der Zustand ge ndert l st der Kippschalter eigenst ndig die Verbindung mit der Hand und verweilt in seinem Zustand Nun kann mit der Hand die andere aktiv gewordene Fl che gegriffen werden und der Benutzer kann den Zustand des Kippschalter durch erneutes Dr cken wieder zur ck setzen Eine Abbildung des Kippschalters findet sich unter 3 b Abbildung 2 3 a Abbildung eines Tastschalters Quelle b Abbildung eines Kippschalters KAPITEL 2 ANALYSE 15 2 4 3 Griff Der Griff stellt ein Artefakt dar welches entlang einer Achse beweg
66. dieser Arbeit durch die Beobachtung der simulierten Gegen st nde welche dem Anwender jedoch noch sichtbar gemacht werden verwirklicht Es ge schieht keine Interpretation einzelner Teilbewegungen des Benutzers sondern ausschlie lich die durch sein Handeln verursachten nderungen an zuvor genannten virtuellen Ge genst nden 1 1 Motivation Zurzeit werden f r die Kommunikation zwischen Mensch und Maschine meist reale Con troller ben tigt F r die Kommunikation im Nahbereich sind Kommunikationsformen durch Ber hrung wie Tastatur oder Touchdisplay sicherlich konkurrenzlos Sofern man auf eine distanzierte Kommunikation angewiesen ist muss meist auf Fernsteuerungen oder hnli ches zur ckgegriffen werden In einer optimalen Kommunikation zwischen Mensch und Ma schine sollte allerdings generell auf Controller verzichtet werden und die Interaktion sollte m glichst einfach und intuitiv gestaltet werden Aufgrund der Verbreitung immer gr erer Displays Flat Screens aber auch dem Ausbau von Medienfassaden r ckt diese Heraus forderung weiter in den Mittelpunkt Durch den rasanten technischen Fortschritt in Bereichen der Kamerasensorik werden im mer bessere aber auch preislich erschwingliche Systeme auf den Markt gebracht Somit er schlie t sich dieser Forschungs und Arbeitsbereich einer gr eren Gruppe von Menschen Ein interessanter Ansatz hierzu wird an dem Forschungsgebiet der Imagin ren Interfaces KAPITEL 1 EINLEITUN
67. dliche Verfahren der Kontextwahl Als Abschluss wird auf Steuergesten n her eingegangen 4 1 1 Abgrenzung der Sensorik F r die Umsetzung werden der ART Tracker mit passiven Markern und die Kinect for Windows als Sensorkomponenten verwendet Andere Sensortechniken mit ihren spezifi KAPITEL 4 DESIGN 37 schen Eigenheiten und darauf angepassten Verfahren um dort die H nde und eine Start Endegesten zu finden werden im weiteren nicht ber cksichtigt Es soll sich bei der Umset zung um einen Prototypen handeln und keinesfalls um eine fertiges Produkt 4 1 2 Gestenerkennung in der Physiksimulation 4 1 2 1 Handlungsgruppen f r Gesten Wie in 2011 beschrieben kann man die Gesten innerhalb einer Physiksimulation in vier Kategorien einteilen Eine Gruppe umfasst die Handlungen die notwendig sind um auf eine Geste schlie en zu k nnen Diese vier Gruppen werden im Anschluss kurz aufgef hrt Konstruktion Eine Konstruktionsgeste liegt vor wenn zwei einzelne physikalische Gegen st nde sich verbinden und so ein neues Assembly erschaffen Im Gegensatz zu der Auslegung in 2011 ist es nicht nur m glich Assemblys durch Kollision zu erschaffen sondern auch wenn sie durch Joints miteinander verbunden werden Destruktion Es liegt eine Destruktionsgeste vor falls ein bestehendes Assembly aufgel st wird Es ist dabei unerheblich ob andere Assemblies durch dieses Handeln entstehen oder nicht Transformation Das Assembly als ganzes
68. dungen innerhalb der 3D Simulation nicht m glich KAPITEL 5 REALISIERUNG 53 Abbildung 5 1 Hand offen a Hand gegriffen b Hand nicht gegriffen c 5 5 Umsetzung des Schaltpults Die Umsetzung des Schaltpultes umfasst mehrere Bereiche Zum einen geht es um die phy sikalische und grafische Modellierung der Artefakte zum zweiten wird innerhalb der Artefak te die angestrebte Gestensteuerung umgesetzt Die Artefakte selbst ndern ihren Zustand wenn bestimmte Grenzwerte berschritten werden Als Beispiel sei hier der Knopf genannt der wenn er weit genug rein gedr ckt wird von nicht gedr ckt auf den Zustand gedr ckt wechselt ber die Schalttafel werden dann alle Zust nde der verwendeten Artefakte ge sammelt oder direkt an den Message Broker bermittelt Dar ber hinaus ist es m glich das Schaltpult anzusprechen um die Artefakte in bestimmte Ausgangszust nde zu versetzen Im weiteren werden nun die Umsetzungen der einzelnen Artefakte beschrieben und Bezug darauf genommen wie die einzelnen Gesten erkannt werden k nnen 5 5 1 Umsetzung der Artefakte Bei der Umsetzung der Artefakte gilt es zu beachten das ihre maximale Auslenkung selbst bestimmt ist Das Schaltverhalten der Artefakte hingehen ob diskret oder kontinuierlich h ngt hingegen von dem beim Start eingesetzten Anzeiger ab Die Artefakte werden mit ihrem f r gew hnlich eingesetzten Anzeiger beschrieben um ihr offensichtliches Verhalten einfacher
69. e Mehrheit der Probanden die Steuerung als schwer oder mittelm ig nur wenige empfanden sie als gut oder sehr gut Alle Benutzer w nschen sich ein weiteres Feedback die meisten davon ein haptisches Feed back einige auch eine akustische R ckmeldung oder eben beides Abschlie end kann man ber diesen Test sagen dass die Benutzung zu Anfang gew h nungsbed rftig ist Auch h tte ein kontinuierlich reagierender Joystick sicher dazu beige tragen das die Steuerung als einfacher empfunden wurde Alles in allem kann man den Versuch als Erfolg sehen Kapitel 7 Schluss 7 1 Zusammenfassung Die Ziele dieser Arbeit waren die Entwicklung einer dreidimensionalen Gestensteuerung und die Durchf hrung einer Usability Untersuchung Die Gestensteuerung sollte anhand von vir tuellen Gegenst nden unter Verwendung einer Physik Simulation stattfinden Die Untersu chung sollte zeigen inwieweit Abbildungen von realen Gegenst nden in Form und Funktio nalit t eine Benutzung solcher Systeme vereinfachen k nnen Im Zuge der Arbeit wurden verschiedene Gestenerkennungen kurz beleuchtet und mehrere themenverwandte Arbeiten vorgestellt und f r die eigene Arbeit als Grundlage und Ideen geber herangezogen Im Anschluss an das Szenario folgte die Vorstellung der Schalttafel Metapher sowie verschiedene Artefakte wie Hebel und Schaltr der Dieses Artefakte sind al le realer Natur Es werden Gesten gesucht die beim Benutzer dieser Artefakte gebr uchlic
70. e aufgef hrte Schaltverhalten mit der 80 20 Regel ist durch diesen Anzeiger gepr gt Sind nderungen f r einzelne Artefakte die mit einem Lampenanzeiger verkn pft sind erw nscht gilt es eine weitere anders implementierte beziehungsweise konfigurierte Instanz dieses Anzeigers zu erschaffen Wasserstandanzeiger Der Wasserstandanzeiger ist die zweite Variante einer Umsetzung f r einen Anzeiger Die ser Anzeiger verf gt ber eine kontinuierliche Darstellung von 0 bis 100 Die Anzeige erfolgt KAPITEL 5 REALISIERUNG 61 durch einen simulierten Wasserpegel Der Pegelstand steigt mit einer kleinen Verz gerung und pro Zeiteinheit nur um ein bestimmtes Ma Ein schlagartiger Wechsel von null auf hun dert oder umgekehrt ist somit nicht m glich Einerseits soll dies eine gewisse Nat rlichkeit simulieren andererseits wird damit auch ein m gliches Zittern des Artefakts welches durch ein Zittern des Aktors verursacht wird f r die Anzeige unterbunden Der Wert 0 wird durch einen nicht mehr sichtbaren Pegel gezeigt Der Wert 100 durch eine bis zum oberen Rand gef llte Wassers ule Die Darstellung dazwischen ist linear sprich bei einem Wert 50 ist die Wassers ule bei der H lfte angelangt Abbildung B 9 c und B 9 d zeigen den Wasserstan danzeiger mit unterschiedlichen Werten Anzeigemeter Das Anzeigemeter ist inspiriert durch ein Tacho oder Voltmeter Hier wird aber der innere Zustand eines Artefakts abgebildet und keine Messgr
71. eben sich daraus Vorteile zur Zuordnung von Aktoren Es k nnen dar ber hinaus auch weitere Einschr nkungen im Suchraum vorhandener Punkt wolken vorgenommen werden Blickrichtung Eine fest vorgegebene Hauptblickrichtung ist in diesem Fall nicht n tig da durch das Tracking die genaue Lage des Kopfes und somit auch eine genauere Lage der Person bestimmbar ist Sollte sich der Proband um 180 um die eigene Achse drehen w rde das System dies registrieren und folglich die Erwartung wo linke und rechte Hand zu suchen sind tauschen Position und Haltung der Arme Solange die beiden H nde und Arme nicht ber Kreuz gelegt werden kann die korrekte Zuordnung der Aktoren erfolgen Sollten sich beiden H nde links oder rechts vom ermittelten Kopf befinden wird der Aktor der dichter am Kopf ist der Hand der gegen ber liegenden Seite zugeordnet Abstand der H nde zum Kopf Wird die Position des Kopfes als Mittelpunkt der Person ge sehen kann von ihr aus mit dem Radius einer Arml nge eine Kugel errechnet werden in der sich beide H nde befinden m ssen Diese Vorstellung ist etwas vereinfacht da die Arme nicht direkt am Kopf beginnen und der genaue Abstand ohne spezielle Posen beim Einmessen nicht ermittelbar w re Au erdem erlaubt das Schultergelenk dem Arm keine halbkugelf rmige Bewegunggsfreiheit 3 3 3 Erwartungshaltung an Aktorbewegung Verhalten der H nde in Bewegung Davon ausgehend dass es sich bei den zu verfolgen den Punktwolken
72. einem globalen Kontext h lt Dieses Verfahren ist aber zunehmend ineffizient Da man bei komplexeren Steuerm glichkeiten f r jede Steuerung eine eigene Geste bzw eine eindeutige Abfolge bestimmter Gesten ben tigt Will man dieses Problem l sen und dem Benutzer mehrere Kontexte zur Verf gung stellen in denen man berge ordnet betrachtet ob die gleichen Gesten unterschiedliche Auswirkungen haben muss man der Gestenerkennung noch eine Kontextermittlung vorschalten Verschiedene m gli che Verfahren zur Wahl des Kontextes werden in dieser Arbeit in Abschnitt 4 1 2 3 aufgef hrt KAPITEL 2 ANALYSE 8 2 22 Themenverwandte Arbeiten Im folgenden Unterkapitel sollen drei bereits durchgef hrte Projekte vorgestellt werden auf die in der Arbeit Bezug genommen wurde und die sowohl in der Entwicklung des Szenarios als auch bei der Umsetzung einer L sung f r das Szenario beteiligt waren Die hier genann ten Projekte wurden bereits detailliert in der Arbeit Potratz 2012b vorgestellt Auf Grund ihrer immer noch stark vorhandenen Relevanz werden sie hier noch einmal kurz aufgef hrt F r ausf hrlichere Informationen sei auf 2012b verwiesen 2 2 1 A User Interface Framework for Multimodal VR Interactions Die Arbeit Latoschik 2005 aus dem Jahre 2005 von Marc Latoschik umfasste eine mul timodale Interaktion in einer virtuellen Umgebung Die Realisierung wurde mittels Gestik Sprache und dort vorliegenden Kontextinformationen umge
73. en Sie sich Gesamtzahl 25 0 0 0 0 _375 375 12 10 121 ANHANG B ERGEBNISSE 109 2 1 Wie lange verwenden Sie bereits Computer 0 0 0 100 0 n 13 mw 4 0 s 0 E 0 MO MO 2 2 Wie lange verwenden Sie einen Computer pro Woche 0 454 0 0 462 385 Keine Yorkenntisse keine nie Bis zu einem Jahr wenig selten mittelm ig gelegentlich 30 3 23 18 7 7 335 gute Kenntnisse 45 2 30 3 15 4 7 7 h ufig 2 3 Haben Sie allgemeine Kenntnisse in Gestensteuerung 1233 N co ER 2 5 Haben Sie bereits eine 3D Gestensteuerung Verwendet 1 I CR N mum 32 UZ oo n 13 mw 4 9 s 1 3 E 0 E x bel Val oO nr N o oO we d D Ka N 2 4 Haben Sie bereits Kenntnisse ber 3D Gestensteuerung 46 2 15 4 30 3 7 7 w 2 SZ ss 5 e 2 o KA E w u _ I oo 2 0 EE z o mo ANHANG B ERGEBNISSE 110 3 1 1 Wie intuitiv war f r Sie die Steuerung der H nde 3 1 2 Wie Bewerten Sie deren Funktionsweise 77 77 77 45 2 30 3 0 0 234 692 77 n 13 n 13 mw 38 mw 38 s 1 17 s 0 53 E 0 E 0 gar nicht schwer mittelm ig sehr out sehr schlecht schlecht mittelm ig gut sehr gut 3 2 1 Wie intuitiv war f r Sie die Greif Loslassgeste 3 2 2 Wie Bewerten Sie deren Funktionsweise 15 4 30 8 53 3 0 77 20 35 45 2 15 4 We u N co
74. en auch bei anderen Sensoren Verwendung finden 3 1 Aufbereitung der ART Trackerdaten Die Daten des Motiontrackers werden in einzelnen Paketen bermittelt Jedes dieser Pakete beinhaltet alle zu einem Zeitpunkt erkannten Punkte Sie bilden also eine Momentaufnah me Die bermittelten Daten innerhalb der ART Tracker Pakete sind verrauscht Verrauscht bedeutet in diesem Fall dass die Datenpakete Punkte enthalten k nnen die nicht von den Handschuhen stammen berdies kommt es vor dass nicht alle Punkte der Handschuhe bei jedem Abtastzyklus erkannt oder deren Position korrekt erkannt wurden Der ART Tracker durchl uft bis zu 30 mal pro Sekunde diesen Abtastzyklus der im weiteren Verlauf auch als Frame bezeichnet wird Bei der Aufbereitung der Daten gilt es vor allem dieses Rauschen herauszufiltern und so gut wie m glich zu minimieren Die folgenden hier aufgef hrten Verfahren werden unter dem Begriff Disambiguierung zusammengefasst KAPITEL 3 ALGORITHMEN 27 Erwartung Rohdaten ENEE Auswertung von vom EN der Punkten ART Tacker E ng Punkt IDs amp Wolken Zuordnung Max Schwerpunkt bestimmung Den der Wolke der Aktoren Abbildung 3 1 Darstellung der maximalen Ausdehnung der Finger Messbereichseingrenzung In einem ersten Schritt sollen alle ermittelten Punkte entfernt werden bei denen sichergestellt ist dass sie nicht von den Handschuhen stammen k nnen Der relevante Messbereich wird zuerst in Form eines Quad
75. en die in 2012b gemachten Aussagen bez glich der Relevanz der Arbeit da sich heraus gestellt hat dass die Interaktion mittels Joint doch das bevorzuge Interaktionsverfahren darstellt 2 2 3 HoloDesk Direct 3D Interactions with a Situated SeeThrough Display Bei der Arbeit von Otmar Hilliges u a 2012 handelt es sich um einen Aufbau mit durchsichtigen Display und einem Kinect Sensor Die Positionen im virtuellen und realen Raum berschneiden sich der Benutzer sieht das Objekt real genau an der Position wo es sich auch in der Simulation befindet Als Sensor kommt eine Kinect zum Einsatz die mittels Spiegel so umgelenkt wird dass sie von oben die H nde oder andere Objekte innerhalb des Versuchsaufbaus beobachten kann Die Daten der H nde werden weiterverarbeitet Die Verarbeitung erfolgt in mehreren Schritten am Ende der Verarbeitungskette gibt es ein oder mehre physikalische Assamblies in der Physik Engine Diese Assamblies bestehen aus ein zelnen Physikobjekten in diesem Fall kleinen Kugeln die durch Joints auf ihren Positionen gehalten werden Die Interaktion zwischen Mensch und Simulation findet durch diese Aktoren statt Innerhalb der Simulation wird eine Kollisionserkennung und Reibung eingesetzt um Aktoren und an dere physikalische Objekte in Kontakt treten zu lassen Die in der Arbeit aufgef hrten Ergebnisse des Aufbaus waren vielversprechend nicht zuletzt durch das durchsichtige Display war die Interaktion mit den Physiko
76. ers abgegrenzt Alle Punkte die au erhalb dieses Bereichs liegen k nnen verworfen werden Dieses Vorgehen erlaubt die Beseitigung von Punktdaten die durch Reflexion oder Spiegelung an Oberfl chen entstehen oder aber auch das unfreiwillige Tracking von ART Trackerartefakten die sich im Sichtfeld der Kameras befinden Der Messbereich ist mit der sp ter verwendeten Simulationsumgebung abzustimmen So wird sichergestellt dass nur Messpunkte verarbeitet werden die auch im Simulationsraum dargestellt werden k nnen Die Handschuhe befinden sich im Regelfall im Laufe einer Messung relativ mittig im Messbereich da dort der Proband steht Somit ist der relevante Bereich f r die Messung klar abzugrenzen Auswertung der PunktIDs Das einzige Hilfsmittel welches vom ART Tracking System zur Verf gung gestellt wird sind die IDs der einzelnen Punkte Die im weiteren Verlauf als Punkt IDs bezeichneten Werte sind die eindeutigen Identifikationsnummern der Punkte Diese Eindeutigkeit bleibt ber alle Frames erhalten Solange die Trackingsoftware von sich aus sicherstellen kann dass ein Punkt ber mehrere Frames immer derselbe ist wird dieser Punkt in den Daten auch mit der selben ID versehen Kann die Software dies nicht sicherstel len bekommt der Punkt eine neue noch nicht verwendete ID zugewiesen Die Verfolgung KAPITEL 3 ALGORITHMEN 28 der Punkte ber mehrere Frames durch die Trackingsoftware ist allerdings verh ltnism ig unzuverl ssi
77. este KAPITEL 2 ANALYSE 23 Die Geste ist nach dem Durchf hren nicht sofort zu wiederholen da die Arme erst wieder gesenkt werden m ssen ffnet man die H nde hierbei nicht wird die Senkgeste ausgef hrt Die Senkgeste ist das Gegenteil zur Hebegeste und verl uft analog zu der Hebegeste nur das die Senkgeste bei geschlossene und erhobener Hand beginnt Werden hingegen nach der Hebegeste die H nde ge ffnet und die Arme gesenkt wird keine Senkgeste vollf hrt Der gesamte Ablauf der Hebe und Senkgeste wird in 2 11 b verdeutlicht Drehgeste Es handelt sich wie in Abbildung 2 12 zu erkennen ist um eine kreisf rmige Bewegung Die se Bewegung kann sowohl im Uhrzeigersinn wie auch gegen den Uhrzeigersinn ausgef hrt werden Die Drehgeste im Weiteren auch als Drehen bezeichnet kann sowohl als ein h ndige wie auch als beidh ndige Variante vorkommen Die Geste selbst kann von einem Teilkreis bis hin zu mehreren Vollkreisen ausgepr gt sein Die Drehgeste kann in Teilgesten unterteilt werden Eine Teilgeste umfasst die Drehbewegung in eine Richtung bis diese Be wegung stoppt Im Anschluss kann losgelassen werden die Gestenerkennung stoppt oder aber die Bewegung kann fortgef hrt werden im oder gegen den Uhrzeigersinn In der Abbil dung 2 12 b ist ein Zustandsdiagramm f r die Drehgeste abgebildet Prinzipiell gibt es bei der beidh ndigen Variante keinen Unterschied zur Geste mit nur einer Hand au er dass zu beachten
78. este 3 1 1 Wie intuitiv war f r Sie die Steuerung der H nde garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O O 3 1 2 Wie Bewerten Sie deren Funktionsweise sehr schlecht schlecht mittelm ig gut sehr gut Enthaltung O O O O O O 3 2 1 Wie intuitiv war f r Sie die Greif Loslassgeste garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O O 3 2 2 Wie Bewerten Sie deren Funktionsweise sehr schlecht schlecht mittelm ig gut sehr gut Enthaltung e O O O O o 3 3 1 Umgang mit dem ART Tracking Sensor sehr schwer schwer mittelm ig gut sehr gut Enthaltung O O O O O O 3 3 2 Umgang mit dem Kinect Sensor sehr schwer schwer mittelm ig gut sehr gut Enthaltung E O O O O O 3 3 3 Welcher Sensor gefiel Ihnen Besser keiner ART Tracker Kinect Beide gleich Enthaltung o O O O O 3 3 4 Warum 4 Schaltbord Artefakte 4 1 1 Haben Sie den Hebel erkannt nein schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 1 2 Wie intuitiv war Ihnen die Funktionsweise garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O 4 1 3 Handhabung des Hebels unbenutzbar schlecht mittelm ig gut sehr gut Enthaltung O O O O O O 4 2 1 Haben Sie den Zweihand Hebel erkannt nein schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 2 2 Wie intuitiv war Ihnen die Funktionsweise garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 2 3 Ha
79. f r Sie die Steuerung der H nde 0 0 234 385 385 n 13 mw 42 s 077 E 0 z Z s 9 g o 3 3 Wie Bewerten Sie die Sicht durch das Headup Display 0 15 4 53 3 30 3 0 qar nicht schwer mittelm ig gut sehr out 3 5 Wie war die Steuerung wenn man sich auf die Flugsimulation konzentrierte 0 385 385 454 77 n 13 mw 2 9 s 092 E 0 2 z G o o 9 9 b 3 2 Wie Bewerten Sie deren Funktionsweise 0 77 30 8 538 77 n 13 mw 3 6 s 074 E 0 a 5 S 5 2 P EI be s 5 E Sc Eu 2 Ku 3 4 Wie bewerten Sie die Steuerung der Flugsimulation 77 15 4 53 3 23 1 0 Kr schlecht gut sehr gut sehr schlecht mittelm ig 3 6 W rden weitere Feedback Kan le eine Nutzung f r Sie vereinfachen 23 1 45 2 30 8 0 n 13 mw 21 s 0 73 E 0 beides keins akustisches haptisches ANHANG B ERGEBNISSE 126 Rohdaten des virtuellen Cockpitsversuchs Nr 144 1 2 1 3 a b G 1 4 2 1 2 2 2 3 2 4 2 5 2 6 2 7 1 3 1 1 M Sc Informatik 6 2 4 6 3 2 2 2 3 2 3 1 1 B Sc Ang Informatik 1 1 4 6 4 2 2 3 3 3 2 1 1 B Sc Ang Informatik 1 2 4 7 4 3 3 2 2 4 3 1 1 B Sc Informatik 4 2 4 6 2 1 1 2 3 5 2 1 1 B Sc Tech Informatik 3 2 4 6 4 3 3 2 3 6 3 1 1 M Sc Informatik 4 2 4 6 3 2 1 2 3 7 3 1 1 B Sc Tech In
80. fell 2 2 16 2 6 a Rad f r eine Hand Quelle Handkurbel gt gt o b Rad f r zwei H ndige Benutzung Quelle Schalttafell 17 2 7 Foto eines Joysticks mit diskretem Schaltverhalten 2 22 2 18 2 8 a Dr ckgeste b Zustandsdiagramm f r die Dr ckoeste 2 2 22 2 2 20 2 9 Zlengesie 2 43 AC 22 ar Asa 21 ma a BE a S ee 22 2 11 Hebegestle 2 4 2 4 04 4 4 4 2 4 5 4 2 5 2 43 2a 3 as ala 22 a a a ENEE een 23 2 13 a Joystick Attrappe b Sicht des Benutzers auf das zu steuernde Computerspiell 25 3 1 Darstellung der maximalen Ausdehnung der Finger 2 22 2 27 3 2 Darstellung der maximalen Ausdehnung der Finger 2 22 22 29 3 3 Darstellung der Punktwolkenanalyse links geschlossense Hand rechts offe EE 31 WERTET EEE TEL TER TEE 40 EE 42 4 3 Physik Joysticks aus Potratz 2012a a Abstrakter Joystick b 44 4 4 Komponentendiagramml e 47 5 1 Hand offen a Hand gegriffen b Hand nicht gegriffen cl 53 5 2 Einhand Hebel 3D Ansicht a Physik Ansicht b Zweihand Hebel 3D Ansicht c Physik Ansicht du e 54 ABBILDUNGSVERZEICHNIS 87 5 3 Einhand Rad 3D Ansicht a Physik Ansicht b 55 56 57 58 58 60 61 63 5 11 Links HUD mit ART Artefakt 2 Di 5 12 Projektion des Leap Moon 67 6 1 Verteilung der verwendeten Komponenten f r den Schalttafelversuch 70 6 2 Ve
81. float gt z lt float gt grab lt boolean gt Hand x lt float gt y lt float gt z lt float gt grab lt boolean gt Nachrichtenformat Kopf Auch die Daten f r den Kopf werden in einer separaten Queue abgelegt Kopf x lt float gt y lt float gt z lt float gt eta lt float gt theta lt float gt phi lt float gt rot lt float gt lt float gt lt float gt lt float gt lt float gt lt float gt lt float gt lt float gt lt float gt Kapitel 5 Realisierung In diesem Kapitel soll die Realisierung gezeigt werden und welche Software hierbei zum Einsatz kam Die Umsetzung der Softwarekomponenten erfolgte bis auf die Ausnahme des Kinect Adapters in Java 7 Alle verwendeten Frameworks oder andere fremde Software wird in den Unterkapiteln aufgef hrt 5 1 Message Broker F r die Realisierung des Message Brokers wird auf eine Apache ActiveMQ ff in der Version 5 9 zur ck gegriffen Wie im Design in Abschnitt 4 3 1 beschrieben erh lt jeder Aktor eine eigene Queue Die folgende Tabelle beschreibt die Namen der einzelnen Queues H lt man sich an die in 4 3 1 und 4 3 1 spezifizierten Nachrichtenformate kann ber diese Queues die Kommunikation zwischen den Sensoradaptern und der Simulation wie auch der Simulation mit einem externen Programm stattfinden Die empfangen Nachrichten verfallen nicht Es werden also sobald ein Konsument vorhanden ist der Reihe nach alle Nachrichten ausge liefert 5
82. formatik 3 2 4 5 3 2 3 3 2 8 3 1 1 M Sc Informatik 5 2 4 6 4 2 2 2 4 9 3 1 1 B Sc Informatik 5 1 4 6 4 4 4 1 2 10 3 1 1 M Sc Informatik 5 2 4 6 4 3 1 1 3 11 3 2 1 M Sc Informatik 6 1 4 5 4 3 3 1 2 12 5 1 1 M Sc Informatik 5 1 4 6 3 2 2 1 3 13 5 1 1 M Sc Informatik 6 2 4 6 3 3 3 1 2 Tabelle B 9 Ergebnisse Fragebogen virtuelles Cockpit Teil 1 127 ANHANG B ERGEBNISSE Buni lilj polN apanya u 65unq 6uin U9UUOY nz Uleies Bunsansnf 1 ul j ul uol j u jjou wn u uSSunA u 8l1s 5 1J BIBnz JoJ5 JI y3 pinA lu ul u ip q Ueleg u u e eddv uoA Bunus pag Jo llarm a Bunus pag ul M4 r G El yons or JOOEIOIg WEUN u uuueJ 9l oqoti 1n s uosilsnyv Bunan yw er E r r G ZL u q eoloj ys np uome inen Bunisnalsjeidg 018 Syue siya unreledwes1assem 6unzi H J9PO sela syeysneH J9y9elul9 Buni n 1s nz g z er L S r r S GIL u osuoy ids u Be uv uoa Buni n 1s INZ u yuqe3 g z U pINM U YILSINI A APAN pam Bou q e1lu z leu5S 3U oA jeJSAN u za wyos doy u1 y IS sje er L z r r Y 0 J 4 4 4 y r 6 uewe usgeisjnlog er 4 4 S 8 DEUOSIOAINDDOL B5uluieo jer D r Z 949 UOHEDIAEN u lynpoid NZ U9UONEWOLUIZIESNZ er L r 9 Yoeaqp
83. g Punkte bekommen h ufig neue IDs zugewiesen Somit scheiden die Punkt IDs als alleiniges Identifikationsmerkmal aus Sie k nnen aber f r die nachfolgenden Ver fahren als St tze dienen sofern IDs ber mehrere Frames vorhanden sind 3 2 Abstraktion auf Aktoren ART Erwartungshaltung an Anzahl von Punktenund Wolken Da das Gesamtsystem auf ei ne einzelne Person ausgelegt ist siehe 2 6 1 muss als Erwartungswert von zwei H nden mit je f nf Markern ausgegangen werden Pro Abtastdurchlauf k nnen also maximal 5 Punkte f r jede Hand erkannt werden Auf Grund der in Abschnitt 8 4 zu verwirklichenden Start und Endgeste und den damit auftretenden Herausforderungen wird auf eine Minimalgrenze an Punkten pro Frame verzichtet Als Grundlage der Wolkenfindung wird auf Datens tze mehrerer aufeinander folgen der Frames gesetzt Das Ganze ist als Ringpuffer umgesetzt in diesem werden die Daten des ltesten Frames durch Daten des neuen Frames ersetzt Die maximal zu erwartende Punktzahl steigt mit der Anzahl der verwendeten Frames Bei einem Frame 5 Punkte pro Hand bei zwei Frames 10 Punkte pro Hand und so weiter Diese Obergrenze dient sp ter dazu bei einer errechneten Wolke festzustellen ob sie eventuell zu viele und somit nicht korrekte Punkte besitzt Ist dies der Fall muss noch einmal untersucht werden welche Punkte in der Wolke aussortiert werden m ssen Wie anfangs beschrieben ist eine Untergrenze pro Frame nicht praktikabel Allerdings
84. gebogen zum virtuellen Cockpit Teil 2 Anleitung Bitte die folgenden Fragen nur genau eine Antwort ankreuzen M chten Sie sich zu einer Frage nicht u ern dann kreuzen Sie bitte Enthaltung an F llen Sie diese Fragen bitte nach dem Versuchsdurchlauf aus Ihre Antworten sind vertraulich tauschen Sie sich nicht mit anderen Teilnehmern dar ber aus Bei Fragen stehe ich Ihnen gerne zur Verf gung 3 Handsteuerung und Greifgeste 3 1 Wie intuitiv war f r Sie die Steuerung der H nde garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O O 3 2 Wie Bewerten Sie deren Funktionsweise sehr schlecht schlecht mittelm ig gut sehr gut Enthaltung O O O O O O 9 3 Wie Bewerten Sie die Sicht durch das Headup Display garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O O 9 4 Wie bewerten Sie die Steuerung der Flugsimulation sehr schlecht schlecht mittelm ig gut sehr gut Enthaltung O O O O O O 3 5 Wie war die Steuerung wenn man sich auf die Flugsimulation konzentrierte sehr schwer schwer mittelm ig gut sehr gut Enthaltung O O O O O O 3 6 W rden weitere Feedback Kan le eine Nutzung f r Sie vereinfachen akustisches haptisches beides keins Enthaltung O O O O O 4 Abschlie ende Fragen 4 1 K nnen Sie sich eine regelm ige Nutzung eines solchen System mit Artefakt Darstellung ber Headup Display vorstellen mit einem handlicheren Headup Display versteht si
85. ges Artefakt zwei Achsen besitzt um die er manipuliert werden kann Die Manipu lation geschieht um die x und z Achse und kann gleichzeitig stattfinden Dar ber hinaus hat der Joystick eine Ruheposition in die er nach kurzer Zeit zur ckkehrt sobald er losge lassen wird Das Artefakt wird ausschlie lich im diskreten Betriebsmodus betrieben Es gibt insgesamt 9 Stadien die das Artefakt besitzt Zum einen die Ruheposition in der Mitte sowie acht weitere Stadien jeweils bei voller positiver wie auch negativer Auslenkung ber beide Achsen Abbildung 2 7 Foto eines Joysticks mit diskretem Schaltverhalten KAPITEL 2 ANALYSE 19 2 5 Gesten Die H nde des Anwenders werden als Aktoren bezeichnet Bei speziellem Bezug auf eine bestimmte Hand wird die linke Hand als Left Hand und entsprechend die rechte Hand als Right Hand bezeichnet Es k nnen die jeweiligen Gesten der linken und rechten Hand un abh ngig von einander ausgef hrt werden Jede Hand wird als einzelner Aktor im System abgebildet Die Aktoren k nnen sich dreidimensional bewegen Ihre Bewegungen haben im Zusammenhang mit den weiter unten aufgef hrten Gesten Effekte auf die virtuelle Umge bung Es werden vom Framework nur zwei Gesten ben tigt um in Verbindung mit der Bewe gung der Aktoren die Manipulationen im virtuellen Raum zu bewerkstelligen Diese beiden Gesten werden im Weiteren aufgef hrt 2 5 1 Kontext Genau wie das oben aufgef hrte Mid
86. h sind Diese Gesten wurden dann genauer untersucht Es folgte die Analyse der funktionalen Anforderungen Die Analyse schlo mit einer kurzen Beschreibung eines ersten Versuchs der die grunds tzliche Machbarkeit berpr fte Im Kapitel wurden die Algorithmen vorgestellt die sp ter im Design mit Verwendung fan den und anschlie end in der Umsetzung auch zur Anwendung kamen Hier gab es einen Schwerpunkt f r die Erkennung von H nden und der Greifgesten f r den ART Tracker Der erste Anschnitt im Designkapitel umfasst die n tigen Funktionalit ten und beschreibt m g liche L sungen f r die einzelnen Komponenten die in dem System ben tigt wurden Im Bereich der Sensorik wurden zwei verschiedene Motion Tracker vorgestellt Im Bereich der Simulation wurden verschiedene Wege der Interaktion vorgestellt dar ber hinaus wurden Anforderungen an die ben tigte Physik Engine formuliert Ausgehend von der Erf llung dieser Anforderungen wird die Gestensteuerung beschrieben Es wurde ver deutlicht dass Zustands nderungen der simulierten Objekte als Gestenerkennung benutzt wurden Anschlie end werden noch die m glichen Ausgabemedien aufgef hrt und deren Einsatzm glichkeiten aufgezeigt Im zweiten Teil wurde auf die f r die Umsetzung zugrunde KAPITEL 7 SCHLUSS 80 gelegte Softwarearchitektur verwiesen Es wurde die Verwendung eines verteilten Systems beschreiben welches mittels Nachrichten kommuniziert und dessen Aufbau erl utert
87. halttafel Schalttafel im Schiffshebewerk Henrichenburg letzter Abruf 24 02 2014 _ URL http upload wikimedia org wikipedia commons 3 3f Henrichenburg_old_boat_lift_06 Jjpg ARTtracker Anleitung 2007 ARTtrack und DTrack Benutzerhandbuch v1 24 3 A R T GmbH 2007 Barnkow 2012 BARNKOW Lorenz Kollaboration an Multitouch Tischen Visualisierung von Besitz bei Gruppenarbeit 2012 URL iusers informatik haw hamburg de ubicomp arbeiten master barnkow pdf Br ggemann 2013 BR GGEMANN Daniel Konzept und prototypische Entwicklung eines Assistenzsystems f r Pr sentationen auf Grundlage von Microsoft Kinect 2013 URL www cs uni paderborn de fileadmin Informatik FG Szwillus Daniel pdf Bachelor Studienarbeiten Br 3C3 BCggemann LITERATURVERZEICHNIS 83 Duncan 2013 DUNCAN Greg Using the InteractionStream without WPF 2013 URL http channel9 msdn com coding4fun kinect Using the InteractionStream without WPF ERAP 2012 ERAP Samet Gesture Based PC Interface with Kinect Sensor 2012 URL http comserv cs ut ee forms ati_report downloader php file D6F29AA32480E9B57525B6CAA6923DAEB9YBASFYTB Erich Gamma 2001 ERICH GAMMA Ralph Johnson John V Entwurfsmuster Bonn Addision Wesley 2001 Ghose 2014 GHOSE Sobin Konzeption und Evaluation eines interaktiven Badezim merspiegels 2014 URL users informatik haw hamburg de ubicomp arbeiten bachelor ghose
88. html KAPITEL 1 EINLEITUNG 2 Ein m glicher Weg dem Benutzer Regeln f r die Gesten aufzuerlegen ist diese Regeln in Form einer simulierten Umgebung darzustellen Der Benutzer kann mit den Gegenst nden interagieren W hlt man Gegenst nde die dem Benutzer aus der Realit t und seinem Um feld bekannt sind entf llt das Erlernen des Umgangs mit diesen Gegenst nden Es bedarf also nicht dem erlernen neuer Regeln da die Regeln aus der Realit t bereits bekannt sind Die in der simulierten Umgebung verwendeten Objekte haben zwei Aufgaben Sie sind ei ne Art Scharnier zwischen Mensch und Maschine Zum einen diesen sie dem Benutzer zur Interaktion und sorgen hier auch f r visuelles Feedback Zum Anderen erm glichen die se Objekte dem Computersystem auf die Interaktionen des Benutzers zu schlie en indem der Zustand dieser Objekte betrachtet werden kann Im Idealfall entf llt f r diese Form der Kommunikation von Anwender und Computer jegliche Form von Controller Die virtuelle Si mulation selbst ist als Eingabeger t ausreichend Dieses Vorgehen steht im Sinne der seamless interaction welche besagt dass sich die Maschinen den Menschen und nicht die Menschen der Maschine anzupassen haben In dem hier erl uterten Vorgehen w re dies so zu verstehen dass kein neues Wissen erlangt werden muss da der Umgang mit den realen zu einer oder mehreren Maschinen geh ren den Gegenst nden bereits erlernt wurde Die Gestenerkennung wird in
89. ie Verarbeitung der Daten von den H nden die in Kapitel 3 vorgestellten Algorithmen implemen tiert Zus tzlich wird eine grafische Oberfl che entwickelt um die Algorithmen zu berpr fen und besser einzustellen Eine Abbildung der Ausgabe dieser grafischen Oberfl che kann un ter 3 3 betrachtet werden Die Anbindung an die ActiveMQ erfolgt durch die in der ActiveMQ 5 9 mitgelieferten jars Dar ber hinaus werden alle aufgezeichneten Rohdaten durch den Adapter gespeichert Es ist m glich diese wieder einzuspielen Dies erm glicht eine genauere Feineinstellung der Filter und Greifgestenerkennung Shttp www microsoft com en us download details aspx id 36996 http www microsoft com en us download details aspx id 17718 7 http activemq apache org nms KAPITEL 5 REALISIERUNG 51 5 3 Physik Engine Um eine Interaktion zwischen dem Aktor also dem Repr sentanten der Hand des Benut zers und den zu manipulierenden Physikobjekten zu erm glichen werden im Folgenden drei Verfahren vorgestellt wobei zum jetzigen Zeitpunkt nur die Varianten a und b erfolgreich umgesetzt werden konnten 5 3 1 Wahl der Physik Engine Im Projekt 1 2012a wurde auf eine Umsetzung mit XNA 4 0 lung der Physik Engine Nvidia Physi q9 gesetzt Aufgrund der Entscheidung die Kontextwahl mit ber die Distanz und Startgeste zu l sen konnten auf Eigenschaften der Physik Engine verzichtet werden Es wurde keine Reibung mehr ben tigt Somit konnten auch
90. ie Attrappe vor der Kinect positioniert Der Benutzer fasste den Joystick wie blich am oberen Ende an und diese durch die Kinect ermittelte Hand position wurde dann genutzt um den simulierten Joystick innerhalb der Simulation an dieser Stelle zu positionieren Nun konnte der Joystick mittels der Aktoren manipuliert werden die so gewonnenen Steu erkommandos wurden an das externe Programm in diesem Fall ein Computerspiel auch mittels UDP Paketen bertragen Die Aussage erfolgte mittels eines Beamers wie auf Abbil dung J2 13 b zu sehen ist Als Ergebnis dieses Versuchs stellte sich heraus dass der Aufbau grunds tzlich funktionier te Einzig die Verz gerungen durch den Sensor kam als Kritikpunkt zum Tragen Abbildung 2 13 a Joystick Attrappe b Sicht des Benutzers auf das zu steuernde Computerspiel Kapitel 3 Algorithmen Dieses Kapitel f hrt die zugrunde liegenden Algorithmen auf die f r diese Arbeit im Bereich des ART Tracker Adapters und der Gestenerkennung Verwendung finden Die Reihenfolge der verwendeten Verfahren ist so angeordnet dass man die Handbewegung des Benut zers ber die verschiedenen Abstraktionslevel bis hin zur Manipulationsgeste nachvollzie hen kann Dabei behandeln die Unterkapitel 3 1 3 2 und 3 4 spezifische Verfahren die es bei der Umsetzung mit den ART Tracker Sensor zu implementieren galt Die im Unterkapitel 3 3 aufgef hrten Verfahren sind unabh ngig vom ART Tracking System und k nnt
91. ie Entwicklung eines eigenen Joints Die Implementierung dieses Joints ist ausschlie lich in Java umgesetzt er wird nicht wie die vorgefertigten Joints in die nativen implementierten Joints von Bullet bertragen Der http Imsdn microsoft com de dej library bb200104 28v xnagamestudio 40 29 aspx 9http www nvidia de object physx 9 12 1031 driver de html TOkttp bulletphysics org wordpress 11http jbullet advel cz KAPITEL 5 REALISIERUNG 52 selbst entwickelte Joint erf llt die an ihn gestellten Anforderungen aus 4 1 2 2 und kommt je weils zur Verbindung zwischen Aktor und Artefakt zum Einsatz Andere Stellen innerhalb der Physik Simulation sind aber weiterhin mit den originalen Joints aus JBullet versehen 5 4 Umsetzung der Aktoren amp Kontextbestimmung Die beiden Aktoren sind die Abbildungen der H nde des Benutzers Innerhalb der Simulation gibt es zwei Erscheinungsformen Beide Formen werden in den folgenden Abschnitten be schrieben Dar ber hinaus f llt die Implementierung der Wahl des Kontextes auch in diesen Bereich Sie wird somit auch hier beschrieben 5 4 1 Aktoren in der Physiksimulation Die Aktoren sind innerhalb der Physiksimulation als Kugel abgebildet Diese Repr sentati on bleibt dem Benutzer im Regelfall verborgen da dieser ausschlie lich die 3D Simulation zu Gesicht bekommt Die Varianten f r die Bestimmung des Kontextes sind theoretisch im Abschnitt 4 1 2 3 aufgef hrt In diesem Fall findet eine
92. ie den Griff erkannt 0 0 15 4 38 5 33 5 n 13 mw 4 3 s 0 72 E 0 nein schwer qut d ek es UG ZC mittelm ig sehr out 4 9 3 Handhabung des Griff DS 15 4 7 7 46 2 30 3 moss Z SS m OO mo 2 3 z SS I m in unbenutzbar schlecht mittelm ig gut sehr out 4 10 2 Gestellten Aufgaben gut verst ndlich 0 0 0 385 615 n 13 mw 46 s 0 49 E 0 gar nicht schwer gut 1 GER mittelm ig sehr out 4 11 Wie hilfreich war die Visualisierung auf der Powerwall 0 0 0 308 692 n 13 mw 4 7 s 0 46 E 0 gar nicht schlecht gut mittelm ig sehr out 4 9 2 Wie intuitiv war Ihnen die Funktionsweise 0 0 308 308 385 gar nicht schwer mittelm ig gut sehr gut 4 10 1 Wie bersichtlich war das Schaltpult 0 0 0 533 45 2 nein schwer mittelm ig gut sehr gut 4 10 3 Handhabung des Schaltpults 0 0 15 4 46 2 335 1 SS Ir FA unbenutzbar schlecht mittelm ig gut sehr gut 4 12 Wie hilfreich war das akustisches Feedback 0 0 0 385 615 n 13 mw 4 6 s 0 49 E 0 gar nicht schlecht mittelm ig gut sehr out ANHANG B ERGEBNISSE 115 Diagramme Schalttafel Beobachtungsbogen 1 1 Hilfestellung beim Erkennen des Hebels 69 2 30 8 0 n 13 mw 1 3 s 0 46 E 0 nein viel ein wenig 2 1 Hilfestellung beim Erkennen des Zweihand Hebels 84 6 15 4 0 n 13 mw 1 2 s 0 36
93. ies nicht der Fall gewesen sein wird der Proband gefragt KAPITEL 6 USABILITY UNTERSUCHUNG 74 Abbildung 6 5 Testperson vor Powerwall mit Hebel Artefakt was mit einem Hebel im Regelfall gemacht werden kann und ermuntert nach dem gr nen Griff zu greifen und diesen zu bewegen Nachdem die zugrunde liegende Funktionsweise ge kl rt ist wird dem Probanden Zeit gegeben das Artefakt ausgiebig zu testen Treten hierbei Fragen auf werden diese gekl rt und gegebenenfalls Hilfestellung geleistet Im Laufe dieser Ausf hrung werden auf dem Aufgabenbogen Notizen gemacht Zum Abschluss werden in Abstimmung mit der Testperson die Versuche mit dem Artefakt beendet und in der Anwen dung auf das n chste Artefakt geschaltet Dieser Vorgang wiederholt sich nun bis alle neun Artefakte durchlaufen wurden Im Anschluss daran erscheint eine vollst ndige Schalttafel wie in Abbildung 6 5 zu sehen ist Hier bekommt die Testperson noch einmal die M glichkeit alle Artefakte zu benutzen Sie kann hier auch gleichzeitig mit zwei Artefakten interagieren Hat die Testperson einen f r sie ausreichenden Eindruck gewonnen wird der Testdurchlauf beendet und zum Test mit dem Kinect Sensor gewechselt F r den Test mit der Kinect wird als erstes der ART Tracker und der entsprechende Adapter f r den ART Tracker beendet Dar ber hinaus kann die Testperson die Handschuhe ausziehen Es wird nun die Kinect ein schlie lich des dazugeh rigen Adapters gestartet und der Pr
94. ind Sie zur Zeit WiSe 2013 2014 eingeschriebener Student einer Hochschule Ja Nein Enthaltung O O O Falls Ja a Welchen Abschluss streben Sie aktuell an z B B Sc M Sc Ph D b Welchem Studienrichtung geh ren Sie an z B Informatik c Im wievielten Studiensemester befinden Sie sich Gesamtzahl 1 2 3 4 5 6 7 9 10 12 12 Enthaltung O O O O O O O Falls Nein Welchen Beruf gehen Sie derzeit nach 1 4 Tragen Sie eine Brille ja nein Enthaltung O O O 2 Computer Kenntnisse 2 1 Wie lange verwenden Sie bereits Computer in Jahren Keine Bis zu einem 1 5 5 Enthaltung Vorkenntisse Jahr O O O O O 2 2 Wie lange verwenden Sie einen Computer pro Woche in Stunden nie 0 5 5 15 15 25 25 40 40 Enthaltung O O O O O O O 2 3 Haben Sie allgemeine Kenntnisse in Gestensteuerung Smartphone keine wenig mittelm ig gute Kenntnisse Enthaltung O O O O O 2 4 Haben Sie bereits Kenntnisse ber 3D Gestensteuerung keine wenig mittelm ig gute Kenntnisse Enthaltung O O O O O 2 5 Haben Sie bereits eine 3D Gestensteuerung Verwendet z B Smart TV X Box nie selten gelegentlich h ufig Enthaltung O O O O O 2 6 Haben Sie bereits am Versuch zum Schaltbord teilgenommen ja nein Enthaltung O O O 2 7 Haben Sie Erfahrungen mit Spiel Flugsimulationen keine wenig mittelm ig gute Kenntnisse Enthaltung O O O O O Fra
95. ist dass ein Vollkreis mit beiden H nden ohne zwischenzeitigem Absetzen der Geste nicht m glich ist da ansonsten die H nde ber Kreuz liegen w rden Arm im Uhrzeigersinn drehen Abbildung 2 12 Drehgeste KAPITEL 2 ANALYSE 24 2 6 Funktionale Anforderungen Es bestehen folgende Anforderungen an ein zu entwickelndes System e Anbindung an verschiedene Sensoren Entwicklung einer physikgest tzten Simulation Aufbereitung der Sensordaten um H nde in die Simulation bertragen zu k nnen Getrenntes Erkennen der Start und Endgeste Errichten der Schalttafel und ihrer Artefakte Erkennen der in 2 5 3laufgef hrten Gesten Eine grafische Ausgabe der Simulation Die rasante Entwicklung in dem Bereich der Sensoren der Physik und Grafik Engines wie auch der Ausgabemittel ist es geboten ein Framework zu entwickeln das diesem schnel len Wandel Rechnung tr gt Es muss die M glichkeit geben neue Sensoren oder andere Komponenten einfach und standardisiert in das System zu integrieren ohne an dem Frame work selbst gro e Anpassungen vornehmen zu m ssen Auch andere Teilsysteme m ssen austauschbar Hierf r wird eine lose Kopplung aller Komponenten ben tigt die ber eine einheitliche Schnittstelle miteinander kommunizieren k nnen 2 6 1 Abgrenzung Die Entwicklung eines Systems beschr nkt sich auf den Anwendungsbereich im Innenraum eines Geb udes Zum einen sind hier die Bedingu
96. ition und Lage des Headup Displays ersetzt und das so erzeugte Bild in das Headup Display gespielt Somit wird das Headup Display ein passiver Teil dieser Simulation in dem es die Kamera innerhalb der Si mulation steuert Um dies zu erm glichen m ssen nun nicht nur die H nde sondern auch das getragene Headup Display oder der Kopf des Benutzers von Sensoren erfasst werden und diese Daten zur Verf gung gestellt werden Headup Displays k nnen sowohl f r ein oder beide Augen ausgelegt sein Grunds tzlich las sen sich Headup Displays in zwei Kategorien einteilen Die die entweder durchsichtig sind und das Bild das der Benutzer wahrnimmt durch Informationen erweitern Oder aber die Headup Displays die nicht durchsichtig sind und das reale Bild v llig durch eine Simulation ersetzen Diese Variante auf beide Augen ausgelegt eignet sich nicht f r einen Versuchsauf bau in dem sich der Benutzer frei bewegen kann Allerdings w re eine Simulation im Sitzen durchaus denkbar 4 2 4 Steuerung f r externes Programm Das eigentliche Zeil des Frameworks und aller seine Komponenten ist die Steuerung einer anderen Software um dort die Eingabemedien wie Tastatur Maus Joystick oder hnliches abzul sen Diese Programmsteuerung muss somit in zwei Teile aufgeteilt werden Der ers te Teil umfasst die Senderkomponente von der aus die Kommandos an die Software ver schickt werden Diese Komponente befindet sich innerhalb des Frameworks und muss ent
97. ixel in der Darstellung im Headup Display transpa rent sind und somit nicht abgebildet werden Abbildung 5 11 Links HUD mit ART Artefakt Rechts Grafische Darstellung des Joysticks aus der Physiksimulation 5 7 Akustische Ausgabe F r die exemplarische Umsetzung des Systems wurde zwar eine m gliche Entkopplung zu Gunsten einer Kommunikation ber die ActiveMQ vorgesehen Jeder abzuspielende Sound w rde mit einer ID codiert werden die dann verschickt wird Der Empf nger der die ent sprechenden Nachrichten abruft muss somit ber alle Sounddateien verf gen und unter Verwendung der zugesandten ID die entsprechende Sounddatei abspielen Aufgrund des sen das die Ausgabe wiederum ber Teile der JMonkeyEngine realisiert wird und es sich nicht empfiehlt mehrere JMonkey Anwendungen parallel auf einem Rechner zu starten h tte dies einen weiteren PC ausschlie lich zur Ausgabe des Sounds bedurft Daher wurde darauf verzichtet die Daten erst ber JMS zu verschicken und dann auszugeben Stattdessen wird die Soundausgabe gleich ber die in JMonkey realisierte Physik amp Grafik Anwendung umge setzt Die Ausgabe des Sound erfolgt dann einheitlich ber eine Schnittstelle zur Soundkarte wo einfache Sounddateien in wav Format abgespielt werden KAPITEL 5 REALISIERUNG 65 5 8 Fazit In der Software konnten folgende Punkte umgesetzt werden Aufarbeitung der ART Tracker Daten der H nde und Erkennen der Greif und Loslass geste Au
98. ktionsweise d nein Ein wenig viel O O O es senkrechten Schieber Waagerechten Schieber 6 1 Hilfestellung beim Erkennen des waagerechten Schieber nein Ein wenig viel O O O 6 2 Hilfestellung bei Funktionsweise d es waagerechten Schieber nein Ein wenig viel O O O Knopf 7 1 Hilfestellung beim Erkennen des Knopf es Knopf es Kippschalter nein Ein wenig viel O Q O 7 2 Hilfestellung bei Funktionsweise d nein Ein wenig viel O O O Kippschalter 8 1 Hilfestellung beim Erkennen des Kippschalter nein Ein wenig viel E O O 8 2 Hilfestellung bei Funktionsweise d nein Ein wenig viel O O O Griff 9 1 Hilfestellung beim Erkennen des Griffs nein Ein wenig viel O O O 9 2 Hilfestellung bei Funktionsweise d nein Ein wenig viel O O O es Griffs Fragebogen zum virtuellen Cockpit Teil 1 Anleitung Bitte die folgenden Fragen nur genau eine Antwort ankreuzen M chten Sie sich zu einer Frage nicht u ern dann kreuzen Sie bitte Enthaltung an F llen Sie diese Fragen bitte vor dem Versuchsdurchlauf aus Ihre Antworten sind vertraulich tauschen Sie sich nicht mit anderen Teilnehmern dar ber aus Bei Fragen stehe ich Ihnen gerne zur Verf gung 1 Fragen zur Person 1 1 Bitte geben Sie Ihr Alter an 18 20 21 24 25 29 30 35 36 45 45 Enthaltung O O O O O O O 1 2 Bitte geben Sie Ihr Geschlecht an Mannlich Weiblich Enthaltung O O O O 1 3 S
99. kustische Ausgabe 9 5 Steuerkommandos Anzeiger Steuergesten z lt lt send gt gt Remote erkennung Sound Message Sound Broker lt lt recive gt gt OH O Position 3D lt lt send gt gt Steuerkommandos H SCHERER bet Sa H Artefakt 2 2 lt lt recive gt gt lt lt send gt gt Kopfposition SI lt lt recive gt gt Anzeiger LO Steuergesten Position 3D Objekte erkennung lt lt recive gt gt 3D Simulati n 3D Simulation RH 8 Headup Display Powerwall Abbildung 4 4 Komponentendiagramm KAPITEL 4 DESIGN 48 Nachrichtenformate Zu ersetzende Symbole Beschreibung lt float gt Es gilt diesen Platzhalter durch einen Float Wert zu ersetzen Es ist der komplette Wertebereich eines Float hier zu erwarten lt boolean gt Dieser Platzhalter wird durch ein Boolean Wert ersetzt Es gibt true und false Das Plus selbst geh rt nicht zum Nachrichtenformat es soll nur darauf hinweisen dass die durch die Abbildung auftretenden Umbr che zu entfernen sind dass das eigentliche Format ohne Umbr che auskommt Tabelle 4 1 Legende der Nachrichtenformate Nachrichtenformat Hand Jeder Aktor bekommt seine eigene Nachrichten Queue und wird separat versandt Aus den Nachrichtenformaten selbst ist nicht ersichtlich um welchen Aktor es sich handelt Hand x lt float gt y lt
100. lgt ber eine Achse Der Aktor selbst beschreibt seitlich be trachtet eine bogenf rmige Bewegung Abbildung 2 5 a Foto eines Einhandhebels Quelle Schalttafel KAPITEL 2 ANALYSE 17 2 4 5 Rad Bei dem Rad wie in 2 6 gezeigt handelt es sich hierbei um ein kreisf rmiges Artefakt wel ches zentral an einer Achse aufgeh ngt ist und somit die Beweglichkeit auf eine Rotation um eine Achse einschr nkt Auch dieses Artefakt bietet die M glichkeit in mehreren Auspr gungen aufgebaut zu werden Einmal f r den einh ndigen Betrieb eventuell mit Knauf zum Anfassen und die Variante f r beiden H nde wo das Rad selbst dann mehrere greifbare Fl chen besitzen muss Eine Besonderheit des Rades liegt darin das dem Benutzer die Grenzen zum Drehen nicht offen ersichtlich sind Ob das Rad mehrere Vollkreise vollziehen oder nur noch einen Halb kreis in die eine oder andere Drehrichtung vollziehen kann ist vom Artefakt selbst nicht zu erkennen Ist das Rad an dem einen oder anderen Ende der Bewegungsm glichkeit ange kommen muss das dem Benutzer auf jeden Fall angezeigt werden Abbildung 2 6 a Rad f r eine Hand Quelle Handkurbel b Rad f r zwei H ndige Benutzung Quelle Schalttafel KAPITEL 2 ANALYSE 18 2 4 6 Joystick Der Joystick siehe 2 7 als Letztes hier aufgef hrtes Artefakt weist einige Besonderheiten gegen ber den anderen Artefakten auf Beim Joystick handelt es sich um einen Hebel der als einzi
101. ltung O O O O O O 4 7 1 Haben Sie den Knopf erkannt nein schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 7 2 Wie intuitiv war Ihnen die Funktionsweise garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 7 3 Handhabung des Knopf unbenutzbar schlecht mittelm ig gut sehr gut Enthaltung O O O O O O 4 8 1 Haben Sie den Kippschalter erkannt nein schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 8 2 Wie intuitiv war Ihnen die Funktionsweise garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 8 3 Handhabung des Kippschalter unbenutzbar schlecht mittelm ig gut sehr gut Enthaltung O O O O O O 4 9 1 Haben Sie den Griff erkannt nein schwer mittelm ig gut sehr gut Enthaltung o O O O O O 4 9 2 Wie intuitiv war Ihnen die Funktionsweise garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 9 3 Handhabung des Griff unbenutzbar schlecht mittelm ig gut sehr gut Enthaltung O O O O O O 4 10 1 Wie bersichtlich war das Schaltpult nein schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 10 2 Gestellten Aufgaben gut verst ndlich garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 10 3 Handhabung des Schaltpults unbenutzbar schlecht mittelm ig gut sehr gut Enthaltung O O O O O O 4 11 Wie hilfreich war die Visualisierung auf der Powerwall gar nicht s
102. m installierten Anzeiger Im Un terschied zum Schaltknopf bleibt der Aktor allerdings nach dem Zustandswechsel mit dem Griff verbunden Mittels des Aktors kann der Griff nun wieder in seine urspr ngliche Lage zur ckgef hrt werden wo sich abermals der Zustand dann ndert wenn der aktuelle Wert 20 des Maximalwerts unterschreitet Die maximale Auslenkung des Artefakts betr gt 1 5 Ma einheiten Joystick Als letztes Artefakt ist hier der Joystick aufgef hrt Beim Joystick handelt es sich um das technisch anspruchsvollste Artefakt da es zwei Freiheitsgrade besitzt Der Joystick kann sowohl um die x Achse wie auch um die z Achse rotieren Es handelt sich dabei um eine Teilrotation mit jeweils 80 von der Ruheposition aus gesehen in alle Richtungen In der Ruheposition steht der Joystick zentral nach oben wie in Abbildung zu sehen Die Rotation um die beiden Achsen kann kombiniert erfolgen Prinzipiell kann der Joystick eine diskrete wie auch kontinuierliche Status nderung besitzen In der jetzigen Umsetzung wurde aufgrund des diskreten Joysticks 2 4 6 der als Beispiel diente eine Umsetzung f r diskrete Zust nde gew hlt Zu unterscheiden gibt es hier noch die Variante von f nf Zust nden zu der Variante mit neun Zust nden Die Tabelle 5 2 zeigt die jeweiligen m glichen Zust nde und ihre Codierung f r eine sp tere Weiterverarbeitung Code F nf Zust nde Neun Zust nde 1 vorn links
103. mit einem Joint miteinander verbunden und der Kontext ist gew hlt Der Joint erm glicht die Kr fte bertragung von Aktor an den Griff und somit an das Artefakt selbst Die Kontextwahl besteht solange wie Griff und Aktor sich schneiden sobald diese Kollision nicht mehr besteht erlischt auch der Kontext und auch der Joint wird gel st Kontextwahl durch Distanzgrenze hnlich zu der Variante mit der Kollision wird hier der Kontext bereits entschieden wenn eine bestimmte Distanz zwischen einem Greifobjekt und einem Aktor unterschritten wird Beide Objekte werden wieder mit einem Joint verbunden und diese Verbindung und der Kontext bestehen solange wie der Aktor die Distanzgrenze in seinen Bewegungen nicht berschreitet KAPITEL 4 DESIGN 39 Kontextwahl ber Distanzgrenze und Startgeste Dieses Verfahren ist eine Kombination aus der eben aufgef hrten Distanzunterschreitung und einem separaten Ereignis In diesem Fall handelt es sich um die Startgeste die die Kon textwahl anst t Erfolgt die Startgeste und befindet sich der Aktor gleichzeitig innerhalb der Grenzwerte zu einem Physikobjekt wird eine Verbindung Joint zwischen Aktor und Physi kobjekt erstellt In diesem Fall wird die Verbindung erst wieder gel st sobald die Endgeste erfolgt 4 1 2 4 Start und Endgeste Startgeste Greifen Der Begriff greifen ist mehrdeutig belegt Da noch h ufiger auf die Arbeit Potratz 2011 verwiesen wird soll der Begriff hier deu
104. mponenten Der letzte Teil des Kapitels beschreibt die zugrunde liegenden Architekturmuster und zeigt die Kommunikation zwischen den Komponenten des Systems Das 5 Kapitel befasst sich mit der Realisierung eines Framework Prototyps In den ein zelnen Unterkapiteln wird die Umsetzung der Komponenten beschrieben Es wird ein Fazit gezogen inwieweit die in der Analyse aufgef hrten Gesten erkannt werden konnten Au er dem findet eine kurze Bewertung der technischen Umsetzung statt Zum Abschluss wird ein Ausblick dahin gehend gew hrt welche Erweiterungen denkbar w ren und welche Sensoren und Ausgabemedien wohl in K rze zur Verf gung stehen und Verwendung finden k nnten Kapitel 6 beschreibt im ersten Abschnitt die f r die Usability Untersuchungen verwendeten Aufbauten Anschlie end werden die Durchf hrungen f r beide Tests beschrieben Der letz te Teil des Kapitels bietet einen berblick ber die Ergebnisse und die daraus gezogenen Schlussfolgerungen Das Kapitel 7 bildet den letzten Teil dieser Arbeit unt enth lt eine Zusammenfassung der gesamten Arbeit Zum Schluss erfolgt ein Ausblick Kapitel 2 Analyse Zu Beginn soll das Thema Gestenerkennung beleuchtet werden Die im Anschluss folgenden Arbeiten dienen als Inspiration und zum Teil als Grundlage f r das entwickelte Szenario und die Umsetzung dieser Arbeit Die hier vorgenommene Analyse nimmt auf das in Abschnitt 2 3 beschriebene Beispielszenario Bezug und f hrt eine reale
105. n bedarf es verschiedener Annahmen Damit diese Annahmen auch m glichst h ufig zutreffen m ssen bestimmte Voraussetzun gen vom Versuchsaufbau und der entsprechenden Versuchsperson erf llt werden Im fol genden Abschnitt wird auf diese Voraussetzungen und Hypothesen genauer eingegangen 3 3 1 Anzahl der H nde Der Versuchsaufbau ist auf eine Person ausgelegt Folglich ergibt sich die Hypothese dass maximal zwei H nde vorkommen k nnen Es muss also gew hrleistet sein dass null bis zwei Punktwolken zuverl ssig den Aktoren zugeordnet werden k nnen Falls es mehr als zwei Positionen geben sollte gilt es die richtigen herauszufiltern Ist keine Versuchsperson innerhalb des Messbereichs k nnen folglich auch keine H nde und somit Punktwolken gefunden werden In dem Fall m ssen alle bis dahin errechneten Daten gel scht werden und das System in seinen algorithmischen Startzustand versetzt werden KAPITEL 3 ALGORITHMEN 32 Werden ein oder zwei Punktwolken und somit potenzielle Aktoren ermittelt kommen die hier weiter aufgef hrten Verfahren zum Einsatz Sollten sich mehr als zwei Punktwolken ermitteln lassen werden alle die Punktwolken verworfen die am ehesten nicht zu der Person geh ren k nnen Auch hier kommen die im Anschluss aufgef hrten Verfahren zur Anwendung 3 3 2 Hypothese Normale Posen Es gibt bestimmte Verhaltensweisen die von der Testperson erwartet werden Dies umfasst vor allem die Anzahl m glicher zu erwarte
106. n Einfluss Erst wenn ein bestimmter Grenzwert berschritten ist wechselt der Anzeiger innerhalb des Artefaktes seinen Zustand von beispielsweise aus auf an Die Anzeiger legen das Schaltverhalten der Artefakte fest ob diese diskret oder kontinuierlich sind Au erdem werden die Grenzen wann geschaltet wird durch die Anzeiger bestimmt Ein Artefakt legt mithilfe der Freiheitsgrade allerdings seine maximale Beweglichkeit fest S mtliche Schaltlogik der Anzeiger muss sich innerhalb dieser Freiheitsgrade befinden um wirksam zu werden KAPITEL 4 DESIGN 41 4 22 Design Das oberste Ziel dieses Designs soll eine m glichst lose Kopplung jeglicher Komponenten sein Zum einen um der stetig wachsenden Zahl an Sensoren eine M glichkeit zu bieten ohne nderungen am Gesamtaufbau eingebunden zu werden Zum anderen ist es somit m glich verschiedene Kombinationen von Sensoren und Ausgabemedien zu testen Auch ist es m glich alle Komponenten auch den erschaffenen Physikraum und die dazu verwendete Physik Engine auszutauschen falls der Austausch im Verlauf weiterer Versuche erforderlich werden sollte Prinzipiell w re es m glich gewesen alle Komponenten in C zu erstellen aber da diese m glichst breite Einbindung von Komponenten auch andere Programmiersprachen beinhalten soll wurden auch einige Adapter f r Sensoren wie auch Ausgabekomponenten in Java implementiert 4 2 1 Sensoren Die Sensoren selbst beziehungsweise die Softwa
107. n der eigenen Verantwortlichkeit liegen w re das Gesamtsystem in seinem Kern um eine gro e Unbekannte rmer Somit entf llt ein betr chtlicher Risiko faktor der einer erfolgreichen Umsetzung und Weiterentwicklung im Wege steht 5 9 Erweitungsm glichkeiten F r die Physiksimulation selbst liegen im Moment keine ernsthaften Ideen f r eine Weiter entwicklung vor allerdings kann das System durch neue Sensoren wie auch andere Aus gabemedien erweitert werden so das auch ganz andere Anwendungsszenarien denkbar sind 5 9 1 Weitere Sensoren Im Folgenden werden zwei Sensoren vorgestellt die bereits an der HAW wenn auch nur teilweise zu ersten Testzwecken in anderen Projekten zum Einsatz kommen Kinect 2 Bei der Kinect for Windows 2 handelt es sich um die n chste Generation von Kinect Sensor die im PC Umfeld zum Einsatz kommen wird Abgesehen von einer besseren Aufl sung und etwas weniger Verz gerung bringt die Kinect zwei die Neuerung mit dass sie feststellen kann wie K rperteile gedreht sind Man w re mithilfe der Kinect 2 in der Lage die Aktoren in 5 4 2 passend zur Rotation der H nde richtig auszurichten KAPITEL 5 REALISIERUNG 67 Leap Motion Die Leap Motion ist in der Lage einzelne Finger zu erkennen und eindeutig zuzuordnen Die Abbildung 5 12 zeigt eine dreidimensionale Interpretation der Daten die von dem Sen sor aufgezeichnet wurden In dieser Darstellung ist der Sensor selbst in der Mittel als wei e
108. n kann und deren Spur verliert der Aktor in der Simulation auf die initiale Position gesetzt Dies soll den Benutzer dazu animieren dort wieder hin zugreifen und somit die Zuordnung von Punktwolke und Aktor sauber neu zu beginnen 3 4 Gestenerkennung ART Die Adapter der einzelnen Sensoren bernehmen den ersten Teil der Gestenerkennung Es muss aus den vorhanden Daten ermittelt werden ob die Hand offen oder geschlossen ist da die sogenannte Greifgeste als Startgeste zur Gestenerkennung verwendet wird Als Endgeste gilt das ffnen der Hand im folgenden Abschnitt werden beide Gesten gemeinsam genauer erl utert Greif und Loslassgeste Es gibt prinzipiell mehrere M glichkeiten anhand einer Punktwol ke zu untersuchen ob die Hand ge ffnet oder geschlossen ist In der Arbeit 2011 wird bereits ein Verfahren beschrieben das den Fl cheninhalt eines umspan nenden Polygons berechnet Dieses Verfahrenhat den ConvexBottom Algorithmus als Vorbild welcher aus entnommen wurde ber den so entstehenden Fl chen inhalt sollte dann ein Greifen oder Ge ffnetsein der Hand ermittelt werden KAPITEL 3 ALGORITHMEN 35 Das im Weiteren verwendete Vorgehen sieht allerdings etwas anders aus Basie rend auf der Tatsache dass der Daumen den gr ten Abstand zu einem errechneten Schwerpunkt einer Punktwolke hat soll dieser Abstand zu Hilfe genommen werden um zu berechnen wann gegriffen wird In Abbildung 4 1 a ist eine ge ffnete Hand zu sehen
109. n lassen diesen Abstand individuell einzumessen Ein weiterer Punkt der bei der Ausdehnung betrachten werden muss ist dass sich bei ersten Versuchen mit dem Handschuh und dem ART Tracking System das Ph nomen ergab dass die Tiefenwahrnehmung nur bei ge ffneter Hand wirklich zuverl ssig arbeitet Schlie t man die Hand ergeben sich Fehlmessungen l ngs der z Achse im Raum Damit man beim Greifen ein hnlich zuverl ssiges Tracking gew hrleisten kann be darf es hier noch einiger Erweiterungen am Wolken Modell Die Erwartungshaltung an die Wolke wird dahin gehend ver ndert dass nicht mehr von einer klassischen Kugelform ausgegangen werden kann sondern von einer Kugel die l ngs der z Achse gedehnt ist Somit k nnen auch Punkte noch mit einbezogen werden die f lschli cherweise einen zu hohen oder zu niedrigen z Wert bekommen haben Damit dieses Verfahren zielf hrend ist bedarf es Festlegungen ber Haltung der H nde des Benut zers die sp ter in diesem Kapitel aufgef hrt werden siehe daf r den Abschnitt ber die erwartbaren Posen 3 2 Abbildung 3 2 Darstellung der maximalen Ausdehnung der Finger Schwerpunkte der Wolke bestimmen Nachdem alle bertragenen Punkte zu Punktwolken zusammengefasst oder verworfen wurden r cken die Punktwolken selbst in den Fokus In einem ersten Schritt wird der Schwerpunkt der Punktwolke errechnet F r KAPITEL 3 ALGORITHMEN 30 die Berechnung des Schwerpunkts wird das arithmetische Mi
110. nau einen Zustand abgebildet wird Der Hebel 2 4 4 Schieberegler 2 4 1 und hnliche Artefakte KAPITEL 2 ANALYSE 13 k nnen ber mehr als zwei Zust nde verf gen F r Schieberegler und R der k nnen kontinuierliche Zust nde in Betracht gezogen werden Hier wird nicht ein bestimmter Zustand abgebildet sondern ein prozentualer Wert zwischen den beiden Extremwerten die der beweglichen Bestandteil eines Artefakts annehmen kann Hier im Anschluss werden die einzelnen Artefakte aufgef hrt 2 4 1 Schieberegler Der Schieberegler wie in Abbildung 2 2 zu sehen besitzt einen Griff und kann l ngs einer Achse bewegt werden Es kommen sowohl die x als auch die y Achse infrage Es ist zu Beginn festzulegen l ngs welcher Achse ein Schieberegler manipuliert werden soll Eine abwechselnde oder gleichzeitige Beweglichkeit entlang beider Achsen ist nicht vorgesehen Der Schieberegler kann grunds tzlich kontinuierliche oder diskrete Zust nde besitzen auch dies ist beim initialisieren des Schiebereglers zu Beginn anzugeben Abbildung 2 2 Foto eines Schiebereglers Quelle Schieberegler KAPITEL 2 ANALYSE 14 2 4 2 Schaltknopf Unter dem Oberbegriff Schaltknopf sollen zwei m gliche Artefakte aufgef hrt werden die sich wie folgt unterscheiden Taster Die erste soll ein Schaltknopf in Form eines Tasters sein Eine Abbildung hier zu ist P 3 a zu sehen Der Taster hat zwei diskrete Zust nde An und Aus Die Manipu lation
111. nder Posen Die Posen die erwartet werden und von denen zur sp teren Berechnung ausgegangen wird werden im folgenden aufgef hrt Stand der Person Der Proband wird sich in aller Regel im aufrechten Stand oder aber sit zend im Messbereich befinden Diese Vorhersage schr nkt die m gliche Lage der Aktoren ein Dies kommt besonders dann zum Tragen wenn mehr als zwei Punktwol ken existieren Hier werden die Punktwolken die sich mittig im Messbereich befinden bevorzugt Erst wenn sich keine Werte im zentralen Bereich des Messraums befinden werden Punktwolken an den R ndern ber cksichtigt Abstand der H nde Um die Berechnung und Zuordnung der Aktoren zu erm glichen ist es essentiell dass die H nde mindestens eine Handbreite Abstand voneinander ha ben Dieser Abstand verhindert dass beide ermittelten Punktwolken zu einer zusam men gefasst werden und somit eine der beiden H nde keine Aktorzuordnung mehr bek me Dar ber hinaus ist der maximale Abstand zweier H nde wichtig Werden bei de Arme seitlich im rechten Winkel vom K rper weg gestreckt ergibt die Distanz der H nde den maximal Abstand Dieser Abstand ist abh ngig von der Gr e der Per son Zur Verwendung sollte anfangs von einem Wert ausgegangen werden der einer durchschnittlich gro en Person zuzuordnen ist Dieser Anfangswert kann durch ein exemplarisches Einmessen ermittelt werden Grunds tzlich sollte der Wert aber va riabel gehalten werden damit sp tere Anpassungen
112. ndhabung des Zweihand Hebels unbenutzbar schlecht mittelm ig gut sehr gut Enthaltung O O O O O O 4 3 1 Haben Sie das Rad erkannt nein schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 3 2 Wie intuitiv war Ihnen die Funktionsweise garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O 4 3 3 Handhabung des Rad unbenutzbar schlecht mittelm ig gut sehr gut Enthaltung O O O O O O 4 4 1 Haben Sie das Zweihand Rad erkannt nein schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 4 2 Wie intuitiv war Ihnen die Funktionsweise garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 4 3 Handhabung des Zweihand Rads unbenutzbar schlecht mittelm ig gut sehr gut Enthaltung O O O O O O 4 5 1 Haben Sie den senkrechten Schieber erkannt nein schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 5 2 Wie intuitiv war Ihnen die Funktionsweise garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 5 3 Handhabung des senkrechten Schieber unbenutzbar schlecht mittelm ig gut sehr gut Enthaltung O O O O O O 4 6 1 Haben Sie den waagerechten Schieber erkannt nein schwer mittelm ig gut sehr gut Enthaltung o O O O O O 4 6 2 Wie intuitiv war Ihnen die Funktionsweise garnicht schwer mittelm ig gut sehr gut Enthaltung O O O O O O 4 6 3 Handhabung des waagerechten Schieber unbenutzbar schlecht mittelm ig gut sehr gut Entha
113. nen Vorteil f r den gew hlten Aufbau bereitzuhalten KAPITEL 5 REALISIERUNG 66 5 8 1 nderungen bei erneuter Umsetzung Wird sich die Frage gestellt was man ndern w rde h tte man die Gelegenheit die Umset zung des Frameworks erneut zu beginnen ist hier folgender Punkt zu nennen Trotz der umfangreichen Recherche und dem Ausprobieren mehrerer Physik Engines kam es dann bei der Umsetzung immer noch zu unvorhersehbaren Problemen die nur teilweise zufriedenstellend gel st werden konnten Nicht zuletzt das Bed rfnis der Entwicklung eines eigenen Joints 5 3 2 zeigt diesen Umstand H ufig sind nicht nur die Physik Engines schuld an diesem Problem auch die angebotenen Anbindungen an bestehende 3D Grafik Engines sind sofern berhaupt vorhanden h ufig bei genauer Betrachtung nicht befriedigend Bei einer erneuten Umsetzungen eines solchen Frameworks beziehungsweise der Imple mentierung der Physiksimulation w re sicherlich die Entwicklung einer eigenen kleinen Physik Engine zu berdenken Der Umfang den diese Physik Engine haben m sste w re gering da an diese ja nur wenige Anforderungen gestellt w rden Vorteil hier w re dass man im vollen Umfang Zugriff auf die Berechnungen erh lt und einen Funktionalit ten die andere Physik Engines besitzen einen nicht in der Umsetzung behindern Mit einer Eigenen vollst ndig test und auch anpassbaren Physik Engine wo s mtliches unerwartetes Verhal ten oder etwaige Fehler i
114. ng Am Anfang eines Testdurchlaufs wird der Testperson der erste Teil des Fragebogens aus geh ndigt und sie gebeten diesen auszuf llen Anschlie end nimmt die Testperson auf dem f r sie vorgesehen Stuhl platz und setzt das Headup Display auf Hierbei gilt die Position des Headup Displays zu beachten ob der Bildschirm richtig vor dem rechten Auge sitzt und ob eine m gliche Brille der Testperson im Wege ist und ob diese m glicherweise f r den Test abgenommen werden kann Testdurchf hrung Zu Beginn des Testes wird zu erst das ART Tracking System gestartet inklusive des Adap ters der die Daten des ART Artefakts welches auf dem Headup Display montiert ist verar beiten kann Im Anschluss wird auf dem Laptop die Anwendung f r das virtuelle Cockpit ge startet und die dort errechneten Daten werden an das Headup Display bertragen Es erfolgt eine Justierung des ART Artefakts auf dem Headup Display damit die Kopfbewegungen des Benutzers korrekt bernommen werden Die Sicht die der Tester ber das Headup Display bekommt kann auf dem hinter ihm stehenden Laptop verfolgt werden Somit ist es m glich direkt Hilfestellungen zu leisten sollten sich bei der Interaktion mit den Artefakten Fragen oder Probleme ergeben Der Benutzer wird auf den Joystick rechts von seiner Position in der 3D Welt hingewiesen Sofern noch keine Vorkenntnisse bez glich des Umgangs mit den Artefakten existieren wie zum Beispiel aus dem Ersten Versuchsaufbau wird de
115. ngen f r Tests kontrollierbarer zum Ande ren sind die meisten auf dem Markt erh ltlichen Sensoren nur zur Benutzung im Innenraum gedacht Des Weiteren wird der Messbereich eingegrenzt die Simulation ist ortsgebunden und kann nicht vom Benutzer bewegt werden Als letzte Abgrenzung ist noch zu erw hnen dass von einem Aufbau f r eine Person ausge gangen wird S mtliche zum Einsatz kommende Verfahren gehen davon aus dass nur eine Person zu tracken und zu verarbeiten sein wird 2 7 Erste Untersuchungen In der Veranstaltung Projekt 2 im Wintersemester 2012 13 wurden erste praktische Tests durchgef hrt Die Details sind in der dazu angefertigten Ausarbeitung 2013 nach zulesen KAPITEL 2 ANALYSE 25 F r die ersten Versuche kam die Kinect for xBox als Sensor zum Einsatz Der Versuchsauf bau umfasste zus tzlich zu dem Sensor noch eine Physiksimulation und ein extern zu steu erndes Programm Der Adapter der Kinect filtert alle Daten bis auf die Positionen der H nde aus Diese Infor mationen wurden mittels eines UDP Broadcast Streams an die Physiksimulation bertragen und an die Repr sentanz der H nde die Aktoren weiter gegeben Die auf der Abbildung EARCH zu sehende Joystick Attrappe diente dem Benutzer als visu elles Feedback An dieser Stelle befand sich der simulierte Joystick Diese Attrappe verf gt weder ber Anschl sse noch ber Markierungen um vom Sensor erfasst zu werden Zu Beginn der Simulation wurde d
116. nkerpunkt lila und den beide verbinde nen Joint hellblau zwischen diesen beiden Teilobjekten Es wird nun das Schaltverhalten des Joysticks ber die Rotation des Greifobjekts um den Ankerpunkt beziehungsweise der Abstand zwischen Greifobjekt und Ankerpunkt bestimmt KAPITEL 4 DESIGN 44 ai Abbildung 4 3 Physik Joysticks aus Potratz 2012a a Abstrakter Joystick b 4 2 3 Visualisierung Die Visualisierung dient als Feedback f r den Benutzer Alle Artefakte und dar ber hinaus auch die Aktoren des Benutzers werden durch Verwendung einer 3D Engine dargestellt Die Physikobjekte bertragen ihre Positionen an ihr entsprechendes Gegenst ck in der 3D Simulation Die 3D Simulation ist somit ein Abbild des Zustands der Physiksimulation aller dings mit einer anderen Darstellungsform Diese Entit ten f r die grafische Abbildung sind meist detailreicher und sehen ihren realen Vorbildern aus Kapitel 2 sehr hnlich Das somit m gliche Feedback an den Benutzer erf llt mehrere Aufgaben Zum einen sieht der Benutzer eine Abbildung seiner H nde und kann somit feststellen wo er sich gerade mit seinen H nden innerhalb des Simulationsraums befindet Zum Zweiten bekommt er kontinuierlich eine R ckmeldung welches und wie er ein Artefakt manipuliert Dies erm glicht ein Abbrechen einer Bewegung bevor sie als Geste erkannt wird Au erdem ergibt die Visualisierung noch die M glichkeit eine erkannte Geste oder aber den
117. nnt All diese Verfahren spielen f r die Arbeit keine Rolle und sollen somit auch nicht weiter betrachtet werden 2 1 3 Angewandte Gestenerkennung in 3D Diese Form der Gestenerkennung findet r umlich statt Die Geste selbst muss aber nicht zwingend alle drei Dimensionen ausnutzen Besondere Herausforderungen ergeben sich hier aus dem Start Ende Problem da ein Tracking der Bewegungen kontinuierlich erfolgt Johann Heitsch stellt in seiner Arbeit 2008 ein Framework zur Erkennung dreidimensionaler Gesten vor Das System wel ches dort entwickelt wurde enth lt eine Support Vektor Machine die das Ermitteln der Geste bernimmt Es handelt sich bei der Support Vektor Machine um ein Verfahren zur Musterer kennung genauere Informationen kann der Arbeit Heitsch 2008 entnommen werden Die Arbeit von Malte Nogalski Nogalski 2012 befasst sich mit einem Softwaresystem zur Positionierung von Soundquellen mittels Gesteninterpretation Die Arbeit umfasst sowohl die Entwicklung die Implementierung sowie die Auswertung Bestandteil ist die Betrachtung verschiedener Trackingsysteme und ein berblick ber die verwendete Wellenfeldsynthese Anlage KAPITEL 2 ANALYSE 7 2 1 4 Herausforderungen in der 3D Gestenerkennung Die hier im Folgenden aufgef hrten Schwierigkeiten sind Eigenheiten der dreidimensionalen Gestenerkennung Midas Touch Problem Der Name Midas Touch Problem ist auf den Mythos des K nig Midas zur ckzuf hren Die ser
118. ntwurfsmuster kann der Arbeit Potratz 2011 entnommen werden Im Unterschied zum klassischen MVC Modell werden die Daten f r den Controller unabh ngig von der View Komponente ermittelt Die Daten stammen von den Sensoren Die View zeigt diese Daten lediglich an manipuliert diese aber nicht 4 3 1 Kommunikation Message Broker Wird ein Message Broker als Kommunikationsmittel zwischen den Modulen benutzt ergibt sich daraus der Vorteil der programmiersprachlichen Unabh ngigkeit Vorausgesetzt in der jeweiligen Programmiersprache existieren Erweiterungen um mit diesem Message Broker zu kommunizieren Die ausgetauschten Nachrichten sind standardisiert Im Anschluss sol len die beiden verwendeten Nachrichtenformate f r den Transport der Handdaten und der Daten ber Position und Lage des Kopfes aufgef hrt werden Sobald ein Sensor oder sein entsprechender Adapter eines oder beide dieser Nachrichtenformate beherrscht kann er prinzipiell im Framework als Sensor benutzt werden Model Die im Model vorgehaltenen Daten umfassen die realen Positionen der H nde und ob diese offen oder geschlossen sind Dar ber hinaus werden hier noch die Daten ber die Position und Lage des Kopfes vorgehalten sofern sie zur Darstellung in der View ben tigt werden Die Informationen der H nde werden in Aktoren innerhalb der Physik Engine bertragen Die Physik Engine enth lt zus tzlich noch die Daten f r al le weiteren in der Simulation vorhandenen Artefakte
119. oband passend vor der Kinect platziert so dass diese ihn erkennt und anf ngt die Positionsdaten der H nde zu bermit teln Anschlie end wird die Testanwendung erneut gestartet und die gesamte Schalttafel wieder gezeigt Es erfolgt nun eine kurze Einweisung f r den Benutzer wie man mit dem Kinect Sensor umzugehen hat Das umfasst das ge nderte Greifen und die etwas andere Positionierung vor der Powerwall Ist die Einf hrung abgeschlossen kann der Tester erneut mit der Schalttafel arbeiten und alle Artefakte noch einmal mithilfe der Kinect benutzen KAPITEL 6 USABILITY UNTERSUCHUNG 75 Testnachbereitung Nach Absprache mit der Testperson wird der Versuch mit der Kinect beendet Der Testper son wird der zweite Teil des Fragebogens gereicht Hier eventuell auftretende Fragen werden gekl rt und gegebenenfalls Punkte auf dem Fragebogen konkretisiert Dar ber hinaus findet eine Unterhaltung ber die Anwendung statt und die zu der Software gemachten Anmerkun gen werden notiert 6 2 2 Durchf hrung des Tests f r das virtuelle Cockpit Der zweite Versuch findet auch auf mehrere Tage verteilt statt F r den Versuch mit einer Testperson wurden ungef hr 15 Minuten veranschlagt Im folgenden Abschnitt wird der Tes tablauf aufgef hrt und die einzelnen Schritte sind in zeitlicher Reihenfolge notiert Bei diesem Test ist es unerheblich ob sich weitere Personen im Raum befinden die zu einem sp teren Zeitpunkt testen wollen Testvorbereitu
120. ong u a 2008 Song Peng Yu Hang WINKLER Stefan Vision based 3D finger interactions for mixed reality games with physics simulation 2008 URL doi acm org 10 1145 1477862 1477871 u a 2012 ua R Paul M Static Hand Gesture Recognition with 2 Kinect Sensors 2012 URL http www cs uky edu mihail personal d i pubs kinect pdf Wahlster 2002 WAHLSTER Wolfgang Disambiguierung durch Wissensfusion Grundprinzipien der Sprachtechnologie 2002 URL http www dfki de LITERATURVERZEICHNIS 85 wahlster Publications Disambiguierung_durch_Wissensfusion_ Grundprinzipien_der_Sprachtechnologie pdf Watanapa 2012 WATANAPA Orasa Patsadu Chakarida Nukoolkit B Human Gesture Recognition Using Kinect Camera 2012 URL http www ee unlv edu blmorris ecg 95 docs patsadu_jcsse201l2_kinect_gesture pdf Ye peng 2013 YE PENG Pan Jing G Human computer Interaction using Pointing Ge sture based on an Adaptive Virtual Touch Screen 2013 URL journals IJSIP vol6_no4 7 pdf Abbildungsverzeichnis 2 1 Fotoausschnitt einer Schalttafel Quelle Schalttafel l 12 2 2 Foto eines Schiebereglers Quelle Schieberegler 13 2 3 a Abbildung eines Tastschalters Quelle Notausl b Abbildung eines Kippschalters 14 2 4 Abbildung eines Griffes Quelle Griffl 15 2 5 al Foto eines Einhandhebels Quelle Schaltta
121. p lu5si lun u upolilln p u y el Janeua c LO N LO LO lt lt A J uji nb q 1 uguos s s ynyospuep soo ssy YUYO LL Dou je sn ugjjs zads w u 10 DumUDUST ul y pueH op UO os WOU 103A u l s BJi 1S auUOeIEL uiney Bunui n lsu J 9195sag UL USUNYISPUEH u p Wu u J l u5s DU WD pugH lp luuoy ueyy Iyos nJs ge Bipuels os puis Yo npep pun gob sema uasem aynyospueH au yole sqs unsse13 uig yey ais u piaA 191u5oe 6 I MuIASJ eJuiJ ei uuey lp Ne ssnmaog JNU 1 YOLIL LHV HN 19 4 11p 6un6e1lu qn op pug UO m lt c m m lt m cO m LO lt lt lt lt LO u ls 5 Jee Josee u luoJou B pugH aulaw uaap ss q luuoy u2 Js p swyase ayon OI 1 SS q JeH G Juupyu 9 JE ISSELIEANZ pun J l uu5s u pinA u ls 5 ai r ee c leien co N 0 oo lla fjae o Qi eo o al io 0 o to uo 5 Tabelle B 3 Ergebnisse Fragebogen Schalttafel Teil2 1 von 5 119 ANHANG B ERGEBNISSE 4 4 2 4 4 3 4 3 2 4 3 3 4 4 1 4 2 2 4 2 3 4 3 1 4 1 2 4 1 3 4 2 1 4 1 1 Nr 10 11 12 13 Tabelle B 4 Ergebnis
122. r Umgang nun erl utert Sobald der Benutzer den Joystick zuverl ssig greifen gelernt hat wird die Flugsimulation auf der KAPITEL 6 USABILITY UNTERSUCHUNG 76 Powerwall gestartet Ein Bild von dieser Szene ist der Abbildung 6 6 zu entnehmen Das Flugzeug schwebt in der Luft und durch Bet tigen des Joysticks l sst es sich auf der Stelle bewegen Nachdem erste Erfahrungen mit diesem Artefakt gesammelt wurden wer den der Testperson noch die beiden Artefakte zu seiner linken gezeigt Es handelt sich dabei um den Schieber f r den Schub und den Hebel zum Einziehen des Fahrwerks ganz links au en Die Testperson wird aufgefordert durch Bet tigen des Fahrwerkhebels das Fahrwerk einzufahren und dann mit der linken Hand nach dem Schubregler zu greifen Nun wird die Kameraansicht von der Flugsimulation insofern ge ndert dass die Kamera eine feste Po sition hinter dem Flugzeug einnimmt und der Tester aufgefordert wird ein wenig Schub zu geben Der eigentliche Flug beginnt nun und dem Benutzer wird freie Hand gelassen bei seinen T tigkeiten Sollte der Flieger den Boden ber hren startet das Flugzeug wieder auf seiner Urspr nglichen Position und es kann weiter geflogen werden Abbildung 6 6 Testperson vor Powerwall mit Headup Display Testnachbereitung In R cksprache mit dem Probanden oder durch die Aufforderung vom Probanden selbst wird der Test beendet und es wird der zweite Teil des Fragebogens ausgeh ndigt Sollten Unklarheiten bei
123. rabasierten 3D Tracking Systems 2012 URLusers informatik haw hamburg de ubicomp arbeiten bachelor nogalski pdf Potratz 2011 POTRATZ Olaf Ein System zur physikbasierten Interpretation von Gesten im 3D Raum 2011 URL http users informatik haw hamburg de ubicomp arbeiten bachelor potratz pdf Potratz 2012a POTRATZ Olaf Entwicklung eines Gestenframeworks 2012 URL http users informatik haw hamburg de ubicomp projekte master2012 projl potratz pdf Potratz 20126 POTRATZ Olaf Physikbasierte Interaktion im virtuellen Raum 2012 URL http users informatik haw hamburg de ubicomp projekte master2012 aw2 potratz bericht pdf Potratz 2013 POTRATZ Olaf Erste Versuche mit einem 3D Gestenframework 2013 URL users informatik haw hamburg de ubicomp projekte master12 13 proj2 potratz pdf Ro berger 2008 ROSSBERGER Philipp Physikbasierte Interaktion in kollaborativen computergest tzten Umgebungen 2008 URL http users informatik haw hamburg de ubicomp arbeiten master rossberger pdf S hmelioglu 2011 S HMELIOGLU Burak Experimenteller Vergleich von Techniken zur intuitiven Interaktion in Augmented Reality Anwendungen 2011 URL www cs uni paderborn de fileadmin Informatik FG Szwillus Bachelor Studienarbeiten BA_S C3 B6hmelioglu__Burak pdf Smith 2002 SMITH Russell How to make new joints in ODE 2002 URL http www ode org joints pdf S
124. re die das Einbinden des Sensors in das System erm glicht muss individuell die spezifischen Daten des Sensors aufarbeiten Die Ausarbeitung des sogenannten Adapters umfasst sowohl die Abstraktion der Hand auf eine dreidimensionale Koordinate wie auch die Erkennung der rechten oder linken Hand Dar ber hinaus muss sp testens aus den Rohdaten beim Adapter eine Gestenerkennung stattfinden Sowohl die Greif als auch die Loslassgeste m ssen hier gefunden werden An schlie end sendet der Adapter die aufbereiteten Informationen selbstst ndig an den Messa ge Broker ART Tracker Der ART Tracker von der Firma Advanced Realtime Tracking GmbH P kann sowohl f r das Tracking der H nde verwendet werden wie auch mithilfe eines ihrer starren Artefakte zur Bestimmung der Position und Lage des Kopfes genutzt werden Die f r die Aufbereitung und Verarbeitung der Daten der aufgezeichneten H nde ben tigten Algorithmen wurden im Kapitel B bereits besprochen http www ar tracking com contact KAPITEL 4 DESIGN 42 Abbildung 4 2 Selbstgebauter Handschuh mit Markern Das Foto in Abbildung 4 2 zeigt die sp ter von den Benutzern getragenen Handschuhe mit den Markern an den Fingerspitzen Der ART Tracker kann dar ber hinaus noch verwen det werden um die Position und Lage eines Headup Displays zu berechnen Diese Aufgabe ist separat von den Aufgaben der Erkennung und Verarbeitung der Handdaten zu betrachten Dem Handbuch f r das ART Tr
125. rt werden Das Kapitel 2 beinhaltet die Analyse eines Systems zur Gestenerkennung Zuerst wird auf den Bereich Gestenerkennung allgemein eingegangen anschlie end wird ein Anwendungs szenario beschrieben Es folgen themenverwandte Arbeiten die vorgestellt und im Kontext der eigenen Zielsetzung auf ihre Verwendbarkeit hin bewertet werden Danach wird die Schalttafel Metapher vorgestellt Es werden die f r die Schalttafel infrage kommenden Benutzerobjekte betrachtet Im Anschluss werden Gesten bestimmt mithilfe de rer eine Interaktion zwischen dem Benutzer und der Schalttafel erm glicht werden soll Die Analyse der Gesten unter Ber cksichtigung des hier gew hlten Ansatzes dienen als Grundlage der funktionalen Anforderungen die f r eine sp tere Umsetzung des Systems formuliert werden Als Abschluss wird in der Analyse noch ein erster Test vorgestellt der eine grunds tzliche Machbarkeit nicht ausschlie t Im Kapitel jwerden die f r die Entwicklung des Systems ben tigten Algorithmen vorgestellt Diese Algorithmen sind zum Teil spezifisch f r einzelne Sensoren zum Teil betreffen die Al goritnmen das Kernsystem Kapitel 4 befasst sich im ersten von drei Teilen genauer mit dem gew hlten Ansatz zur Geste nerkennung es werden berlegungen theoretischer Natur zur Gestenerkennung durch eine Physiksimulation gemacht Der zweite Teil des Kapitels beinhaltet die f r die Entwicklung eines Softwaresystems ben tigten Beschreibungen der Teilko
126. rteilung der verwendeten Komponenten f r das virtuelle Cockpit 71 6 3 Versuchsaufbau f r das virtuelle CockPit 222 22mm nenn 72 6 4 Sicht auf die Artefakte durch das Headup Display e 72 6 5 Testperson vor Powerwall mit Hebel Artefakt 74 6 6 Testperson vor Powerwall mit Headup Display e 76 Glossar Disambiguierung Dependency Injection Framework Fullscreen Gyrometer Immersion Disambiguierung beschreibt das Aufl sen von Mehrdeutigkeiten unter Verwendung von Selektionsrestriktionen und weiteren globalen Informationen Siehe auch Wahlster 2002 Beschreibt ein Konzept der objektorientierten Programmierung in dem einem Objekt zum Beispiel bei der Initialisierung ein anderes Objekt bergeben wird Dieses bergabeobjekt kann f r das Verhalten des Objekts bestimment sein Ein Framework im Deutschen als Ranmenwerk bezeichnet bestimmt die Architektur der Anwendung Es stellt dem Entwickler eine Reihe von Grundfunktionalit ten in Form von Klassen und Methoden zur Verf gung sodass der Entwickler sich auf die spezifischen Details seiner Anwendung konzentrieren kann Siehe dazu auch Erich Gamma 2007 Fullscreen deuscht Vollbild beschreibt den Fall wenn eine Anwendung den Bildschirm komplett ausf llt und auch der Fensterrahmen von Betriebsystem wegf llt Ein Gyrometer ist ein Sensor der Drehbewegungen registriert Er kann die Rotationsgeschwindigkeit des sich drehenden K rpers me
127. s Viereck abgebildet In der Arbeit von Sobin Ghose wird mitunter die Leap Motion erfolgreich zur Steuerung einer Anwendung mittels Gesten eingesetzt Die Reichwei te der Sensors ist sehr gering von daher w re ein Tragen der Leap Motion am K rper zu berlegen In Verbindung mit einem entsprechenden Headup Display k nnte der Benutzer Sensor wie auch Ausgabeger t am K rper tragen Abbildung 5 12 Projektion des Leap Motion Shttps www leapmotion com KAPITEL 5 REALISIERUNG 68 5 9 2 Weitere Ausgabemedien Oculus Rift Die Oculus Rif 4 ist ein Headup Display das ber beide Augen geht und die Sicht des Benutzers auf die Realit t vollkommen verdeckt Es verf gt ber ein drei Achsen Gyrometer und Beschleunigungssensoren welche die Rotation des Kopfes feststellen k nnen und die Rotation an das System f r eine passende Bildverarbeitung weitergeben Eine Bewegung des Kopfes l ngs der drei Achsen wird nicht registriert Die Oculus Rift wird im Sitzen benutzt da der Benutzer keine Sicht mehr auf die Realit t hat Das Headup Display k nnte im Bereich des virtuellen Cockpits 6 1 2 zum Einsatz kommen allerdings w re dann noch die grafische Repr sentation des externen Programms in dem Fall der Flugsimulation mit in die Oculus Rift zu bertragen Google Glass Die Google Glasg list ein Headup Display durch welches der Benutzer schauen kann Er kann also zus tzliche Informationen wahrnehmen w hrend er sich in der
128. schlie en war Als Sensor wurde die Kinect besser bewertet Hauptargumente hier waren dass keine Hand schuhe ben tigt wurden und die Kinect das Greifen h ufig besser erkannt hat KAPITEL 6 USABILITY UNTERSUCHUNG 78 Abschlie end kann man sagen dass sich der berwiegende Teil der Kritik an den Sensoren festmachen lie Die Schalttafel selbst wurde als gegeben hingenommen Auch der Aufga benbogen wo notiert wurde wie viel Hilfe ein Proband ben tigte zeigt dass sobald erste Anfangsschwierigkeiten gel st waren die Mehrheit der Probanden g nzlich ohne Hilfe aus kam Eine gro e Mehrheit der Testperson kann sich den Einsatz einer so oder hnlich gearte ten Gestensteuerung in Zukunft vorstellen Alles in allem kann der Versuch als erfolgreich betrachtet werden 6 3 2 Ergebnisse des virtuelle Cockpits Die Gruppe von Probanden bestand f r diesen Versuch ausschlie lich aus Informatikstuden ten Dementsprechend war hier mit Benutzern zu rechnen die viel Erfahrung im Umgang mit Computern haben Die Steuerung wurde als intuitiv betrachtet Eine Mehrzahl der Benutzer wertete die Funkti onsweise als gut oder sehr gut Die Sicht durch das Headup Display wurde als mittelm ig befunden hier ist durch die Kommentare und Gespr che hinzuzuf gen dass das Headup Display ein zu kleines Sichtfeld bot Die Steuerung der Flugsimulation wurde durchschnittlich bewertet Sobald man sich auf die Flugsimulation konzentrierte empfanden ein
129. se Fragebogen Schalttafel Teil2 2 von 5 4 8 2 4 8 3 4 7 2 4 7 3 4 8 1 4 6 2 4 6 3 4 7 1 4 5 2 4 5 3 4 6 1 4 5 1 Nr 10 11 12 13 Tabelle B 5 Ergebnisse Fragebogen Schalttafel Teil2 3 von 5 120 ANHANG B ERGEBNISSE 4 12 4 10 2 4 10 3 4 11 4 9 2 4 9 3 4 10 1 4 9 1 Nr 10 11 12 13 Tabelle B 6 Ergebnisse Fragebogen Schalttafel Teil2 4 von 5 121 ANHANG B ERGEBNISSE 1lu9lu win em 1qIB uonejq 6sner u sso u5Ss Dsne UOuuefe ul81 uuJoA uoA Bunuu vyud u p An ageyy u 1 Bil iq uu 1 u y u sep SO UU SUYOSIEL ul 1u U1 YIS puis u ls S u lj lulj p II Sep EL Jem U91 1B oji9 uonyy luunj Bsne a qo sequu yi 91 oipey 497 g Z uonyund 1n6 p nm wos UO 13u19 Bunyulmsny Jop Bunuusylg Sne up llu uaga u uopjul uoa Buni n 1s inz g z Er Jop od yoy uarem yopeqp ad sayas lsnye pun sajlens n Z4 Siyanpegqs unuyoma 1y S Is Zu9se1daja Dia uaan JgJegqanlwun WNZ UOSI94 u u Bi Jop BUNUPJOUIZ op INN 1n Uew sem S U9SSEJUY usyay age LONEUIqWOY al DU ya Was UE UO 14 S Jet U UAIPAq nz opyeysjuy alain LL u los u wwoy punos quie3J qey usyu ba Onyon 1 z
130. setzt Zus tzlich gab es noch ei ne KI die das eigentliche Framework unterst tzte Die Kommunikation zwischen Sensoren und Framework findet mittels Multicast statt Die Gestenerkennung erfolgt abh ngig von der Wissensbasis der Umgebung und weiteren Informationen Sowohl Kontext der Geste als auch von wem die Geste initiiert wird haben Einfluss auf das Verhalten des Gesamtsys tems Das System hnelt dem eigenen Arbeitsumfeld Es handelt sich hier auch um ein Frame work zur Interaktion in einem virtuellen Raum Aufgrund des Alters der Arbeit welche aus dem Jahr 2005 stammt sind lediglich noch grunds tzliche Ideen und L sungsans tze ver wendbar Allerdings m ssen diese auf den Stand der Technik angepasst werden Auch die Gestenerkennung selbst ist vom Kern her anders gel st und kommt ohne Physik Simulation aus 2 2 2 Vision based 3D Finger Interactions for Mixed Reality Games with Physics Simulation Die Arbeit Vision based 3D Finger Interactions for Mixed Reality Games with Physics Si mulation Song u a 2008 beschreibt die Umsetzung von zwei Spielen Bei den Spielen handelt es sich um Finger Fishing und Jenga Finger Fishing kann als Vorarbeit zu der Umsetzung von Jenga betrachtet werden da Jenga alle Funktionen die f r Finger Fishing ben tigt werden enth lt und dar ber hinaus geht Aus diesem Grund gilt das weitere Interesse nur noch der Umsetzung von Jenga Das Spiel selbst is
131. ssage Broker miteinander Im Anschluss an erste Versuche erfolgt eine Usability Untersuchung die ber die Benutzbarkeit des Systems hinaus noch kl ren soll inwieweit eine Simulation von realen Gegenst nden zur Interaktion den Einstieg in ein solches System vereinfacht Diese Ergebnisse werden dokumentiert und bewertet Olaf Potratz Title of the paper A framework for physics based 3D interaction with large displays Keywords Human Computer Interface Motion Tracking Gestures Gesture Recognition Physics Engine Abstract This paper deals with a framework for the interpretation of gestures for large displays The interpretation takes place using a physics simulation and should be independent of the sen sors used The requirements for such a framework are being described and analysed An exemplary realization is carried out for two different optical motion tracker Based procedures for the detection of hands and the actual gesture recognition are described in theory and are being partially implemented For the gesture recognition itself a physics engine is employed The subsystems communicate with the help of a Message Broker Following initial trials a usability study is carried out Apart from clarifying the system s usability the study also aims to explain to what extend the simulation of real objects simplifies the user s handling of such a system These results are being documented and evaluated Inhaltsverzeichnis 1 TJ Motv
132. ssen Immersion ist ein Bewusstseinszustand Um so h her der Grad der Immersion ist desto mehr f hlt sich der Benutzer als Teil einer simulierten Umgebung Glossar 89 UDP User Datagramm Protocol UDP ist ein verbindungsloses Netzwerkprotokoll Es k nnen damit Daten ber ein Netzwerk versendet werden ohne das dem Sender der oder die Empf nger nicht bekannt sein m ssen Anhang Fragebogen Die hier aufgef hrten Frageb gen kamen bei dem Versuchsaufbau der Schalttafel und dem Versuch des virtuellen Cockpits zum Einsatz Bei den personbezogenen Fragen in den Fra geb gen wurde sich an dem Fragebogen von Lorenz Barnkow aus der Arbeit Barnkow 2012 orientiert Fragebogen zur Schalttafel Teil 1 Anleitung Bitte die folgenden Fragen nur genau eine Antwort ankreuzen M chten Sie sich zu einer Frage nicht u ern dann kreuzen Sie bitte Enthaltung an F llen Sie diese Fragen bitte vor dem Versuchsdurchlauf aus Ihre Antworten sind vertraulich tauschen Sie sich nicht mit anderen Teilnehmern dar ber aus Bei Fragen stehe ich Ihnen gerne zur Verf gung 1 Fragen zur Person 1 1 Bitte geben Sie Ihr Alter an 18 20 21 24 25 29 30 35 36 45 45 Enthaltung O O O O O O O 1 2 Bitte geben Sie Ihr Geschlecht an Mannlich Weiblich Enthaltung O O O O 1 3 Sind Sie zur Zeit WiSe 2013 2014 eingeschriebener Student einer Hochschule Ja Nein Enthaltung O O O Falls Ja a Welchen Abschluss s
133. sst welches unter dem Namen living place l uft Eine Installation eines solchen Sys tems zur Gestensteuerung w re hier sicher vorstellbar Prinzipiell kann ein solches System in allen Bereichen Einzug halten wo keine zeitkritische Interaktion erfolgen muss oder aber das Wiederholen einer Geste keine kritische Auswirkun gen h tte Inwieweit solche Systeme aber tats chlich in Zukunft in den allt glichen Gebrauch kommen werden gilt abzuwarten da neben der technischen Herausforderung nicht zuletzt der Mensch ber dessen Akzeptanz entscheiden wird Hier wird die Zukunft zeigen wo Ges ten eine alltagstaugliche Alternative zur herk mmlichen Steuerungen ergeben 6http www xbox com de DE xbox one meet xbox one 7 http ivingplace informatik haw hamburg de blog Literaturverzeichnis GeoLab Geometry Lab letzter Abruf 20 02 2014 URL i i i I GeomLab RandomPolygon index html Handkurbel Manivelle du tour Somua Capucins letzter Abruf 24 02 2014 _ URL http upload wikimedia org wikipedia commons c c8 Schieberegler Mischpult letzter Abruf 24 02 2014 URL wikimedia org wikipedia commons 8 85 Audio_mixer_faders jpg Notaus Not Aus Bet tiger letzter Abruf 24 02 2014 URL upload wikimedia org wikipedia commons f f9 Not Aus_Bet C3 A4tiger jpg Griff Notbremse letzter Abruf 24 02 2014 URL http upload wikimedia org wikipedia commons 1 1d RB Notbremse jpg Sc
134. swertung der ART Tracker Daten f r das Headup Display Anbindung der Kinect und somit das zur Verf gung stellen zweier Unterschiedlicher Sensoren Einheitliche Kommunikation der verteilten Komponenten ber eine ActiveMQ e Umsetzung einer physikalischen Simulationsumgebung Erstellen der Artefakte aus Kapitel 2 Erkennen der in Kapitel 2 aufgef hrten Gesten e Ausgabe der Simulation wahlweise mittels Headup Display oder Powerwall Sensoren Beide Sensoren der ART Tracker wie auch die Kinect funktionieren zum Tracken der H nde Ihre Verwendung ist prinzipiell f r das System m glich allerdings haben beide Sensoren ihre Schw chen und T cken Vor allem die Qualit t der ART Tracker Daten ist stark vom Umfeld abh ngig Zu viele Reflexionen oder Sonnenlicht st ren hier erheblich Physik Engine Die Ergebnisse der Simulation sind zufriedenstellend allerdings war die Umsetzung aller Funktionalit ten wesentlich aufw ndiger als gedacht Message Broker Das System durch die Kommunikation ber einen Message Broker von einander zu entkoppeln war erfolgreich Die bef rchteten zeitlichen Verz gerungen sind so minimal dass sie nicht ins Gewicht fallen Allerdings zeigte sich in der Umset zung dass im ersten Schritt nicht alle Komponenten immer ber diese Kommunikation getrennt werden m ssen Die Physik Simulation und die f r den Benutzer sichtbare 3D Simulation wurden nicht getrennt da dies einen Mehraufwand bedeutet h tte oh ne ei
135. t einfach man muss solange Kl tzchen aus dem Turm ziehen bis dieser zusammenst rzt Als Eingabeger t wird eine Kamera mit zwei Objektiven verwendet Die zwei Objektive er m glichen eine Tiefenwahrnehmung des Systems allerdings nur f r kurze Distanzen Man h lt die Hand in relativ kurzem Abstand vor die Kamera und das System sucht nach einer KAPITEL 2 ANALYSE 9 m glichst langen Kette von aneinanderh ngenden Pixeln um die Position des Fingers und vor allem der Fingerspitze aus dem aufgenommen Bild zu ermitteln Ist der Finger erkannt wird die Position der Fingerspitze in die Physik Simulation bertragen und durch einen Aktor repr sentiert Wenn der Zeigefinger einen virtuellen Stein ber hrt ist die Haltung des Dau mens entscheidend Bei gehobenem Daumen reagiert das System nicht Ist der Daumen dagegen gesenkt oder nicht weiter sichtbar weil er von der Hand selbst verdeckt wird f hrt eine Kollision von Aktor und virtuellem Stein zu einer Verbindung Dieses Verbindung wird mittels eines Joints aufgebaut Die Ergebnisse der Arbeit zeigen dass der Aufbau grunds tzlich funktionierte Testperso nen konnten mit der Simulation ber die Finger interagieren Die in der Arbeit dokumentierte Benutzer Studie liefert wertvolle Hinweise was zu beachten ist wenn man selbst im An schluss an die Umsetzung eine Benutzer Studie durchf hren m chte Die im Rahmen der Potratz 2012a und Potratz 2013 gemachten Erfahrungen revidiert
136. t wird Der Griff wird f r gew hnlich entlang der y oder der z Achse vom Benutzer durch eine Hand Armbewegung zu sich gezogen Abbildung 2 4 zeigt einen in der Realit t vorkommenden Griff Der Griff besitzt in der dortigen Auspr gung zwei diskrete Zust nde und kann nach unten gezogen werden d NOTBRE Missbrauch em x Abbildung 2 4 Abbildung eines Griffes Quelle Griff KAPITEL 2 ANALYSE 16 2 4 4 Hebel Der Hebel stellt das vierte Artefakt in der hier aufgef hrten Liste an denkbaren Bestandteilen einer virtuellen Schalttafel dar Die Abbildung 2 5 zeigt verschiedene Formen eines Hebels Der Hebel ist in seiner einfachsten Form mit einer Hand sprich einem Aktor zu bedienen Es ist aber denkbar auch Hebel mit zwei Greiffl chen zu erstellen um eine Art Sicherung der Aktion zu erzeugen Man muss demnach bewusst beidh ndig zugreifen und den Schalter umlegen Der Hebel in seiner einfachsten Form hat zwei Zust nde in die eine Richtung gekippt oder eben in die andere Richtung Dar ber hinaus sind aber weitere Modelle durchaus berle genswert Ein Hebel mit drei Zust nden in dem der mittlere Zustand der zwischen den Zust nden an und aus als undefiniert gilt und der Hebel beispielsweise in den urspr ngli chen Zustand zur ckf llt Eine andere M glichkeit den Hebel zu verwenden ist ihn mit einer kontinuierlichen Ausgabe zu versehen analog zu einem Gashebel Die Bewegung des Hebels erfo
137. tlich in Abgrenzung zu dieser Arbeit definiert wer den In der Arbeit Potratz 2011 wird das Greifen als eine Geste mit zwei H nden die einen Gegenstand greifen verstanden Im Gegensatz dazu soll in dieser Arbeit greifen als das Schlie en einer Hand verstanden werden Eine Abbildung dazu ist in Abschnitf4 1 zu finden Im weiteren Verlauf steht der Begriff des Greifens oder Greifgeste sofern explizit nicht anders hervorgehoben immer f r das einh ndige Greifen Die Greifgeste l st bei dem greifenden Aktor die Funktion aus das dieser Aktor sich mit einem Artefakt des Schaltpult verbinden will Dies geschieht aber nur unter der Bedingung dass sich ein solches Artefakt innerhalb einer vorher definierten Entfernung befindet Ansonsten verbindet sich der Aktor nicht Ana log zu dem realen Schlie en einer Hand wenn man beim Schlie en der Hand etwas greift h lt man dieses fest ansonsten ist die Hand geschlossen und man hat eben nichts gegriffen Es bedarf erst den nun folgenden Loslasse Gesten da mit einem erneuten Zugreifen eine Verbindung mit einem Artefakt erm glicht wird Endgeste Loslassen Als Loslassen oder auch Loslasse Geste wird bezeichnet wenn eine geschlossene Hand ge ffnet wird Es entspricht der gegenteiligen Handlung des Greifens und umfasst auch nur eine Hand Zu sehen in Abbildung 4 1 Wird eine Hand ge ffnet wird ein etwaiger Gegen stand losgelassen Gesetzt den Fall das vorher geschehene Greifen f hrte nicht
138. toren gum Laptop F UDP JMonkey Engine z ART Tracker Physiksimulation S Adapter Aktoren z Right Hand Left Hand Artefakt 1 z w Anzeiger LO Steuergesten Remote erkennung Position 3D lt lt send gt gt O aka en Abbildung 6 2 Verteilung der verwendeten Komponenten f r das virtuelle Cockpit Der Aufbau im Labor kann aus Abbildung 6 3 entnommen werden Die Testperson nimmt auf dem Holzstuhl platz Der Holzstuhl befindet sich in einem eingemessenen Standort wie man an den Markierungen auf dem Fu boden erkennen kann Dieses Einmessen ist notwen dig da passend zu der Position des Stuhls auch die Artefakte in der Simulation positioniert werden m ssen Auf dem hinteren Stuhl nimmt der Testleiter platz Alles was der Pilot ber KAPITEL 6 USABILITY UNTERSUCHUNG 72 das Headup Display sieht wird zugleich auf dem Laptop dargestellt Der Testleiter berwacht von hier aus die ersten Schritte und leitet den Piloten zum Start des Tests an Abbildung 6 3 Versuchsaufbau f r das virtuelle Cockpit Der Joystick wird rechts von der Testperson simuliert der Hebel f r das Fahrgestell und der Schieberegler zum Schub geben befinden sich links vom Piloten In Abbildung 6 4 sind die Artefakte abgebildet Es ist hierbei zu beachten dass das Headup Display alle schwar
139. toren waren zum einen die Schw chen in der Genauigkeit und Zuver l ssigkeit der f r das Tracking verwendeten Kameras Dabei zeigten beide Systeme unter schiedliche Auspr gungen dieser Schw chen Zum Anderen erwies sich die Umsetzungen mithilfe der Physik Engine als berraschend m hsam so dass eine Weiterentwicklung erst nach dem Austausch dieser Komponente in Betracht gezogen werden sollte Dies alles sind aber Schwierigkeiten die durch andere und neuere Systeme sicherlich in naher Zukunft ge st werden k nnen Somit kann man das Gesamtsystem als funktionst chtig betrachten Als weiteres Fazit kann man die Benutzertests hinzunehmen und hinsichtlich der aufgestell ten Hypothesen aus Abschnitt 1 2 betrachten Es ist gelungen durch die Verwendung von real existierenden Gegenst nden wie Schaltern R dern und Hebeln ein virtuelles System zu erschaffen da in den meisten F llen keinerlei Anleitung bedarf Der gr te Teil des Er lernens bezieht sich auf die oben angesprochene Kamerasensorik und ihre spezifischen Eigenheiten was f r die Fragestellung aber unerheblich ist KAPITEL 7 SCHLUSS 81 7 3 Ausblick Die Weiterentwicklungen im Bereich der Kamerasensorik werden die noch bestehenden Pro bleme von Latenz und Ungenauigkeiten lindern Diese Schwierigkeiten sind sicherlich als einer der begrenzenden Faktoren eines solchen Systems anzusehen Dar ber hinaus er ffnet der Fortschritt und der damit verbundene Preisverfall in diesem
140. treben Sie aktuell an z B B Sc M Sc Ph D b Welchem Studienrichtung geh ren Sie an z B Informatik c Im wievielten Studiensemester befinden Sie sich Gesamtzahl 1 2 3 4 5 6 7 9 10 12 12 Enthaltung O O O O O O O Falls Nein d Welchen Beruf gehen Sie derzeit nach 2 Computer Kenntnisse 2 1 Wie lange verwenden Sie bereits Computer in Jahren Keine Bis zu einem 1 5 5 Enthaltung Vorkenntisse Jahr O O O O O 2 2 Wie lange verwenden Sie einen Computer pro Woche in Stunden nie 0 5 5 15 15 25 25 40 40 Enthaltung O O O O O O O 2 3 Haben Sie allgemeine Kenntnisse in Gestensteuerung Smartphone keine wenig mittelm ig gute Kenntnisse Enthaltung O O O O O 2 4 Haben Sie bereits Kenntnisse ber 3D Gestensteuerung z B Smart TV X Box keine wenig mittelm ig gute Kenntnisse Enthaltung O O O O O 2 5 Haben Sie bereits eine 3D Gestensteuerung Verwendet nie selten gelegentlich h ufig Enthaltung O O O O O Fragebogen zur Schalttafel Teil 2 Anleitung Bitte die folgenden Fragen nur genau eine Antwort ankreuzen M chten Sie sich zu einer Frage nicht u ern dann kreuzen Sie bitte Enthaltung an F llen Sie diese Fragen bitte nach dem Versuchsdurchlauf aus Ihre Antworten sind vertraulich tauschen Sie sich nicht mit anderen Teilnehmern dar ber aus Bei Fragen stehe ich Ihnen gerne zur Verf gung 3 Handsteuerung und Greifg
141. ttel aus den drei Raum achsen gebildet Die x y und z Koordinaten der Punkte werden mit folgender Formel verarbeitet X D Xi 1 lr Ms l Die so erhaltene Punktkoordinate im Raum ist der Schwerpunkt der Wolke und wird f r den Mittelpunkt des Aktors verwendet Aufgrund der asymmetrischen Ausle gung der Hand von 4 Fingern zu einem Daumen ist der Schwerpunkt dichter an den Fingern gelagert Dies f hrt zu einer Unsch rfe bei der Bestimmung des eigentlichen Mittelpunktes der Hand Diese Unsch rfe verringert sich zunehmend wenn man die Hand schlie t Da der Benutzer aber zu jeder Zeit ber ein visuelles Feedback seiner Aktoren verf gt kann diese Unsch rfe vernachl ssigt werden da der Benutzer dieses unbewusst ausgleicht Abbildung der Punktwolken auf Aktoren Nachdem alle Schwerpunkte der Wolken be rechnet wurden werden alle Wolken potenziell zusammengefasst und dienen somit als m glicher Standort f r die in der Simulation befindlichen Aktoren Die Anzahl der Wolken spielt hier keine Rolle Sollten mehr als zwei Punktwolken zur Verf gung ste hen wird im sp teren Verlauf eine Aussortierung stattfinden KAPITEL 3 ALGORITHMEN 31 Abbildung 3 3 Darstellung der Punktwolkenanalyse links geschlossense Hand rechts offene Hand mit einzelnen Punkten 3 3 Aktorzuordnung Um die im vorherigen Abschnitt gefunden potenziellen Aktoren m glichst zuverl ssig und korrekt den tats chlichen Aktoren zuordnen zu k nne
142. wird eine Untergrenze ben tigt um die Wahrscheinlichkeit zu erh hen dass es sich bei den aufgezeichneten Punkten und deren Wolke tats chlich um eine aufgezeich nete Hand handelt Es wird daher eine Mindestanzahl von Punkten ber alle gerade verwendeten Frames genommen Punktwolken m ssen ber die f nf Frames hinweg mindestens 10 Punkte besitzen Dies gilt f r alle Wolken die als m gliche Abbildung einer Hand infrage kommen wollen Zus tzlich gibt es noch Kriterien die die G te der Punktwolken erh hen Besitzt eine Wolke mindestens einen Frame in dem 4 Punkte einer Wolke zugeordnet werden k nnen oder zwei Frames in denen mindestens 3 Punkte existieren wird diese G te erh ht Somit er ffnet sich die M glichkeit auch Frames zu akzeptieren in denen durch ung nstige Umst nde eventuell nur zwei oder weniger Punkte der Hand bertragen wurden Die G te spielt dann eine Rolle wenn es mehr als zwei m gliche Punktwolken gibt und es zu entscheiden ist bei welchen es sich um H nde handelt Maximaler Ausdehnung der Wolke Die Ausdehnung der zu erwartenden Punktwolke wird KAPITEL 3 ALGORITHMEN 29 durch mehrere Faktoren bestimmt Zum einen spielt hier der maximale Abstand der am weitesten von einander entfernten Markern eine Rolle Hierbei wird es sich im Regelfall um den Daumen und den kleinen Finger handeln siehe Abbildung Im ersten Schritt sollte man hier einen durchschnittlichen Wert annehmen sich sp ter aber die Option offe

Download Pdf Manuals

Related Search

Related Contents

Les médicaments homéopathiques à l`officine  MANUAL DE INSTRUCCIONES  1 Einbauanleitung Becker Cascade Radio Navi im Jaguar XJ  Panasonic 7160-0250  BOHRHAMMER BHD-5-1 und 8-1  Espace chromatique de rêve pour créatifs!  Lenoxx Electronics CD109 CD Player User Manual  Honeywell C645A-E User's Manual  BJ-211 Manual de Instrucciones 110528  

Copyright © All rights reserved. Failed to retrieve file