Virtuell ist im Grunde etwas, das uns nur real erscheint, und somit das Gegenteil der Realität (vgl. Duden 2013). Also würde unter die Begriffserklärung von "virtuell" alles fallen, was nicht der Realität entspricht. Hierzu gehören auch Inhalte der Medien, zu denen das Buch, das Fernsehen, digitale Spiele, analoge Spiele und vieles mehr gehört.
Nun kann man sagen, dass ein Buch und ein Film keine virtuelle Realität sind, da wir jederzeit aus der Situation ausbrechen können und unser Wissen über die Fiktion des Gesehenen oder Gelesenen eindeutig ist. Genau darin liegen die Stärken und die Bedingungen für eine virtuelle Realität.
Der sogenannte Fiktionsvertrag oder Fiktionalitätsvertrag setzt die willentliche Aussetzung des Nichtglaubens eines Lesers - oder allgemein gesagt eines Rezipienten (Nutzer/Users) - voraus (vgl. Wulff 2013). Im Grunde bedeutet dies nichts anderes, als die Wahrheitswerte der fiktiven Lektüre oder des Films anzunehmen.
Je stimmiger die Fiktion, desto leichter fällt es uns, diese andere Realität als „wahr“ anzunehmen. Ist ein Buch nicht sinnvoll und logisch aufgebaut und ergibt sich Geschehenes nicht eindeutig oder zumindest sinnvoll für den Leser, verliert dieser schnell das Interesse und legt das Buch weg.
In der heutigen Zeit spielen aber schon lange nicht mehr nur die Geschichte und die Handlung eine tragende Rolle. Die Grafik ist bei PC-Spielen immer mehr ein Faktor für den Kauf und somit auch für den Erfolg der Spiele. First Person Shooter (FPS) wie „Far Cry 4“, Rollenspiele wie „The Elder Scrolls Skyrim“ und Action-Adventure wie „Assassins – Creed“ bieten mit Grafik- und Physikengine bereits ein sehr schönes Abbild von realen Situationen. Teilweise wirken die Landschaftsbilder in „Far Cry 4“ wie ein überarbeitetes, hochauflösendes Foto, und die Physikengine tut ihr übriges für eine realistische Darstellung von Aktionen und Handlung.
Die Storyline eines Computerspieles wird genau wie bei Büchern von Autoren verfasst. Bei „The Witcher“ schreibt der Buchautor, auf dessen Buchserie das Spiel basiert, selbst an der Storyline mit. Blizzard und Bethesda übertreffen mit ihren Trailern schon seit einiger Zeit die digitale Animation in Filmen.
Die Computeranimation hat in den „normalen Filmen“ schon seit längerem Einzug gehalten. "Avatar – Aufbruch nach Pandora" ist ein Film, der zum Großteil in einem virtuellen Studio gedreht wurde. Man kann sich das ähnlich wie bei einem Wetterbericht vorstellen, bei dem eine grüne Wand als eigentlicher Hintergrund dient, auf dem dann zum Beispiel Bilder oder auch die animierte Wetterkarte (im Fernsehen) zu sehen ist. In dem Film erscheint dann hinter der Person nicht nur eine Wetterkarte, sondern eine real anmutende Welt.
Nun dürfte klar sein, dass es bis heute keine klare Definition von virtuellen Realitäten gibt. Die „perfekte“ virtuelle Realität wäre jedoch wohl diejenige, die niemand als solche erkennt. Ein Holodeck wäre hierfür ein gutes Beispiel. Eine andere Möglichkeit wäre - wie in Matrix -, dem Gehirn Reize zu senden und somit eine virtuelle Realität entstehen zu lassen. Eins ist jedenfalls sicher, die Annäherung an eine perfekte virtuelle Realität geht nur über die Täuschung der menschlichen Sinne.
Wie gestaltet man nun so eine virtuelle Realität in einem Buch, Film oder Spiel, vielleicht sogar eine perfekte virtuelle Realität? Welche Neuerungen gab es in den letzten Jahren und was hilft bei der Darstellung einer virtuellen Realität?
Nun kann man sagen, dass ein Buch und ein Film keine virtuelle Realität sind, da wir jederzeit aus der Situation ausbrechen können und unser Wissen über die Fiktion des Gesehenen oder Gelesenen eindeutig ist. Genau darin liegen die Stärken und die Bedingungen für eine virtuelle Realität.
Der sogenannte Fiktionsvertrag oder Fiktionalitätsvertrag setzt die willentliche Aussetzung des Nichtglaubens eines Lesers - oder allgemein gesagt eines Rezipienten (Nutzer/Users) - voraus (vgl. Wulff 2013). Im Grunde bedeutet dies nichts anderes, als die Wahrheitswerte der fiktiven Lektüre oder des Films anzunehmen.
Je stimmiger die Fiktion, desto leichter fällt es uns, diese andere Realität als „wahr“ anzunehmen. Ist ein Buch nicht sinnvoll und logisch aufgebaut und ergibt sich Geschehenes nicht eindeutig oder zumindest sinnvoll für den Leser, verliert dieser schnell das Interesse und legt das Buch weg.
In der heutigen Zeit spielen aber schon lange nicht mehr nur die Geschichte und die Handlung eine tragende Rolle. Die Grafik ist bei PC-Spielen immer mehr ein Faktor für den Kauf und somit auch für den Erfolg der Spiele. First Person Shooter (FPS) wie „Far Cry 4“, Rollenspiele wie „The Elder Scrolls Skyrim“ und Action-Adventure wie „Assassins – Creed“ bieten mit Grafik- und Physikengine bereits ein sehr schönes Abbild von realen Situationen. Teilweise wirken die Landschaftsbilder in „Far Cry 4“ wie ein überarbeitetes, hochauflösendes Foto, und die Physikengine tut ihr übriges für eine realistische Darstellung von Aktionen und Handlung.
Die Storyline eines Computerspieles wird genau wie bei Büchern von Autoren verfasst. Bei „The Witcher“ schreibt der Buchautor, auf dessen Buchserie das Spiel basiert, selbst an der Storyline mit. Blizzard und Bethesda übertreffen mit ihren Trailern schon seit einiger Zeit die digitale Animation in Filmen.
Die Computeranimation hat in den „normalen Filmen“ schon seit längerem Einzug gehalten. "Avatar – Aufbruch nach Pandora" ist ein Film, der zum Großteil in einem virtuellen Studio gedreht wurde. Man kann sich das ähnlich wie bei einem Wetterbericht vorstellen, bei dem eine grüne Wand als eigentlicher Hintergrund dient, auf dem dann zum Beispiel Bilder oder auch die animierte Wetterkarte (im Fernsehen) zu sehen ist. In dem Film erscheint dann hinter der Person nicht nur eine Wetterkarte, sondern eine real anmutende Welt.
Nun dürfte klar sein, dass es bis heute keine klare Definition von virtuellen Realitäten gibt. Die „perfekte“ virtuelle Realität wäre jedoch wohl diejenige, die niemand als solche erkennt. Ein Holodeck wäre hierfür ein gutes Beispiel. Eine andere Möglichkeit wäre - wie in Matrix -, dem Gehirn Reize zu senden und somit eine virtuelle Realität entstehen zu lassen. Eins ist jedenfalls sicher, die Annäherung an eine perfekte virtuelle Realität geht nur über die Täuschung der menschlichen Sinne.
Wie gestaltet man nun so eine virtuelle Realität in einem Buch, Film oder Spiel, vielleicht sogar eine perfekte virtuelle Realität? Welche Neuerungen gab es in den letzten Jahren und was hilft bei der Darstellung einer virtuellen Realität?
Bücher
Schrift ist schon lange nicht mehr nur Transportmittel für einfache Informationen. Die Lyrik war wohl eine der ersten Formen, die fiktive Personen und deren Welt beschrieben hat. Unter Atheisten beginnt das wohl schon mit den ersten Schriften über Götter und natürlich mit der Bibel. Heute werden ganze Romanserien aus dem Boden gestampft.
Besonders Fantasy-Romane scheinen in den letzten Jahren Hochkonjunktur zu haben. Wobei preisgekrönte Buchautoren wie Howard Phillips Lovecraft, John Ronald Reuel Tolkien und Stephen Edwin King schon vor dieser Zeit oftmals auf fiktionale Charaktere, Wesen und Legenden zurückgegriffen oder sie gar geschaffen haben.
Joanne Rowling erreichte mit ihren Büchern über Harry Potter Verkaufszahlen im dreistelligen Millionenbereich. Dabei wurden nicht nur junge Leser in ihren Bann gezogen. Nun stellt sich die Frage, was das genau mit virtueller Realität zu tun hat? Die Antwort ist einfach. Es ist der Grundstein. Wenn die Nutzung einer virtuellen Realität erfolgreich sein soll, muss sie attraktiv sein.
Von der Realität abweichende oder komplett alternative Realitäten wie zum Beispiel „High Fantasy“ (vgl. Kramer 2012) begeistern die Menschen seit langem. Tolkien schrieb 1954 seine Werke zum "Herr der Ringe", und die Verkaufszahlen liegen ebenfalls im dreistelligen Millionenbereich (Wagner 2007). Sowohl bei Rowling als auch bei Tolkien spielt der Mensch selbst nicht die Hauptrolle und ist zumeist nicht der Protagonist. Die Welt ist zumeist rein fiktional. Dennoch schaffen es die beiden Autoren, ihre Leser in diese Welt zu „entführen“, sodass die fiktionalen Wahrheiten beim Lesen als real angenommen werden.
Jegliche verfasste Literatur bedingt die oben genannten Inhalte von virtueller Realität. Autoren wie Schiller nutzen ebenfalls den Fiktionalitätsvertrag.
Was die perfekte virtuelle Realität als Hindernis sieht, umgeht der Buchautor durch den Fiktionsvertrag und mit Hilfe seines Talents zu schreiben. Außerdem hat er den Vorteil, dass die eigentliche Realität im Gegensatz zu Zauberern, Orks, Elben oder Elfen recht langweilig und fantasielos wirkt. Außerdem spricht die Rolle des Helden und seiner Freunde die meisten Personen der Zielgruppe an.
Wichtig ist hierbei die regelmäßige Überarbeitung der Texte, um die Leser bei der Stange zu halten, und die Anpassung an die momentanen Interessen der Leser (vgl. ZEIT ONLINE GmbH et al. 2011). Die Figuren sind meist vielfältig und schon Tolkien brach mit dem Bild des perfekten Helden. Die Menschen wollen, dass die Personen ebenso mit Schwächen und Problemen zu kämpfen haben, wie es in der normalen Welt üblich ist. Daraus ergibt sich für die Leser immer ein Bezug zu den unterschiedlichen Figuren. Dies sind die Grundsteine für eine virtuelle Realität in Film, Computerspielen und nun einmal auch Büchern.
Filme
Der Film schafft es durch das bewegte Bild, in wenigen Sekunden viel einzufangen, was der Leser sich in einem Buch über einige Seiten erlesen muss. Auch hier gelten die oben genannten Regeln. Nur die Methoden in der Zeit von Computeranimationen und komplett animierten Filmen sind weitaus interessanter.
So werden Körperbewegungen für die virtuellen Charaktere von normalen Menschen aufgezeichnet. Das sogenannte Motion Capture Verfahren zeichnet die Bewegung des Schauspielers auf und überträgt sie auf einen Rechner. Hier wird dann schlussendlich ein sich bewegendes Skelett in Echtzeit abgebildet, welches nun von Grafikern noch animiert werden kann.
Beim „Optical Motion Capture System“ wird der Schauspieler in einen schwarzen Ganzkörperanzug gepackt, der an für die Bewegung prägnanten Stellen mit reflektierenden Bällen versehen ist. Die reflektierenden Bälle werden von einem Computerprogramm mit einem Vision Algorithmus erkannt und umgesetzt.
Die Methode hat jedoch auch ihre Tücken. Die einzelnen Bälle so zu positionieren, dass sie ein perfektes Abbild in jeder erdenklichen Bewegung und Körperstellung bringen, dauert zumeist seine Zeit und ist aufwendig.
Die moderne Motion Capture Technologie schafft dies ohne Marker (Organic Motion HQ). Hierbei wird der Schauspieler mit mehreren Kameras rundum aufgenommen, und es wird ein Skelett über einen Algorithmus generiert, der die Bewegungsabläufe darstellt.
Diese Art von virtueller Realität findet auch in der Medizin Anwendung. Hier können Bewegungsmuster und eventuelle Fehlstellungen bei Patienten entdeckt werden und somit in der Rehabilitation behoben werden. Des Weiteren dient diese graphische oder filmische Darstellung hervorragend als Anschauungsmaterial für Studiengänge im medizinischen Bereich (vgl. Organic Motion HQ 2014).
Auch Spielehersteller habe diese Funktion bei einigen Konsolen zu nutzen gewusst. Die Kinect der Xbox 360 hat mit einem optischen Laser den Raum abgetastet und die Personen und deren Bewegung erkannt. Ubisoft verwendet die Motion Capture Software, um in ihren Spielen realistische Bewegungsabläufe, Aktionen, Handlungen und Umgebungen zu schaffen (Organic Motion HQ 2014).
Die Filme vermitteln uns durch diese Funktion eine komplett fiktionale Welt mit realistischen Personen. Diese können sowohl durch ihre Mimik als auch ihre Bewegung völlig real erscheinen. Der Film hat uns schon immer begeistert und durch das dreidimensionale Bild ist er um einiges realistischer geworden.
Ein Film in 3D setzt graphisch komplett neue Maßstäbe. Die Tiefe der Bilder gibt dem Zuschauer das Gefühl, in das Geschehen einzutreten. Ich habe meinen ersten 3D Film erst sehr spät gesehen, aber der Eindruck war grandios. Noch nie fühlte ich mich den Filmfiguren und dem Geschehen so nah. Dabei lag dies sicher nicht an den Popouteffekten, sondern an der Darstellung der Umgebung in ihrer Gesamttiefe.
Die nächste Steigerung wäre die 3D Filmbrille, wo alle anderen Personen ausgeblendet werden und kein Kinosaal mehr vonnöten ist. Eintauchen in eine virtuelle Welt, am besten aus der Egoperspektive, wie sie teilweise in Filmen wie Doom schon Anwendung fand.
Diese Medien haben aber alle ihre Vor- und Nachteile. So bekommen viele Menschen Kopfschmerzen von den 3D Filmen, und die Anstrengung für die Augen bei Filmbrillen ist immens. Von einer dauerhafte Schädigung der Augen ist jedoch nicht die Rede (vgl. Nachrichtenfernsehen 2013).
Im Grunde handelt es sich um einen Trick, mit dem unsere visuelle Wahrnehmung ausgetrickst wird. Die 3D Kamera filmt mit zwei Linsen, deren Abstand dem der menschlichen Augen gleicht. Im Kino wird die Aufnahme dann von einem 3D Projektor auf der Leinwand gezeigt. Dies führt zu einem verschwommenen Bild. Aus diesem Grund muss eine 3D Brille dieses Bild wieder teilen (vgl. Miller 2011).
Vorwiegend wird die Polarisationstechnik genutzt. Die Polarisationstechnik trennt die Bilder durch polarisiertes Licht, welches in Lichtwellen mit unterschiedlicher Schwungrichtung erscheint. Hier wird dann zum Beispiel zwischen horizontal schwingenden Lichtanteilen für die eine Linse und vertikalen schwingenden Lichtanteilen für die andere Linse getrennt.
Der Nachteil bei dieser Methode ist, dass die Auflösung unter den Augen zweigeteilt wird. Eine Alternative sind die Shutter-Aktiv-Brillen. Hierbei öffnet die Brille die Sicht stets nur für ein Auge. Problematisch bei dieser Methode ist, dass bei dem Display und der Shutterbrille keine hundertprozentige Synchronität herrscht, was zu einem kurzzeitig verschwommenen Bild führen kann, was wiederum äußerst störend ist (vgl. Nolde 2011).
Prinzipiell ist es jedem, der genügend Geld hat, möglich, in den Genuss von 3D Filmen zu kommen. Auch 3D Bildschirme für den PC sind käuflich zu erwerben und Spiele mit 3D Funktion können damit auch in 3D genossen werden, vorausgesetzt die Grafikkarte macht mit.
Spiele
Eigentlich sollte dies hier nicht Gegenstand sein, jedoch verlangt die Beleuchtung der virtuellen Realität auch den Bereich der virtuellen Gewalt. Zum Thema Cyber-Mobbing und verbale Gewalt unter Spielern im Internet werde ich mich nicht äußern, da dies in anderen Beiträgen in diesem Blog bereits behandelt wurde oder noch behandelt wird.
Grund für die Debatten über sogenannte „Killerspiele“, waren meist Amokläufe. Erstaunlich war jedoch die fehlerhafte Berichterstattung in den Medien. Hier wurden Szenen aus in Deutschland indizierten Spielen gezeigt und diese dann auch noch namentlich falsch genannt. Das Medium Spiele wurde als Sündenbock hingestellt, ohne die anderen Beweggründe der Jugendlichen darzustellen.
Seit 1994 testet die USK Spieletitel und seit 2003 ist dies sogar verpflichtend. Die sogenannten „Killerspiele“, die man First Person Shooter nennt, erhalten zumeist eine Altersfreigabe ab 18 und sind somit nicht für Kinder und Jugendliche erhältlich. Selbstverständlich wird die Darstellung von Gewalt und die Geschichte, die man spielt, realer beziehungsweise besser dargestellt, dies bedeutet aber nicht, dass jeder Spieler das Potenzial zum Amokläufer hat.
Mit 18 Jahren ist man volljährig, und jeder hat das Recht, selbst zu entscheiden, was man spielen möchte und was nicht. Das Verbot solcher Spiele würde übrigens auch ein Spiel betreffen, in dem man als Elf ein Einhorn hält, das bunte Regenbogen pupst und kleine Feen trifft, die dann glücklich tanzen.
Die Gewalt in Spielen und somit in der virtuellen Realität ist ohne Zweifel existent und wird immer realistischer dargestellt, jedoch sollten erwachsene, mündige Bürger fähig sein, zwischen virtueller Realität und der eigentlichen Realität zu unterscheiden.
Virtuelle Realität in Computerspielen ist ein sehr weites und breites Feld. Auf der einen Seite gibt es komplette Simulationen, die reale Menschen und lebensnahe Situationen simulieren, auf der anderen Seite möglichst reale aber auch fiktive Figuren, die in atemberaubender Grafik ihre Geschichte mit Hilfe des Spielers bestehen.
Bei letzterem spielt das Open-World-Genre eine große Rolle. Spieler und Spielerinnen sollen das Gefühl haben, die komplette Welt ohne Einschränkungen bereisen zu können, um ein Gefühl der Freiheit zu vermitteln. Zumeist stehen in diesem Zusammenhang auch einige alternative Enden im Spiel zur Verfügung.
Entscheidungsfreiheit ist auch in der virtuellen Realität von Bedeutung, denn durch Beschränkungen geht die Illusion einer virtuellen Realität sehr schnell verloren. Gegenüber den bisher genannten Medien hat das PC Spiel einen klaren Vorteil. Der Spieler oder die Spielerin sind handlungsfähig, sie sind nicht nur bloße Zuschauer, sondern Akteure. Dieser Vorteil ist ein weiterer Schritt in Bezug auf die perfekte virtuelle Realität. Auf der anderen Seite steht eine Grafik, die schon als fotorealistisch bezeichnet werden kann, und eine Physik Engine für die realistische Darstellung. Momentan tut sich sehr viel in dem Bereich der virtuellen Realität und Rift von Oculus wird im Gaming-Bereich vieles verändern.
Oculus Rift
Bei Rift handelt es sich um eine Virtual Reality Brille, die aufgrund der zwei versetzten Linsen, wie weiter oben bereits beschrieben, für einen 3D-Effekt sorgt. Die Brille kann anhand von Sensoren Rotation und Position der Brille im 360° Winkel wahrnehmen und diese Information an den Rechner und das Spiel senden. Somit ist die Brille Ein- und Ausgabegerät gleichzeitig.
Spiele müssen auf diese Brille jedoch angepasst werden. Die funktionsfähigsten Spiele sind jedoch die dafür programmierten. Rift erlaubt somit den nächsten Schritt in die virtuelle Realität: das Gefühl, durch die Bewegung des Kopfes einen Teil der Spielerfigur zu steuern.
Oculus finanzierte sich komplett durch ein Kickstarter Projekt, das durch 250.000 US$ finanziert werden sollte. Am Ende der Kampagne wurden rund 2,5 Millionen zusammengetragen. Dies zeigt die immense Community und den starken Bedarf für das Produkt. Die Personen, die das Projekt mit 300 Dollar unterstützt haben, bekommen eine Beta-Version des Gerätes und nehmen mit ihren Rückmeldungen Einfluss auf die Entwicklung (Korgel 2014).
Crescent Bay ist das aktuelle Produkt, das für die Endnutzer zugänglich werden soll. Aber auch Elektronikschwergewichte wie Samsung bringen eigene Brillen auf den Markt und bewerben diese mit dem Namen Gear VR.
Momentan noch auf den Gaming Bereich beschränkt, werden die Brillen von Oculus als Revolution und als neue Epoche des Spielens gesehen. Offiziell ist die Brille noch nicht auf dem Markt, aber die Fangemeinde stellt zum Teil ihre Prototypen zur Verfügung. Auf Google Maps gibt es ein Overlay, das Nutzer zeigt, die bereits eine Brille besitzen und diese zum Test anbieten.
Da sich die Brillen von Oculus noch in der Prototypenphase befinden, sind die praktischen Anwendungsfelder noch sehr beschränkt. Wie in Zukunft Filme gesehen, Spiele gespielt oder auch komplette Gebäudesimulationen realisiert werden, ist noch nicht sicher.
Wer sich jedoch für 300 € eine hochauflösende Brille leistet, bekommt einen Geschmack von der Zukunft. Die Brille ist momentan noch sehr klobig und hat eher den Charakter einer Skibrille, aber die Erfahrung zeigt, wie schnell die Entwicklung voranschreitet, und in ein paar Jahren können viele von dieser Brille profitieren.
Das Fraunhofer Institut nutzt die virtuelle Realität zum Planen von Gebäuden und großen Bauvorhaben. Sie nutzen dazu momentan noch die 3D-Brillen und die Kamerasensoren der Microsoft Kinect.
Die „perfekte“ virtuelle Realität
Um eine virtuelle Realität perfekt darzustellen, ist viel Aufwand von Nöten, der heute in der Praxis noch gar nicht realisierbar ist. Theoretisch gibt es jedoch einige ausgearbeitet Ansätze. Wie bei den VR-Brillen ist auch bei diesem Ansatz die Eingabe (Sensorik) und die Ausgabe des VR-Systems maßgeblich.
Als erstes müssen die Sensoren die Handlung des Menschen aufnehmen. Dies wird mit Hilfe des optischen Trackings oder auch dem Motion Capture Verfahren realisiert. Hierzu sind einige Kameras von Nöten, die Bewegungen aufzeichnen und übertragen.
Die Ausgabe wird mit Hilfe von den unterschiedlichen Sinnen realisiert. So werden Lautsprecher für das Gehör, Displays für die Augen, Force Feedback für die Haptik, die Eigenwahrnehmung und die Tiefensensibilität einer Motion Platform benötigt.
Eine Motion Platform ist im Grunde dafür zuständig, die äußeren Einflüsse für den Nutzer spürbar zu machen, zum Beispiel Wind oder Erschütterungen, also ein Simulator. Das Force Feedback dient im Grunde der Interaktion mit der Umwelt beziehungsweise der virtuellen Realität (Dörner et al. 2013, S.24 f).
Bei diesem System fehlt noch der olfaktorische (Riechen) und auch der gustatorische (Schmecken) Sinn. Die heutigen Systeme und Umsetzungen konzentrieren sich somit auf den visuellen, den akustischen und den haptischen Sinn.
Visuelle Wahrnehmung
Das Stereosehen ermöglicht dem Menschen, mit zwei funktionierenden Augen, nur ein Bild entstehen zu lassen. Durch diese Begebenheit ist die Manipulation des Auges für das Entstehen eines 3D Effekts erst möglich. Somit können virtuelle Objekte räumlich dargestellt werden. Die genaue Erklärung zu den 3D Brillen und wie diese funktionieren finde man im Abschnitt der Film.
Auditive Wahrnehmung
Die Ohren nehmen nicht nur Geräusche war, sie können ebenso Luftbewegungen und Druckunterschiede wahrnehmen. Luft und Druckschwankungen erzeugen Wellen die auf das Ohr treffen. Druckunterschiede in einer VR zu simulieren ist äußerst problematisch und es gibt bisher noch keine sinnvolle praktische Umsetzung.
Die räumliche Auflösung ist im Gegensatz zur visuellen Wahrnehmung beim Hören viel geringer. Dies bedeutet, dass unser akustisches System weitaus weniger unterscheiden kann und unser akustisches Ortungssystem begrenzter ist. Was wiederum bedeutet dass wir zwei Geräuschquellen nur dann ortstechnisch genauer bestimmen können, wenn diese Quellen weiter auseinanderliegen. Dies gilt es bei der Einspeisung von akustischen Signalen in einem bisher sehr begrenzten virtuellen Raum zu beachten und bei der Wiedergabe aus zwei Lautsprechern kann keine eindeutige Ortung einer komplexen virtuellen Welt erfolgen (vgl. Dörner 2013, S. 43).
Haptische Wahrnehmung
Die haptische Wahrnehmung soll den Tastsinn simulieren. Damit ist nich nur das erfühlen von Objekten oder die realistische Aktion mit Objekten der Umgebung gemeint, sondern auch die Temperatur- und Schmerzwahrnehmung.
Die häufigste Form der haptischen Ausgabegeräte stimuliert die entsprechenden Rezeptoren durch die Vibration. Wichtig hierbei ist das nicht nur das Eingabe Gerät per tracking wahrgenommen werden muss sondern auch der bewegte Gegenstand und dessen Zustandsänderung (vgl. Dörner 2013, S.44f).
Propriozeption/Tiefensensibilität
Hierbei handelt es sich um die Körperhaltung, Muskelkontraktion und die Stellung der Gelenke und des Kopfes. Hierzu gehört auch der Bewegungssinn. Dies ist im Grunde der wichtigste Bestandteil einer virtuellen Realität. Da gerade die freie Bewegung in dieser Welt eine große Rolle spielt. Dies kann durch unterschiedlichste Mittel und Geräte realisiert werden.
Bei Spielen wird dies zum Beispiel immer noch durch eine Maus und Tastatur beziehungsweise durch eine Gamepad oder einen Steuerknüppel realisiert. Dies ist jedoch auch durch komplette Exoskelette oder Bewegungsplattformen möglich (vgl. Dörner 2013, S.45 f).
Es gibt natürlich noch viele weitere Einzelheiten wie die Simulation der unterschiedlichen Untergründe auf denen man läuft. Da es hierzu jedoch keine praktikablen Umsetzungsmöglichkeiten gibt und diese Vorerst auch nicht geplant sind, habe ich mich auf die oben genannten beschränkt. Im Folgenden geht es um die eigentliche Virtuelle Realität. Die Erstellung einer solchen Anhand von 3D Objekten.
Darstellung von Objekten
In der virtuellen Realität steht die Echtzeitfähigkeit und die Interaktivität der Objekte im Vordergrund, nicht die hochwertige Darstellung. Die Echtzeitfähigkeit nimmt in diesem Fall Bezug auf die Latenz und die Interaktivität, was ein dynamisches Verhalten voraussetzt.
Zur Vereinfachung des Rechenvorgangs wie hierbei die Kollisionsgeometrie vereinfacht und auf Quader oder Kugel runtergebrochen. Während in Spielen und Filmen die Welt möglichst detailliert und realitätsnah dargestellt wird ist in der VR und AR eine farbliche Abhebung der relevanten Inhalte wünschenswert.
Die Erstellung der 3D-Objekte wird im Regelfall von Hand (am Rechner virtuell) mit Modellierungswerkzeugen realisiert. Es findet beim Einbinden in ein VR – System jedoch eine vereinfach der meist komplexen CAD Zeichnungen statt. Die prozedurale Modellierung bietet die Möglichkeit besonders große und somit nicht von Hand erstellbare Objekte zu erstellen (vgl. Dörner 2013, S.65 ff.).
Auf diese Weise können ganze Städte mithilfe von geologischen Daten erstellt werden. Reale Objekte können auch mit 3D Scans erfasst werden und in die VR integriert werden. Schwierig bei dieser Methode ist die korrekte Darstellung. Oftmals müssen nachträglich Lücken aufgefüllt oder die Geometrie vereinfacht werden. Für alle diese Methoden gilt jedoch, dass die erstellten 3D-Objekte aufbereitet werden müssen, bevor sie endgültig in die VR integriert werden.
Bei der Aufbereitung handelt es sich zumeist um eine Vereinfachung der Raumgeometrie, die mit Hilfe von der Reduktion vorhandener Polygone von statten geht. Eine weitere Möglichkeit bietet die Modellierung einer vereinfachten Variante des 3D-Modells, bei dem schließlich nur die Texturierung dem eigentlichen Objekt entspricht. Mit einer X3D Beschreibung können die Objekte nun in die VR geladen werden.
Für eine reale Darstellung eines 3D-Objekts, ist eine sogenannte Szene vonnöten die neben dem Objekt dessen Blickpunkt (Kamera) -einstellung auch Licht- und Audioquellen definiert. Während des Ablaufs wird die Szene aus Nutzersicht gerendert. Der Szenegraph gibt hierbei eine hierarchische Ordnung vor. Dieses System wird mit sogenannten Knoten realisiert die in Wurzel-, Eltern-, und Kindknoten unterteilt sind. Diese bestimmen Ablauf, Bewegung und Rotation der Modelle. Ein simples Beispiel für ein Szenegraphen wäre die Darstellung eines Autos:
- Autos stehen auf dem Hof eines Autohändlers
- Wurzel: Autohändler
- Eltern: Auto 1; Auto 2; Auto 3
- Kind: Innenausstattung, Sitz, Lenkrad, usw.
- Die Kinder können weitere Ableger haben.
Das eigentliche 3D Objekt wird von den Blattknoten dargestellt. Blattknoten sind Knoten ohne Kinder. Der Szenegraph wird innerhalb der Laufzeit von der Wurzel bis zum Blatt traversiert. Hierbei werden Informationen für das Rendering gesammelt. Beispiele für quelloffene Szenegraphsysteme: OpenSG, Java 3D, X3DOM-Framwork (zur Darstellung X3D-basierter VR in Web-Browsern (vgl. Dörner 2013, S.70 f).
Die 3D Objekte werden grundsätzlich nach Oberflächen- und Festkörpermodellen unterschieden. Während Oberflächenmodelle dem Surface also der Oberflächendarstellung dienen, beschreiben die Festkörpermodelle Objekte mit Volumen. Oberflächenobjekte werden zumeist mit Polygonnetzen realisiert. Diese besteht aus Eckpunkten die von verschiedenen Flächen geteilt werden. In diesem Fall empfiehlt sich eine indizierte Flächenliste das diese Darstellung Speicher spart und die komplexe, reale, häufig gekrümmte Oberfläche vereinfach darstellt.
Eine noch speichereffizientere Darstellung erreicht man durch die „Triangle Strips“. Hier wird mit Dreiecksnetzen gearbeitet die nur über ein am Anfang definiertes Dreieck umgesetzt wird. Die Anderen Dreiecke bestehen nur aus zwei neuen Punkten und schließen durch den dritten bereits vorhandenen Punkt an die anderen Dreiecke an (Mc Kesson 2012).
Die Festkörpermodelle werden auch als Solidmodelle bezeichnet. Im Grunde handelt es sich um ein Polygonnetz das ein Volumen einschließt. Wichtig ist hierbei die Definition der Innen- und Außenfläche, durch die Definition einzelner Eckpunkte, in der Reinfolge des Uhrzeigersinns. Des Weiteren werden Materialvektoren zur Erfassung von Volumeninformationen eingefügt. Das Erscheinungsbild wird ebenfalls durch das Material bestimmt. Die Definition gibt an ob das Material spiegelnd, transparent oder farbig ist. Auch bestimmt das Material wie das Licht abgestrahlt wird und in welchen Farben es reflektiert (Emissionseigenschaften).
Die schlussendliche Textur zur realistischen Darstellung von Holz-, Stein-, Metall-, und Kunststoffoberflächen wir mit Hilfe von Rastergrafiken und Texturkoordinaten verwirklicht. Beim Rendering kann die Grafikkarte nun per Interpolation, die Texturkoordinaten zwischen den Eckpunkten der Polygone, berechnen.
Die Darstellung von Oberflächenstrukturen lässt sich mit Hilfe von Bump-Mapping wunderbar umsetzen(vgl. DGLWiki 2014). Die Geometrie der Objektoberflächenfragmente wird verändert. Helle Bereich erscheinen erhöht und dunkle Bereiche abgesenkt, was durch optische Täuschung zu einem Tiefeneffekt führt.
Shader sind kleine Programm die auf die Grafikkarte abgestimmt wurden. Sie ermöglichen die realistische Darstellung unterschiedlichster Effekte. So kann mit dem Vertexshader die Objektgeometrie verändert werden und mit dem Pixelshader die Darstellung von Farben. Ein Umsetzungsbeispiel ist die Bewegung in einem teilweise ausgeleuchteten Raum. Hier kann der Shader per Lichtberechnung die Farbgebung für das Umfeld verändern/anpassen, falls die Lichtquelle sich bewegt(vgl. Hecht 2014).
Die Vereinfachung der 3D-Objekte dient der Erhaltung der Echtzeitfähigkeit der Modelle. Es werden die Eckpunkte der Dreiecke entfernt, die sich an den betrachteten Eckpunkten teilen und mit dem vorhandenen Eckpunkt verschmolzen.
Beim Texture Baking werden die Farbinformationen der beleuchteten Oberfläche eine hochauflösenden 3D-Modells, in eine Textur gespeichert. Diese gespeicherte Textur wird dann auf niedrigauflösende, polygonreduzierte Modelle übertragen. Die Technik ist auch im Bereich der Bump-Mapping anwendbar (Dörner 2013, S.78 f).
Eine interessante Methode stellen die Billboards dar. Hier richtet sich einfach nur eine texturierte, einfache geometrische Form nach dem Nutzer aus (vgl. Orndorff). Dies wird häufig auch bei der Partikeldarstellung (Feuer, Rauch) verwendet. Der Nachteil besteht hier für den Nutzer, da das Objekt nur vorne gesehen wird.
Animation von Objekten
Neben der Darstellung, spielt die Interaktion mit Objekten und somit deren Animation ein bedeutende Rolle in einer VR. Bei der Keyframe-Animation werden Schlüsselpunkte definiert, denen eine Eigenschaft des Objektes, Beispielsweise dessen Positionierung, mit einem Wert zugeordnet wird. Der Wert zwischen den KeyFrames wird durch interpolationsverfahren bestimmt.
Die Physikbasierte Animation starrer Körper wird mit Hilfe physikalischer Formeln erstellt. Das Objekt weist physikalische Eigenschaften auf wie zum Beispiel „die Masse um Beschleunigungen bei der Einwirkung von Kräften oder Drehmomenten auf das Objekt oder die resultierende Geschwindigkeit nach einer Kollision zu bestimmen“ (Dörner 2013, S.80). Die lineare Geschwindigkeit, die Winkelgeschwindigkeit, die materialbezogenen Dämpfungsparameter und der Elastizitätswert sind ebenfalls miteinzuberechnen, da sie elementar für die Berechnung der Verlustleistung sind.
Durch die Physikengine werden Position und Orientierung des Körpers bestimmt. Für die Berechnung von Kollisionen gibt es teilweise eine spezielle Engine die aber zumeist Teil der Physikengine ist. Prinzipiell müssen in die Berechnung nur Objekte aufgenommen werden, die betroffen sein könnten.
Weit entfernte Objekte die ebenfalls interaktionsfähig sind, müssen bei der Berechnung nicht mit eingebunden werden. Zustandsveränderungen bei einem Objekt müssen ebenfalls berücksichtigt werden. Ein Beispiel wäre die Zustandsveränderung eines Metallfasses das von 500m Höhe auf einen Betonboden fällt. Die Verformung oder auch der Geometrieaustausch, lässt sich durch das Einsetzen eines Switch-Knotens und Zwei Kinder-Knoten abhandeln. Bei dieser Vorgehensweise gibt es einen Geometrieknoten vor der dem Fall und ein Geometrieknoten nach dem Fall (vgl. Dörner 2013, S.80 f).
Auslöser für so genannte „Trigger“ können im einfachsten Fall zeitlich sein und im schwierigsten Fall von der freien Handlung des Users beeinflusst. Schlussendlich bedeutet dies für den Szenographen, dass jegliches Rendering dynamisch und somit situativ angepasst werden muss. Aus den oben genannten Gründen ist die Vereinfachung von jeglichen beteiligten Objekten und Abläufen maßgeblich für die Darstellung mit möglichst geringer Latenz. Für eine möglichst reale Darstellung einer virtuellen Realität ist jedoch auch die Täuschung/Stimulierung der Sinne wichtig.
Audio, Licht und Background
Bei der Be- oder Ausleuchtung einer virtuellen Welt oder von Objekten, entscheidet sich häufig wie realistisch etwas wahrgenommen wird. Außerdem dienen Audio und Licht der stimmungsvollen Darstellung in einer VR. Die Lichtquellen unterscheiden sich in direktionalen Quellen und in Punkt- oder Scheinwerferlicht.
Bei direktionalem Licht handelt es sich um eine sehr weit entfernte (oder auch unendlich weit entfernte) Lichtquelle (Sonne). Die Lichtstrahlen treffen quasi parallel auf Objekte innerhalb der VR. Eine Punktquelle strahlt Licht in kreisförmigen Wellen von ihrem Punkt überallhin aus. Das Scheinwerferlicht ist ein gelenktes Licht, wie bei einer Taschenlampe oder bei einem KFZ.
Die Intensität bei Punkt- und Scheinwerferquellen ist jedoch durch äußere Umstände, wie Partikel in der Luft begrenzt. Daher hat diese Lichtquelle nur eine begrenzte Reichweite. So muss in einer VR der Einflussradius der Quelle genau definiert werden, sodass ausschließlich die Objekte und die Teile der Objekte beleuchtet werden, die innerhalb des Radius liegen. Besondere Lichtquellen sind mit dem Nutzer verbunden. Man bezeichnet sie gerne als Headlight (vgl. Dörner 2013, S.83 ff.).
Diese Lichtquelle orientiert sich am Nutzer und ist als direktionale Lichtquelle definiert, obwohl es strenggenommen ein Scheinwerferlicht sein müsste. Bei einer virtuellen Welt wird mit solch einem Headlight, die stimmungsvoll arrangierten Lichtquellen zerstört. Aus diesem Grund gilt es das Headlight in solch einem Fall, zu deaktivieren.
Die Audioquellen stellen nicht nur durch Hintergrundmusik Stimmung dar, sondern können falls sie von einem Objekt ausgehen auch die dessen realistische Darstellung/Ortung ermöglichen. Die letzteren Audioquellen werden als Punktquellen bezeichnet und haben zumeist eine feste Position in der 3D-Welt. Audioquellen stellen die Umgebung nicht nur stimmungsvoll dar oder wirken als realistische Objektdarstellung sondern helfen dem Nutzer auch bei der Orientierung.
So wird das eine Ohr vom Schall einen sehr kurzen Moment eher erreicht als das andere Ohr und die Ortung der Quelle ist dadurch intuitiv gegeben. Das ganze wird prinzipiell als auditive räumliche Wahrnehmung bezeichnet.
Die Darstellung von Schall- und Lichtunterbrechungen durch Objekte wird nicht von den Szenegraphsystemen unterstützt. Externe Bibliotheken für die genutzte Software (Bsp.: OpenSceneGraph) ermöglichen die realistische Darstellung und erlauben die Veränderung des Schalls und dessen Wahrnehmung durch Hindernisse.
Zu diesen Soundeffekten gehört auch der Dopplereffekt, der das nähern und entfernen von Audioquellen darstellt. Hintergründe werden zumeist nur texturiert, teils als statisches Bild oder auch als rotierende 3D-Körper (Wolkenbewegungen).
Weitere Elemente der VR
Um eine VR realistisch zu gestalten Bedarf es virtuellen Menschen, Partikeln, Landschaften, Vegetationen und ähnlichem. Beginnen wir mit den Menschen. Häufig finden wir in Spielwelten sogenannte NPC‘s (Non-Player-Charakter) diese werden mit Protokollen gesteuert und reagieren auf den User wie sie programmiert wurden. Ein anderes Beispiel ist ein Avatar der den User selbst verkörpert.
Dies findet in MMORPG’S aber auch in Online Infrastrukturen wie Second Life Anwendung. Um diese virtuellen Präsenzen realistisch darzustellen bedarf es Ergonomieuntersuchungen. Dieses Vorgehen führt zu einer Animation der der Gliedmaßen. Für den Avatar bedeutet dies zumeist das sein „Körper“ aus mehreren, hierarchisch angeordneten 3D Objekten besteht. Diese Form der Darstellung ist jedoch sehr eingeschränkt und aus diesem Grund hat sich die skelettbasierte Animation durchgesetzt.
Ein so aufgebauter Avatar ist über eine Skeletstruktur und eine deformierbare Oberfläche definiert (vgl. Dörner 2013, S.86 f). Hier werden auch nicht bloße Objekte aneinander gehängt, sondern „Knochen“ über „Gelenke“ verbunden. Die Verbindung des gesamten Skelets führt somit bei der Beeinträchtigung eines Knochens auch zur Beeinträchtigung des kompletten Systems. Gesichtsausdrücke können ebenfalls über passende Gesichtsknochen dargestellt werden.
Während das „motion Capture“ Verfahren für die Bewegungsabläufe zuständig ist, werden Aktionen wie das Greifen, Platzierung der Füße beim Treppensteigen, also die Bewegung der Extremitäten im Detail, mittels Algorithmen zur inversen Kinematik berechnet. Oftmals werden diese Animationen situationsbezogen abgehandelt. Eine perfekte Darstellung eines Menschen, bis ins Detail, in Echtzeit ist momentan ohne hohe Latenz nicht möglich.
Partikel sind die Voraussetzung um Rauch und Feuer, Schneeflocken, Wassertropfen und somit auch Wetter und Vegetation darzustellen. Die Darstellung tausender Partikel ist als einzeln definiertes Objekt nicht sinnvoll. Daher wird ein Partikelsystem genutzt, bei dem jeder Partikel als ein Massebehafteter Punkt verstanden wird (vgl. Dörner 2013, S.89). Diese Partikel werden im 3D-Raum jederzeit aktualisiert und aus dem System entfernt oder eingefügt. Äußere Umstände werden berücksichtigt, die Bewegung und Geschwindigkeit der Partikel beeinflussen und objektbezogene äußere Veränderungen wie Farbe oder Textur.
Auch hier finden sich Vereinfachungen durch die Darstellung der Veränderungen an einer Linie oder einem Körper entlang. Die Darstellung solcher visueller Partikel wird in Echtzeit zumeist durch Punkte oder kleine Vierecke grafisch realisiert, diese sind in Blickrichtung des Users ausgerichtet. Dabei werden Farbänderungen und Formänderung der darzustellenden Grafik eingearbeitet. Die Animation wird in zeitschritten berechnet die oben genannte Faktoren regelmäßig angleicht und verändert.
Das Gelände ist im Grunde eine einfache Datenstruktur, die mit Texturen überzogen wird. Es handelt sich zumeist um ein zweidimensionales Gitter, bei dem die einzelnen Gitterpunkte unterschiedliche Höhen besitzen. Da Höhenwerte hierbei groß werden (Auflösung 256 x 256 = 65.000 Höhenwerte) lohnt sich eine Eingabe von Hand nicht. Vielmehr wird eine teilautomatisierte Technik angewandt.
Hierbei werden die maximale Hochpunkte und Tiefpunkte festgelegt und ein Gaußfilter übernimmt die Arbeit mit den Übergängen. Bei Gebirgen mit zerklüfteten Oberflächen ist eine prozedurale Modellierung von Nöten.
Mit Hilfe eines einfachen Algorithmus und der Mittelpunktverschiebung, wird der Mittelpunkt aufgrund der Höhenwerte von vier Eckpunkten des Felsens als Mittelwert errechnet. Es werden nun genau 5 Mittelpunkte betrachtet und im ersten Schritt wird der Höhenwert der 5 Mittelpunkte als Mittelwert der benachbarten Eckpunkte berechnet. Im zweiten Schritt werden die somit errechneten neuen Höhenwerte, durch das Hinzufügen neuer Zahlen modifiziert (vgl. Dörner 2013, S.90f).
Diese neuen, zufälligen Werte der Summe bei der Zahlenmodifikation, sind ausschlaggebend für die Darstellung zerklüfteter Landschaften. Diese entstandenen Teilregionen werden nun rekursiv bearbeitet. Die Unterteilungen und Neuberechnungen werden solange fortgeführt, bis allen Elementen des Höhenfelds neue Werte zugeordnet wurden.
Eingabegeräte einer VR
Es stellt sich natürlich die Frage: Wie benutze ich diese ganzen Objekt in einer VR und mit welchen Mitteln kann ich hier interagieren? Im Grunde handelt es sich prinzipiell um eine sensorische Erfassung. Unterschieden wird jedoch zwischen diskreten Eingabegeräten und kontinuierlichen Eingabegeräten.
Diese Geräte unterscheiden sich nochmals in der Form ihres physikalischen Mediums (Schalwellen; elektromagnetische Felder, Lichtreflektion usw.). Weitere Unterscheidungen finden sich in der absoluten oder relativen Koordination und ob es sich um ein aktives oder passives System handelt.
Die diskreten Eingabegeräte, wie eine Maus oder ein Joystick, behandeln nur eine bewusste Handlung des Nutzers, welche auch als einzelnes Ereignis vom System erkannt wird. Kontinuierliche Geräte können hierbei einen Finger ständig Verfolgen oder eine Bewegung als Geste erkennen. Ausschlaggebend ist die fortwährende Bestimmung der Position der genutzten Körperteile.
Dies wird auch als Tracking bezeichnet und findet sowohl in PC-Spielen, als auch in Filmen häufig Anwendung. Beim Tracking wird zumeist ein Teil als starrer Körper angenommen, welcher nun im virtuellen Raum verschoben, rotiert und in drei aufeinander stehende Achsen zerlegt werden kann. Es ist Aufgrund von 6 Werten (drei für die Position und drei für den Winkel zur Beschreibung der Orientierung) möglich, die Bewegung eines Objekts für jeden zeitschritt zu spezifizieren, also die exakte Bewegung darzustellen (vgl. Dörner 2013, S.98).
Dies führt schlussendlich zur Darstellung einer kompletten Interaktion in der virtuellen Welt. Die Werte eines Trackingsystems müssen mit den Werten anderer Eingabesystem extra zusammengeführt werden, was zu Lasten der Latenz gehen kann. Diese 6 Werte werden auch Freiheitsgrade genannt und eben diese Freiheitsgrade werden auch nur zum Teil eingesetzt. So kann bei einem GPS Tracking im Grunde nur die Position genutzt werden.
Ein weiterer Punkt ist die Anzahl der zur gleichen Zeit verfolgten Körper. Hierbei wird nicht nur die Verfolgung per Blickfeld relevant sondern auch die Verfolgung mit einem Eingabegerät. Durch Verknüpfung der Objekte mit einer ID lassen diese sich differenzieren.
Je nach Form des Eingabegeräts gilt es auch den zu überwachenden Bereich zu definieren. Sollte nur die Hand als Eingabegerät dienen (Fingertracking) ist ein kleiner Bereich zu überwachen, als wenn ein ganzer Körper sich durch die virtuelle Welt bewegt.
Die Genauigkeit der Systeme muss dem Zweck angepasst werden (in Grunde eigentlich dem Budget) und somit ist die Abweichung bei GPS Systemen einige Meter, während bei dem Fingertracking die Abweichung nur im Millimeterbereich stattfinden darf.
Die regelmäßige Abfrage der Zeitabschnitte ist wohl eine der wichtigsten Punkte. Hier wird die Anzahl der Messpunkte innerhalb eines Zeitraums bestimmt und somit die regelmäßige Überwachung der realen kontinuierlichen Aktion/Bewegung.
Die Reaktion der Eingabegeräte ist wohl der negativste Faktor und der am zu geringsten haltende Wert (Latenz). Zur korrekten Verwendung eines Eingabegerätes muss dieses auch kalibrierbar sein, was bei der VR bedeutet, dass ein regelmäßiger Abgleich von Messwerten zwischen Realität und VR möglich sein soll.
Optisches Tracking
Bei dem optischen Tracking wird im Grunde zwischen Marker- und markerlosen Tracking unterschieden. Bei dem markerbasierten Verfahren können über Schwellwertfilter, durch die Beleuchtungssituation, die Bilder im Videostrom schnell gefunden werden.
Die Marker können entweder aktiv (Licht abstrahlend) oder passiv (Licht reflektierend) sein. Die Marker sind zumeist schwarzweis und unterscheiden sich in ihrer Größe. Sie werden mit RGB-Kameras aufgenommen und sind kostengünstig herzustellen, also massentauglich.
Zur Optimierung dieses Verfahrens wird die Retroreflexion genutzt, die Lichtenergie direkt in Richtung des einfallenden Lichts reflektiert. Hierbei wird zwischen zwei üblichen Verfahren unterschieden. Bei dem Ersten handelt es sich um eine Reflektion durch Tripelspiegel. Hierbei wird das Licht, von der Außenseite des einen Dreiecks zur Außenseite eines gegenüberliegenden Dreiecks gelenkt und von dort auf die Lichtquelle zurückgeworfen.
Bei der zweiten Möglichkeit handelt es sich um Glaskugeln, die das Licht von dem hinteren teil der Glaskugel auf der gegenüberliegenden vorderen Teil der Glaskugel fokussieren (vgl. Dörner 2013, S.104f).
Durch die nicht immer stetige Ausleuchtung und teils minderwertige Kameras, ist die Suche nach einer einfarbigen Fläche meist fehlerbehaftet. Hier wird dann meist mit Farbtracking und aktiven Markern gearbeitet, die ein weitaus besseres Ergebnis erzielen.
Um eine Szene besser ausleuchten zu können ohne die Akteure zu blenden wird gerne auf Infrarotkameras zurückgegriffen. Auch hier gibt es passive Reflektoren und aktive LED-Leuchten. Die aktiven Leuchten finden zum Beispiel Anwendung bei der Nintendo Wii, hier wird dann auch nur die Position bestimmt.
Bei komplexen Körpern (starren Körpern) muss dieser (auch Target genannt) in seiner geometrischen Form dem Trackingsystem übermittelt werden und das System muss dann auf diesen Körper kalibriert werden.
Bei den markerlosen Verfahren sind wie bei der Kinect Farbkameras und Tiefenkameras verbunden. Bei diesem Verfahren wird zwischen Merkmalen wie Ecken, Kanten und weiteren gleichförmige ngeometrischen Formen unterschieden.
Bei der Aufnahme gibt es das Outside-In-Verfahren und das Inside-Out-Verfahren. Beim OI-Verfahren wird das Objekt von Außen aufgenommen. Die Kalibrierung der Kameras erfolgt durch die Eingabe der Größe des Targets und durch das Abstimmen der unterschiedlichen Kameras aufeinander. Durch Triangulation wird die 3D Position der Marker an den Tracking-Controller übermittelt und ausgegeben.
Zur exakten Berechnung des Trackings wird die exakte Position der Kameras benötigt. Die Abweichung muss hier kleiner sein als 1mm und 1 Grad für den Winkel(vgl. Dörner 2013, S.108). Beim IO-Verfahren befinden sich die Kameras am Nutzer. Hierdurch ist eine freie Bewegung möglich. Jedoch schränken die Kameras an dem Nutzer dessen Beweglichkeit deutlich ein.
Eine virtuelle Realität kann auch durch Geräte wie eine 3D Mouse oder mechanische Eingabegeräte bedient werden. Bei den mechanischen Geräten ist die Latenz sehr gering, da die Genauigkeit und direkte Umsetzung/Messung (also Geschwindigkeit) über Getriebe, Potentiometer und Zahnräder deutlich höher ist.
Bei dem akustischen Tracking wird die Position durch Schalwellen (auch Ultraschall) bestimmt. Die Empfänger sind jedoch recht empfindlich in Bezug auf Luftdruck- und Temperaturänderungen. Mit Hilfe von Elektrospulen werden die Magnetfelder für das elektromagnetische Tracking geschaffen. Die Vorteile dieses Systems sind die kleinen Empfänger, keine Verdeckung durch andere Objekte und die recht einfache Bedienbarkeit.
Inertial-Tracker messen wiederrum die Beschleunigung und Geschwindigkeit. Sie werden häufig zur Bestimmung der Orientierung eingesetzt und messen je nach Bauart die Winkelbeschleunigung oder die lineare Beschleunigung. Bei den Beschleunigungssensoren für die Winkelgeschwindigkeit werden analog die gemessenen Werte zweifach integriert um den Rotationswinkel zu erhalten (vgl. Dörner 2013, S.110f).
Die Einschränkung der Bewegungsfreiheit innerhalb einer VR ist durch die äußeren technischen Umstände meist begrenzt. Im Grunde benötigt man eine Art Laufband die sich der Bewegung des Nutzers anpasst.
Das Virtuix Omni bietet genau diese Möglichkeit. Auf der kreisrunden, vertieften Fläche läuft (eigentlich gleitet) der Spieler auf der Stelle. In Verbindung mit Oculus Rift lässt sich dadurch auch die Blickrichtung bestimmen. Das Gerät ist für 499 Dollar erhältlich, jedoch benötigt man noch die Schuhe (für die Registrierung der Bewegung) und den Gürtel (für die 360 Grad Drehung; 130 Dollar). Dieses Video spricht jedoch Bände und erklärt das Projekt im Einzelnen:
Fingertracking
Das Fingertracking ist für einzelne sehr detaillierte Bereiche der VR zuständig. Es hat sehr hohe Anforderungen an die Hardware, da die Hand aus vielen beweglichen Körpern (Knochen, Gelenke) und aus in alle möglichen Richtungen drehbaren Teilen besteht. Die Berechnung ohne Abweichung ist daher sehr aufwendig.
Bei dieser Trackingform kommen unterschiedliche Techniken zum Einsatz (Glasfasern, Dehnungstreifen und Potentiometer). Darunter fallen die folgenden mechanischen Finger-Trackings:
Die 3D Objekte werden grundsätzlich nach Oberflächen- und Festkörpermodellen unterschieden. Während Oberflächenmodelle dem Surface also der Oberflächendarstellung dienen, beschreiben die Festkörpermodelle Objekte mit Volumen. Oberflächenobjekte werden zumeist mit Polygonnetzen realisiert. Diese besteht aus Eckpunkten die von verschiedenen Flächen geteilt werden. In diesem Fall empfiehlt sich eine indizierte Flächenliste das diese Darstellung Speicher spart und die komplexe, reale, häufig gekrümmte Oberfläche vereinfach darstellt.
Eine noch speichereffizientere Darstellung erreicht man durch die „Triangle Strips“. Hier wird mit Dreiecksnetzen gearbeitet die nur über ein am Anfang definiertes Dreieck umgesetzt wird. Die Anderen Dreiecke bestehen nur aus zwei neuen Punkten und schließen durch den dritten bereits vorhandenen Punkt an die anderen Dreiecke an (Mc Kesson 2012).
Die Festkörpermodelle werden auch als Solidmodelle bezeichnet. Im Grunde handelt es sich um ein Polygonnetz das ein Volumen einschließt. Wichtig ist hierbei die Definition der Innen- und Außenfläche, durch die Definition einzelner Eckpunkte, in der Reinfolge des Uhrzeigersinns. Des Weiteren werden Materialvektoren zur Erfassung von Volumeninformationen eingefügt. Das Erscheinungsbild wird ebenfalls durch das Material bestimmt. Die Definition gibt an ob das Material spiegelnd, transparent oder farbig ist. Auch bestimmt das Material wie das Licht abgestrahlt wird und in welchen Farben es reflektiert (Emissionseigenschaften).
Die schlussendliche Textur zur realistischen Darstellung von Holz-, Stein-, Metall-, und Kunststoffoberflächen wir mit Hilfe von Rastergrafiken und Texturkoordinaten verwirklicht. Beim Rendering kann die Grafikkarte nun per Interpolation, die Texturkoordinaten zwischen den Eckpunkten der Polygone, berechnen.
Die Darstellung von Oberflächenstrukturen lässt sich mit Hilfe von Bump-Mapping wunderbar umsetzen(vgl. DGLWiki 2014). Die Geometrie der Objektoberflächenfragmente wird verändert. Helle Bereich erscheinen erhöht und dunkle Bereiche abgesenkt, was durch optische Täuschung zu einem Tiefeneffekt führt.
Shader sind kleine Programm die auf die Grafikkarte abgestimmt wurden. Sie ermöglichen die realistische Darstellung unterschiedlichster Effekte. So kann mit dem Vertexshader die Objektgeometrie verändert werden und mit dem Pixelshader die Darstellung von Farben. Ein Umsetzungsbeispiel ist die Bewegung in einem teilweise ausgeleuchteten Raum. Hier kann der Shader per Lichtberechnung die Farbgebung für das Umfeld verändern/anpassen, falls die Lichtquelle sich bewegt(vgl. Hecht 2014).
Die Vereinfachung der 3D-Objekte dient der Erhaltung der Echtzeitfähigkeit der Modelle. Es werden die Eckpunkte der Dreiecke entfernt, die sich an den betrachteten Eckpunkten teilen und mit dem vorhandenen Eckpunkt verschmolzen.
Beim Texture Baking werden die Farbinformationen der beleuchteten Oberfläche eine hochauflösenden 3D-Modells, in eine Textur gespeichert. Diese gespeicherte Textur wird dann auf niedrigauflösende, polygonreduzierte Modelle übertragen. Die Technik ist auch im Bereich der Bump-Mapping anwendbar (Dörner 2013, S.78 f).
Eine interessante Methode stellen die Billboards dar. Hier richtet sich einfach nur eine texturierte, einfache geometrische Form nach dem Nutzer aus (vgl. Orndorff). Dies wird häufig auch bei der Partikeldarstellung (Feuer, Rauch) verwendet. Der Nachteil besteht hier für den Nutzer, da das Objekt nur vorne gesehen wird.
Animation von Objekten
Neben der Darstellung, spielt die Interaktion mit Objekten und somit deren Animation ein bedeutende Rolle in einer VR. Bei der Keyframe-Animation werden Schlüsselpunkte definiert, denen eine Eigenschaft des Objektes, Beispielsweise dessen Positionierung, mit einem Wert zugeordnet wird. Der Wert zwischen den KeyFrames wird durch interpolationsverfahren bestimmt.
Die Physikbasierte Animation starrer Körper wird mit Hilfe physikalischer Formeln erstellt. Das Objekt weist physikalische Eigenschaften auf wie zum Beispiel „die Masse um Beschleunigungen bei der Einwirkung von Kräften oder Drehmomenten auf das Objekt oder die resultierende Geschwindigkeit nach einer Kollision zu bestimmen“ (Dörner 2013, S.80). Die lineare Geschwindigkeit, die Winkelgeschwindigkeit, die materialbezogenen Dämpfungsparameter und der Elastizitätswert sind ebenfalls miteinzuberechnen, da sie elementar für die Berechnung der Verlustleistung sind.
Durch die Physikengine werden Position und Orientierung des Körpers bestimmt. Für die Berechnung von Kollisionen gibt es teilweise eine spezielle Engine die aber zumeist Teil der Physikengine ist. Prinzipiell müssen in die Berechnung nur Objekte aufgenommen werden, die betroffen sein könnten.
Weit entfernte Objekte die ebenfalls interaktionsfähig sind, müssen bei der Berechnung nicht mit eingebunden werden. Zustandsveränderungen bei einem Objekt müssen ebenfalls berücksichtigt werden. Ein Beispiel wäre die Zustandsveränderung eines Metallfasses das von 500m Höhe auf einen Betonboden fällt. Die Verformung oder auch der Geometrieaustausch, lässt sich durch das Einsetzen eines Switch-Knotens und Zwei Kinder-Knoten abhandeln. Bei dieser Vorgehensweise gibt es einen Geometrieknoten vor der dem Fall und ein Geometrieknoten nach dem Fall (vgl. Dörner 2013, S.80 f).
Auslöser für so genannte „Trigger“ können im einfachsten Fall zeitlich sein und im schwierigsten Fall von der freien Handlung des Users beeinflusst. Schlussendlich bedeutet dies für den Szenographen, dass jegliches Rendering dynamisch und somit situativ angepasst werden muss. Aus den oben genannten Gründen ist die Vereinfachung von jeglichen beteiligten Objekten und Abläufen maßgeblich für die Darstellung mit möglichst geringer Latenz. Für eine möglichst reale Darstellung einer virtuellen Realität ist jedoch auch die Täuschung/Stimulierung der Sinne wichtig.
Audio, Licht und Background
Bei der Be- oder Ausleuchtung einer virtuellen Welt oder von Objekten, entscheidet sich häufig wie realistisch etwas wahrgenommen wird. Außerdem dienen Audio und Licht der stimmungsvollen Darstellung in einer VR. Die Lichtquellen unterscheiden sich in direktionalen Quellen und in Punkt- oder Scheinwerferlicht.
Bei direktionalem Licht handelt es sich um eine sehr weit entfernte (oder auch unendlich weit entfernte) Lichtquelle (Sonne). Die Lichtstrahlen treffen quasi parallel auf Objekte innerhalb der VR. Eine Punktquelle strahlt Licht in kreisförmigen Wellen von ihrem Punkt überallhin aus. Das Scheinwerferlicht ist ein gelenktes Licht, wie bei einer Taschenlampe oder bei einem KFZ.
Die Intensität bei Punkt- und Scheinwerferquellen ist jedoch durch äußere Umstände, wie Partikel in der Luft begrenzt. Daher hat diese Lichtquelle nur eine begrenzte Reichweite. So muss in einer VR der Einflussradius der Quelle genau definiert werden, sodass ausschließlich die Objekte und die Teile der Objekte beleuchtet werden, die innerhalb des Radius liegen. Besondere Lichtquellen sind mit dem Nutzer verbunden. Man bezeichnet sie gerne als Headlight (vgl. Dörner 2013, S.83 ff.).
Diese Lichtquelle orientiert sich am Nutzer und ist als direktionale Lichtquelle definiert, obwohl es strenggenommen ein Scheinwerferlicht sein müsste. Bei einer virtuellen Welt wird mit solch einem Headlight, die stimmungsvoll arrangierten Lichtquellen zerstört. Aus diesem Grund gilt es das Headlight in solch einem Fall, zu deaktivieren.
Die Audioquellen stellen nicht nur durch Hintergrundmusik Stimmung dar, sondern können falls sie von einem Objekt ausgehen auch die dessen realistische Darstellung/Ortung ermöglichen. Die letzteren Audioquellen werden als Punktquellen bezeichnet und haben zumeist eine feste Position in der 3D-Welt. Audioquellen stellen die Umgebung nicht nur stimmungsvoll dar oder wirken als realistische Objektdarstellung sondern helfen dem Nutzer auch bei der Orientierung.
So wird das eine Ohr vom Schall einen sehr kurzen Moment eher erreicht als das andere Ohr und die Ortung der Quelle ist dadurch intuitiv gegeben. Das ganze wird prinzipiell als auditive räumliche Wahrnehmung bezeichnet.
Die Darstellung von Schall- und Lichtunterbrechungen durch Objekte wird nicht von den Szenegraphsystemen unterstützt. Externe Bibliotheken für die genutzte Software (Bsp.: OpenSceneGraph) ermöglichen die realistische Darstellung und erlauben die Veränderung des Schalls und dessen Wahrnehmung durch Hindernisse.
Zu diesen Soundeffekten gehört auch der Dopplereffekt, der das nähern und entfernen von Audioquellen darstellt. Hintergründe werden zumeist nur texturiert, teils als statisches Bild oder auch als rotierende 3D-Körper (Wolkenbewegungen).
Weitere Elemente der VR
Um eine VR realistisch zu gestalten Bedarf es virtuellen Menschen, Partikeln, Landschaften, Vegetationen und ähnlichem. Beginnen wir mit den Menschen. Häufig finden wir in Spielwelten sogenannte NPC‘s (Non-Player-Charakter) diese werden mit Protokollen gesteuert und reagieren auf den User wie sie programmiert wurden. Ein anderes Beispiel ist ein Avatar der den User selbst verkörpert.
Dies findet in MMORPG’S aber auch in Online Infrastrukturen wie Second Life Anwendung. Um diese virtuellen Präsenzen realistisch darzustellen bedarf es Ergonomieuntersuchungen. Dieses Vorgehen führt zu einer Animation der der Gliedmaßen. Für den Avatar bedeutet dies zumeist das sein „Körper“ aus mehreren, hierarchisch angeordneten 3D Objekten besteht. Diese Form der Darstellung ist jedoch sehr eingeschränkt und aus diesem Grund hat sich die skelettbasierte Animation durchgesetzt.
Ein so aufgebauter Avatar ist über eine Skeletstruktur und eine deformierbare Oberfläche definiert (vgl. Dörner 2013, S.86 f). Hier werden auch nicht bloße Objekte aneinander gehängt, sondern „Knochen“ über „Gelenke“ verbunden. Die Verbindung des gesamten Skelets führt somit bei der Beeinträchtigung eines Knochens auch zur Beeinträchtigung des kompletten Systems. Gesichtsausdrücke können ebenfalls über passende Gesichtsknochen dargestellt werden.
Während das „motion Capture“ Verfahren für die Bewegungsabläufe zuständig ist, werden Aktionen wie das Greifen, Platzierung der Füße beim Treppensteigen, also die Bewegung der Extremitäten im Detail, mittels Algorithmen zur inversen Kinematik berechnet. Oftmals werden diese Animationen situationsbezogen abgehandelt. Eine perfekte Darstellung eines Menschen, bis ins Detail, in Echtzeit ist momentan ohne hohe Latenz nicht möglich.
Partikel sind die Voraussetzung um Rauch und Feuer, Schneeflocken, Wassertropfen und somit auch Wetter und Vegetation darzustellen. Die Darstellung tausender Partikel ist als einzeln definiertes Objekt nicht sinnvoll. Daher wird ein Partikelsystem genutzt, bei dem jeder Partikel als ein Massebehafteter Punkt verstanden wird (vgl. Dörner 2013, S.89). Diese Partikel werden im 3D-Raum jederzeit aktualisiert und aus dem System entfernt oder eingefügt. Äußere Umstände werden berücksichtigt, die Bewegung und Geschwindigkeit der Partikel beeinflussen und objektbezogene äußere Veränderungen wie Farbe oder Textur.
Auch hier finden sich Vereinfachungen durch die Darstellung der Veränderungen an einer Linie oder einem Körper entlang. Die Darstellung solcher visueller Partikel wird in Echtzeit zumeist durch Punkte oder kleine Vierecke grafisch realisiert, diese sind in Blickrichtung des Users ausgerichtet. Dabei werden Farbänderungen und Formänderung der darzustellenden Grafik eingearbeitet. Die Animation wird in zeitschritten berechnet die oben genannte Faktoren regelmäßig angleicht und verändert.
Das Gelände ist im Grunde eine einfache Datenstruktur, die mit Texturen überzogen wird. Es handelt sich zumeist um ein zweidimensionales Gitter, bei dem die einzelnen Gitterpunkte unterschiedliche Höhen besitzen. Da Höhenwerte hierbei groß werden (Auflösung 256 x 256 = 65.000 Höhenwerte) lohnt sich eine Eingabe von Hand nicht. Vielmehr wird eine teilautomatisierte Technik angewandt.
Hierbei werden die maximale Hochpunkte und Tiefpunkte festgelegt und ein Gaußfilter übernimmt die Arbeit mit den Übergängen. Bei Gebirgen mit zerklüfteten Oberflächen ist eine prozedurale Modellierung von Nöten.
Mit Hilfe eines einfachen Algorithmus und der Mittelpunktverschiebung, wird der Mittelpunkt aufgrund der Höhenwerte von vier Eckpunkten des Felsens als Mittelwert errechnet. Es werden nun genau 5 Mittelpunkte betrachtet und im ersten Schritt wird der Höhenwert der 5 Mittelpunkte als Mittelwert der benachbarten Eckpunkte berechnet. Im zweiten Schritt werden die somit errechneten neuen Höhenwerte, durch das Hinzufügen neuer Zahlen modifiziert (vgl. Dörner 2013, S.90f).
Diese neuen, zufälligen Werte der Summe bei der Zahlenmodifikation, sind ausschlaggebend für die Darstellung zerklüfteter Landschaften. Diese entstandenen Teilregionen werden nun rekursiv bearbeitet. Die Unterteilungen und Neuberechnungen werden solange fortgeführt, bis allen Elementen des Höhenfelds neue Werte zugeordnet wurden.
Eingabegeräte einer VR
Es stellt sich natürlich die Frage: Wie benutze ich diese ganzen Objekt in einer VR und mit welchen Mitteln kann ich hier interagieren? Im Grunde handelt es sich prinzipiell um eine sensorische Erfassung. Unterschieden wird jedoch zwischen diskreten Eingabegeräten und kontinuierlichen Eingabegeräten.
Diese Geräte unterscheiden sich nochmals in der Form ihres physikalischen Mediums (Schalwellen; elektromagnetische Felder, Lichtreflektion usw.). Weitere Unterscheidungen finden sich in der absoluten oder relativen Koordination und ob es sich um ein aktives oder passives System handelt.
Die diskreten Eingabegeräte, wie eine Maus oder ein Joystick, behandeln nur eine bewusste Handlung des Nutzers, welche auch als einzelnes Ereignis vom System erkannt wird. Kontinuierliche Geräte können hierbei einen Finger ständig Verfolgen oder eine Bewegung als Geste erkennen. Ausschlaggebend ist die fortwährende Bestimmung der Position der genutzten Körperteile.
Dies wird auch als Tracking bezeichnet und findet sowohl in PC-Spielen, als auch in Filmen häufig Anwendung. Beim Tracking wird zumeist ein Teil als starrer Körper angenommen, welcher nun im virtuellen Raum verschoben, rotiert und in drei aufeinander stehende Achsen zerlegt werden kann. Es ist Aufgrund von 6 Werten (drei für die Position und drei für den Winkel zur Beschreibung der Orientierung) möglich, die Bewegung eines Objekts für jeden zeitschritt zu spezifizieren, also die exakte Bewegung darzustellen (vgl. Dörner 2013, S.98).
Dies führt schlussendlich zur Darstellung einer kompletten Interaktion in der virtuellen Welt. Die Werte eines Trackingsystems müssen mit den Werten anderer Eingabesystem extra zusammengeführt werden, was zu Lasten der Latenz gehen kann. Diese 6 Werte werden auch Freiheitsgrade genannt und eben diese Freiheitsgrade werden auch nur zum Teil eingesetzt. So kann bei einem GPS Tracking im Grunde nur die Position genutzt werden.
Ein weiterer Punkt ist die Anzahl der zur gleichen Zeit verfolgten Körper. Hierbei wird nicht nur die Verfolgung per Blickfeld relevant sondern auch die Verfolgung mit einem Eingabegerät. Durch Verknüpfung der Objekte mit einer ID lassen diese sich differenzieren.
Je nach Form des Eingabegeräts gilt es auch den zu überwachenden Bereich zu definieren. Sollte nur die Hand als Eingabegerät dienen (Fingertracking) ist ein kleiner Bereich zu überwachen, als wenn ein ganzer Körper sich durch die virtuelle Welt bewegt.
Die Genauigkeit der Systeme muss dem Zweck angepasst werden (in Grunde eigentlich dem Budget) und somit ist die Abweichung bei GPS Systemen einige Meter, während bei dem Fingertracking die Abweichung nur im Millimeterbereich stattfinden darf.
Die regelmäßige Abfrage der Zeitabschnitte ist wohl eine der wichtigsten Punkte. Hier wird die Anzahl der Messpunkte innerhalb eines Zeitraums bestimmt und somit die regelmäßige Überwachung der realen kontinuierlichen Aktion/Bewegung.
Die Reaktion der Eingabegeräte ist wohl der negativste Faktor und der am zu geringsten haltende Wert (Latenz). Zur korrekten Verwendung eines Eingabegerätes muss dieses auch kalibrierbar sein, was bei der VR bedeutet, dass ein regelmäßiger Abgleich von Messwerten zwischen Realität und VR möglich sein soll.
Optisches Tracking
Bei dem optischen Tracking wird im Grunde zwischen Marker- und markerlosen Tracking unterschieden. Bei dem markerbasierten Verfahren können über Schwellwertfilter, durch die Beleuchtungssituation, die Bilder im Videostrom schnell gefunden werden.
Die Marker können entweder aktiv (Licht abstrahlend) oder passiv (Licht reflektierend) sein. Die Marker sind zumeist schwarzweis und unterscheiden sich in ihrer Größe. Sie werden mit RGB-Kameras aufgenommen und sind kostengünstig herzustellen, also massentauglich.
Zur Optimierung dieses Verfahrens wird die Retroreflexion genutzt, die Lichtenergie direkt in Richtung des einfallenden Lichts reflektiert. Hierbei wird zwischen zwei üblichen Verfahren unterschieden. Bei dem Ersten handelt es sich um eine Reflektion durch Tripelspiegel. Hierbei wird das Licht, von der Außenseite des einen Dreiecks zur Außenseite eines gegenüberliegenden Dreiecks gelenkt und von dort auf die Lichtquelle zurückgeworfen.
Bei der zweiten Möglichkeit handelt es sich um Glaskugeln, die das Licht von dem hinteren teil der Glaskugel auf der gegenüberliegenden vorderen Teil der Glaskugel fokussieren (vgl. Dörner 2013, S.104f).
Durch die nicht immer stetige Ausleuchtung und teils minderwertige Kameras, ist die Suche nach einer einfarbigen Fläche meist fehlerbehaftet. Hier wird dann meist mit Farbtracking und aktiven Markern gearbeitet, die ein weitaus besseres Ergebnis erzielen.
Um eine Szene besser ausleuchten zu können ohne die Akteure zu blenden wird gerne auf Infrarotkameras zurückgegriffen. Auch hier gibt es passive Reflektoren und aktive LED-Leuchten. Die aktiven Leuchten finden zum Beispiel Anwendung bei der Nintendo Wii, hier wird dann auch nur die Position bestimmt.
Bei komplexen Körpern (starren Körpern) muss dieser (auch Target genannt) in seiner geometrischen Form dem Trackingsystem übermittelt werden und das System muss dann auf diesen Körper kalibriert werden.
Bei den markerlosen Verfahren sind wie bei der Kinect Farbkameras und Tiefenkameras verbunden. Bei diesem Verfahren wird zwischen Merkmalen wie Ecken, Kanten und weiteren gleichförmige ngeometrischen Formen unterschieden.
Bei der Aufnahme gibt es das Outside-In-Verfahren und das Inside-Out-Verfahren. Beim OI-Verfahren wird das Objekt von Außen aufgenommen. Die Kalibrierung der Kameras erfolgt durch die Eingabe der Größe des Targets und durch das Abstimmen der unterschiedlichen Kameras aufeinander. Durch Triangulation wird die 3D Position der Marker an den Tracking-Controller übermittelt und ausgegeben.
Zur exakten Berechnung des Trackings wird die exakte Position der Kameras benötigt. Die Abweichung muss hier kleiner sein als 1mm und 1 Grad für den Winkel(vgl. Dörner 2013, S.108). Beim IO-Verfahren befinden sich die Kameras am Nutzer. Hierdurch ist eine freie Bewegung möglich. Jedoch schränken die Kameras an dem Nutzer dessen Beweglichkeit deutlich ein.
Eine virtuelle Realität kann auch durch Geräte wie eine 3D Mouse oder mechanische Eingabegeräte bedient werden. Bei den mechanischen Geräten ist die Latenz sehr gering, da die Genauigkeit und direkte Umsetzung/Messung (also Geschwindigkeit) über Getriebe, Potentiometer und Zahnräder deutlich höher ist.
Bei dem akustischen Tracking wird die Position durch Schalwellen (auch Ultraschall) bestimmt. Die Empfänger sind jedoch recht empfindlich in Bezug auf Luftdruck- und Temperaturänderungen. Mit Hilfe von Elektrospulen werden die Magnetfelder für das elektromagnetische Tracking geschaffen. Die Vorteile dieses Systems sind die kleinen Empfänger, keine Verdeckung durch andere Objekte und die recht einfache Bedienbarkeit.
Inertial-Tracker messen wiederrum die Beschleunigung und Geschwindigkeit. Sie werden häufig zur Bestimmung der Orientierung eingesetzt und messen je nach Bauart die Winkelbeschleunigung oder die lineare Beschleunigung. Bei den Beschleunigungssensoren für die Winkelgeschwindigkeit werden analog die gemessenen Werte zweifach integriert um den Rotationswinkel zu erhalten (vgl. Dörner 2013, S.110f).
Die Einschränkung der Bewegungsfreiheit innerhalb einer VR ist durch die äußeren technischen Umstände meist begrenzt. Im Grunde benötigt man eine Art Laufband die sich der Bewegung des Nutzers anpasst.
Das Virtuix Omni bietet genau diese Möglichkeit. Auf der kreisrunden, vertieften Fläche läuft (eigentlich gleitet) der Spieler auf der Stelle. In Verbindung mit Oculus Rift lässt sich dadurch auch die Blickrichtung bestimmen. Das Gerät ist für 499 Dollar erhältlich, jedoch benötigt man noch die Schuhe (für die Registrierung der Bewegung) und den Gürtel (für die 360 Grad Drehung; 130 Dollar). Dieses Video spricht jedoch Bände und erklärt das Projekt im Einzelnen:
Fingertracking
Das Fingertracking ist für einzelne sehr detaillierte Bereiche der VR zuständig. Es hat sehr hohe Anforderungen an die Hardware, da die Hand aus vielen beweglichen Körpern (Knochen, Gelenke) und aus in alle möglichen Richtungen drehbaren Teilen besteht. Die Berechnung ohne Abweichung ist daher sehr aufwendig.
Bei dieser Trackingform kommen unterschiedliche Techniken zum Einsatz (Glasfasern, Dehnungstreifen und Potentiometer). Darunter fallen die folgenden mechanischen Finger-Trackings:
- Sayre-Glove: biegbare Röhren die an den Fingern in einem Handschuh entlang laufen
- Data-Glove: 2 Lichtwellenreiter pro Finger
- CyberGlove: 22 dünne, metallische Dehnungstreifen zum Erfassen der Gelenkwinkel
- Hand Master: Exoskelett für die Hand
Das Eye-Tracking ist meiner Meinung nach noch nicht relevant, da dessen Umsetzung aufwendig und nicht besonders effektiv und genau ist.
Es wurden bereits die Erstellung der Welt und die Eingabegeräte der VR besprochen. Es fehlt nun noch die Darstellung für den Nutzer. Bei den Ausgabegeräten handelt es sich jedoch nicht nur um die optische Komponente, sondern auch um jegliche Reizerzeugung. Im Folgenden schauen wir uns den Aufbau von Displaysystemen, akustische und haptische Ausgabegeräte an.
Die erste große Einschränkung bei diesen Systemen ist wohl die räumliche Begrenzung. Für eine virtuelle Realität ist es wichtig den Nutzer nicht ständig die Grenzen der virtuellen Realität aufzuzeigen. Dies wird erreicht durch das simulieren der optischen, akustischen und haptischen Wahrnehmung.
Zur Darstellung des sichtbaren Bereichs werden Display, Head-Mounted-Displays und Projektoren verwendet. Die wichtigsten Eigenschaften eines Displays aus Nutzersicht sind Kontrast und Auflösung. Displays sind zumeist kleiner als das Sichtfeld, Projektoren die einen Displayähnlichen Kontrast aufweisen sind extrem teuer und in einem Beleuchteten Raum nicht so effektiv wie ein Display.
Das HMD (Head-Mounted-Display) ist meist schwer und die Auflösung noch nicht so hoch wie bei Projektoren oder Displays. Eine Möglichkeit bei den Projektoren und Displays ist der Verbund von Mehreren und somit ein komplettes, aufeinander abgestimmtes System. Die HDM bieten dafür eine extreme Mobilität und wie in dem oben genannten System (Omni), auch die Freiheit der Bewegung in einer VR.
Um die visuellen Reize optimal zu nutzen, muss natürlich ein dreidimensionales Bild wiedergegeben werden. Wie bereits oben beschrieben wurde ist dies durch das Stereosehen möglich. Dies hat zur Folge, dass jedes im Grunde sein eigenes Display benötigt. Bei dem HDM ist dies durch eine Brille kein Problem.
Die sogenannte Toe-In-Methode teilt das Bild einer virtuellen Kamera in zwei Kameras auf. So wird für das linke und rechte Auge separat, passend ein Bild verarbeitet. Die Kameras der Augen werden hierbei so gedreht, dass sie auf den gleichen Punkt im Raum gerichtet sind (vgl. Dörner 2013, S.130).
Die Problematik bei dieser Methode ist das nur in der Mitte des Bildes die Tiefenwirkung korrekt dargestellt wird. Die unterschiedlichen Methoden zu den anderen Darstellungsverfahren habe ich bereits unter dem Punkt Film und Oculus behandelt.
Die Darstellung eines Displaysystems ist vielfältig und teilweise ungewöhnlich. Im Idealfall hat man einen Curved-Screen. Dieses Display deckt nun, ähnlich einem Panoramabild, bis zu 360 Grad ab. Wobei dieses Display in extrem großen Fällen eine Leinwand ist, die mit Hilfe mehrerer Projektoren mit dem darzustellenden Inhalt versehen wird.
Eine weitere Möglichkeit ist der Cave. Es handelt sich hierbei um einen Würfel der bis zu 6 Wände besitzt. Hier kann der Nutzer nicht nur 360 Grad seiner Umgebung betrachten, sondern auch die Decke und den Boden. Die Ecken und Kanten sind jedoch deutlich erkennbar und wirken wenig realistisch.
Die Darstellung riesiger Flächen durch Bildschirme oder Beamer ist zumeist Zeitaufwändig aufgrund der Abstimmung und kostenintensiv aufgrund des Materialaufwands und daher keine besonders praktikable Lösung für die Masse.
Die Schwierigkeit bei mehreren Projektoren ist ebenso die Farbabstimmung, da die Projektoren sich hier doch deutlich unterscheiden. Eine weitere Frage ist die Hard- und Software des Rechengeräts, explizit die Grafikarte und die Milliarden von Pixeln die sie auf einmal darstellen können muss.
Akustische Ausgabegeräte sind etwas einfacher zu gestalten da unser akustisches räumliches Auflösungsvermögen, im Vergleich zu dem Visuellen, geringer ist. Im Grunde lässt sich ein echter Raumklang durch Systeme realisieren, die das Prinzip der Wellenfeldsynthese umsetzen. Dies sagt im Grunde nur aus, dass ein System eine Aufnahme so wiedergeben kann, indem der Ort des wiedergegeben frei positionierbar ist. Schlussendlich kann es im Grunde mit einem Surround-Sound-System umgesetzt werden.
Bei Leinwänden ist der Einsatz, hinter der Leinwand, zumeist kein Problem, bei Displays ist dies nicht ohne Einbußen möglich. Und wieder hat das HDM hier einen klaren Vorteil. Der Einsatz von einem Surround-Sound-System ist hier deutlich einfacher Umzusetzen.
Die haptischen Ausgabegeräte stoßen hier an Grenzen. Zwar kann durch Vibration, wie bei vielen Controllern schon umgesetzt, eine Kollision mit einem Objekt gekennzeichnet werden, aber dies ist noch lange keine realistische Darstellung.
Nun könnten die Berechnung der Kollision mit einem komplexen Objekt jeweils frei berechnet werden, dies würde jedoch zu lange dauern (Latenz) und somit zu Fehlern bei der Reaktion und dem Umgang führen. Um dies zu lösen, muss zur Nutzung der Ausgabegeräte, ein entsprechendes haptisches Modell als Teil der virtuellen Welt aufgebaut und aktuell gehalten werden und somit zur Ansteuerung der haptischen Ausgabegeräte genutzt werden. Bei den haptischen Geräten gibt es somit noch keine „gefühlsechte“ Umsetzung (vgl. Dörner 2013, S.154.).
Abschließen möchte ich noch zu der häufig erwähnten Latenz etwas sagen. Latenz ist die Reaktionszeit die benötigt wird um die Daten des Nutzers an das System zu übertragen und umgekehrt. Man bewegt sich hier zumeist im zweistelligen Millisekunden Bereich. Während bei einer virtuellen Realität eine Empfehlung von 50 Millisekunden angenommen wird (für das HDM), ist im Gamingbereich eine Reaktion von 7 - 15 Millisekunden gefordert.
Dies ist für alle User interessant da eben die aktuellen HDM, die für jeden erschwinglich sein sollen (massentauglich), für den Gaming-Bereich entwickelt werden. Da die Latenzen sich bei eine VR zum Teil jedoch summieren, ist für eine VR erstmal wichtig die vorkommenden Latenzen festzulegen. Dörner gibt hierbei 5 maßgebliche Latenzen für die VR an (vgl. Dörner 2013, S.199ff.):
- Tracking Latenz (Sensorik als Eingabe)
- Transportlatenz (Sensorfusion, Netzwerk und Kollaborationen)
- Simulationslatenz (Weltensimulation und KI / Verhalten)
- Darstellungslatenz (Ausgabe) Generierungslatenz (Rendering)
Die Latenzen sind maßgeblich für die reale Darstellung einer virtuellen Welt und je geringer sie sind, desto flüssiger werden Interaktionen mit der VR dargestellt. Die Verringerung einer Latenz kann durch das Senken der Rechenleistung herbeigeführt werden.
Dazu dienen Algorithmen die Berechnungen von Physik und Grafik vereinfachen oder die Kombination eines optischen Trackingsystems mit einem inertialen Tracking-System (Berechnung über Massenträgheit/Geschwindigkeit; keine Kameras usw. nötig, nur Beschleunigungssensoren). So wird die Informationsvermittlung von Orientierung und Position solange von dem inertialen Tracking-System übernommen bis das optische Trackingsystem wieder stabile Daten vermittelt (vgl. Dörner 2013, S.206).
Die virtuelle Realität steht vor der Tür und befindet sich gerade in der entscheidenden Entwicklungsphase für den massetauglichen Markt. Man darf gespannt sein was die nächsten Jahren bringen werden.
Dazu dienen Algorithmen die Berechnungen von Physik und Grafik vereinfachen oder die Kombination eines optischen Trackingsystems mit einem inertialen Tracking-System (Berechnung über Massenträgheit/Geschwindigkeit; keine Kameras usw. nötig, nur Beschleunigungssensoren). So wird die Informationsvermittlung von Orientierung und Position solange von dem inertialen Tracking-System übernommen bis das optische Trackingsystem wieder stabile Daten vermittelt (vgl. Dörner 2013, S.206).
Die virtuelle Realität steht vor der Tür und befindet sich gerade in der entscheidenden Entwicklungsphase für den massetauglichen Markt. Man darf gespannt sein was die nächsten Jahren bringen werden.
Literaturverzeichnis:
Blien, R. (2009): Flächenbegrenzungsmodell. Online verfügbar unter http://www.blien.de/ralf/cad/db/brep-mod.htm, zuletzt aktualisiert am 10.10.2009, zuletzt geprüft am 21.01.2015.
DGLWiki (2014): Bumpmapping – DGL Wiki. Online verfügbar unter http://wiki.delphigl.com/index.php/Bumpmapping, zuletzt aktualisiert am 02.03.2014, zuletzt geprüft am 21.01.2015.
Dörner, Ralf; Broll, Wolfgang; Grimm, Paul; Jung, Bernhard (2013): Virtual und Augmented Reality (VR / AR). Grundlagen und Methoden der Virtuellen und Augmentierten Realität. Berlin, Heidelberg: Imprint: Springer Vieweg (eXamen.press).
Duden, Online (2013): virtuell. Hg. v. Bibliographisches Institut GmbH. Online verfügbar unter http://www.duden.de/rechtschreibung/virtuell, zuletzt aktualisiert am 26.12.2014, zuletzt geprüft am 29.12.2014.
Hecht, Simon (2014): Online-tutorials.net - Shader Konzept. Online verfügbar unter http://www.online-tutorials.net/directx/shader-konzept/tutorials-t-7-77.html, zuletzt aktualisiert am 16.08.2014, zuletzt geprüft am 21.01.2015.
Korgel, Daniel (2014): Über Oculus Rift | Bloculus Das deutsche Oculus Rift News Blog. Online verfügbar unter http://www.bloculus.de/oculus-rift/, zuletzt aktualisiert am 30.12.2014, zuletzt geprüft am 30.12.2014.
Kramer, Robert (2012): High Fantasy. Hg. v. Piper Verlag GmbH. Online verfügbar unter http://www.piper-fantasy.de/lexikon/high-fantasy, zuletzt geprüft am 29.12.2014.
McKesson Jason L. (2012): Primitive Drawing. Online verfügbar unter http://www.arcsynthesis.org/gltut/Positioning/Tut07%20Primitive%20Drawing.html, zuletzt aktualisiert am 03.03.2012, zuletzt geprüft am 21.01.2015.
Miller, Béatrice (2011): Virtuelle Realität. Denn Alltag vorhersehen Meetings nach Hause holen Todesfälle klären. In: Technoscope. Online verfügbar unter http://www.satw.ch/publikationen/technoscope/TSC_11_3_d.pdf, zuletzt geprüft am 29.12.2014.
Nachrichtenfernsehen, n-tv (2013): Videobrillen für Filme oder Spiele: Aufsetzen und abtauchen - n-tv.de. n-tv Nachrichtenfernsehen GmbH. Online verfügbar unter http://www.n-tv.de/technik/Aufsetzen-und-abtauchen-article10213451.html, zuletzt geprüft am 29.12.2014.
Nolde, Andreas (2011): Vor- und Nachteile der beiden 3D-Varianten - 3D-TVs im Technik-Duell: Polarisation versus Shutter. Vor- und Nachteile der beiden 3D-Varianten. Online verfügbar unter http://www.chip.de/artikel/3D-TVs-im-Technik-Duell-Polarisation-versus-Shutter-2_51183986.html, zuletzt aktualisiert am 20.11.2011, zuletzt geprüft am 29.12.2014.
Orndorff, Benjamin O.: Billboarding (Direct3D 9) (Windows). Online verfügbar unter https://msdn.microsoft.com/de-de/library/bb172358(VS.85).aspx, zuletzt geprüft am 21.01.2015.
Organic Motion HQ: Markerless Motion Capture for Clinical Research. Online verfügbar unter http://www.organicmotion.com/life-sciences/, zuletzt geprüft am 29.12.2014.
Organic Motion HQ: Motion Capture Software and Mocap Systems Info. Online verfügbar unter http://www.organicmotion.com/motion-capture/, zuletzt geprüft am 29.12.2014.
Organic Motion HQ (2014): Ubisoft Montreal Uses Markerless Motion Capture in the Making of Far Cry 4. Online verfügbar unter http://www.organicmotion.com/ubisoft-montreal-markerless-mocap-case-study-video/, zuletzt geprüft am 29.12.2014.
Wagner, Vit (2007): Tolkien proves he's still the king | Toronto Star. Toronto Star Newspapers Ltd. Online verfügbar unter http://www.thestar.com/entertainment/2007/04/16/tolkien_proves_hes_still_the_king.html, zuletzt geprüft am 29.12.2014.
Wulff, Hans Jürgen (2013): Fiktionsvertrag - Lexikon der Filmbegriffe. Institut für Neuere Deutsche Literatur und Medien. Online verfügbar unter http://filmlexikon.uni-kiel.de/index.php?action=lexikon&tag=det&id=8320, zuletzt geprüft am 29.12.2014.
ZEIT ONLINE GmbH; Hamburg; Germany (2011): Wissenschaftliches Arbeiten: "Plagiieren würde gegen mein Berufsethos verstoßen". Online verfügbar unter http://www.zeit.de/campus/2011/04/service-ghostwriter/seite-2, zuletzt aktualisiert am 22.07.2011, zuletzt geprüft am 29.12.2014.
Thanks for helpful article!
AntwortenLöschen