Dissertation

Based on my research at the Digital Media Lab of the University of Bremen, I published my doctoral dissertation entitled

Unraveling the Fidelity of Virtual Reality Interactions:
Effects of Realism in Object Manipulation and Embodiment

Abstract

Immersive experiences created with multisensory and interactive virtual reality (VR) technology can feel incredibly realistic. Many factors of the system and the user determine the fidelity of VR interactions, that is, how closely an interaction resembles the reference interaction to be simulated. The human-computer interaction (HCI) research presented in this dissertation is a step towards unraveling and better understanding the different aspects of interaction fidelity in VR, which encompass user input, computer simulation, sensory feedback, and the user’s experience.

Combining theoretical, methodological, and empirical research, I present and discuss nine papers that focus on object manipulation and embodiment in the context of interaction fidelity. The presented Interaction Fidelity Model enables a systematic assessment of eight fidelity components with precise definitions and a thorough discussion of their implications. Integrating the HCI loop and previous theories, the model’s human-centered perspective can be universally applied to all interactions with any VR system. Furthermore, the specialized Haptic Fidelity Framework enables a detailed assessment of 14 factors that determine the fidelity of haptic interfaces.

On this theoretical basis, a series of user studies are analyzed, covering findings on haptic feedback and perception for object manipulation, body visibility in VR sports, visual realism of virtual humans, embedding questionnaires into virtual environments for user research, and VR meetings of an academic team. The quantitative and qualitative analyses demonstrate significant effects of varying interaction fidelity on user performance, task load, sense of body ownership, perceived realism, usability, and user experience. The iterative user research contributes hardware and soware prototypes, such as an in-VR questionnaire tool for participants’ self-reports, a grip-based interaction technique for force-feedback gloves, a handheld controller with adaptive trigger resistance, and experimental environments built with Unity.

This thesis provides guidelines, illustrative examples, research artifacts, and educational materials for designing realistic VR applications, improving how we comprehend and reflect on interaction fidelity in VR research and development. An extensive research agenda highlights promising directions for future investigations of the complex construct of interaction fidelity.

First Reviewer: Prof. Dr. Rainer Malaka
Second Reviewer: TT-Prof. Dr. Tiare Feuchtner
Submitted on 27th February, 2024
Defended on 12th April, 2024
268 pages

Zusammenfassung

Immersive Erlebnisse durch multisensorische und interaktive Virtual Reality (VR) können sich erstaunlich realistisch anfühlen. Verschiedene System- und Nutzer-Faktoren bestimmen die Fidelity (Originaltreue) von VR-Interaktionen, also wie sehr eine Interaktion der zu simulierenden Referenzinteraktion ähnelt. Die in dieser Dissertation vorgestellte Forschung im Bereich der Mensch-Computer-Interaktion (HCI) ist ein Schritt zum tieferen Verständnis der Aspekte der Interaktionstreue in VR, die Input, Computersimulation, sensorisches Feedback und Benutzererfahrung umfassen.

Mit einer Kombination aus theoretischer, methodischer und empirischer Forschung präsentiere ich neun Arbeiten mit Fokus auf Objektmanipulation und Embodiment im Kontext der Interaktionstreue. Das vorgestellte Interaction Fidelity Model ermöglicht eine systematische Evaluierung von acht Fidelity-Komponenten mit präzisen Definitionen und umfassender Diskussion. Durch die Integration der HCI-Schleife und früherer Theorien kann die menschenzentrierte Perspektive des Modells universell auf alle Interaktionen mit beliebigen VR-Systemen angewendet werden. Das spezialisierte Haptic
Fidelity Framework ermöglicht eine detaillierte Bewertung von 14 Faktoren, die die Fidelity von haptischen Systemen beeinussen.

Auf dieser theoretischen Grundlage werden Nutzerstudien analysiert, die Erkenntnisse umfassen über haptisches Feedback bei Objektmanipulationen, Visualisierung des Körpers im VR-Sport, visuellen Realismus virtueller Menschen, Einbettung von Fragebögen in VR und Team-Meetings in VR. Die quantitativen und qualitativen Untersuchungen zeigen Effekt von Fidelity auf Nutzer-Performance, Arbeitsbelastung, Body Ownership, empfundenen Realismus, Usability und User Experience. Aus der iterativen Nutzerforschung gehen Hardware- und Soware-Prototypen hervor, darunter ein VR-Fragebogen-Tool, eine Interaktionstechnik für Force-Feedback-Handschuhe, ein Controller mit adaptivem Trigger-Widerstand und Experimentumgebungen in Unity.

Diese Doktorarbeit enthält Leitlinien, anschauliche Beispiele, Forschungsartefakte und Lehrmaterial für die Gestaltung realistischer VR-Anwendungen und fördert unser Wissen über Interaktionstreue in der VR-Forschung und -Entwicklung. Eine umfangreiche Forschungsagenda zeigt vielversprechende Richtungen für zukünige Untersuchungen des komplexen Konstrukts der Fidelity auf.