Attention Analysis in a Mixed Reality Environment
2025 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE credits
Student thesisAlternative title
Uppmärksamhetsanalys i en Mixed Reality-miljö (Swedish)
Abstract [en]
This thesis explores how user attention in mixed reality can be analysed by combining eye tracking with object detection. A real-time module was developed for Microsoft HoloLens 2 to capture gaze data, project fixation points onto videoframes, and check for overlaps with detected objects. In this context, “attention” is defined as the user’s visual focus point. The module streams video and gaze data to a YOLOv5 object detection server. Due to hardware constraints, the server processes around 3 frames per second, which is lower than ideal for real-time applications. A user study was conducted in a controlled environment containing both virtual and physical objects. No explicit instructions were given about task elements to avoid influencing natural attention patterns.The module detects object-gaze overlaps and records metrics like fixation duration and object distance. While performance is currently limited by processing speed, the module demonstrates a working prototype for analysing gaze behaviour in mixed reality environments.
Abstract [sv]
Detta examensarbete undersöker hur användares uppmärksamhet i mixed reality kan analyseras genom att kombinera ögonspårning med objektigenkänning. En realtidsmodul utvecklades för Microsoft HoloLens 2 för att samla in blickdata, projicera fixeringspunkter på inspelade bilder och kontrollera överlapp med detekterade objekt. I detta sammanhang definieras ”uppmärksamhet” som användarens visuella fokuspunkt. Modulen strömmar video- och blickdata till en YOLOv5-baserad objektigenkänningsserver. På grund av begränsningar i hårdvaran bearbetar servern cirka tre bilder per sekund, vilket är lägre än önskvärt för realtidsapplikationer. En användarstudie genomfördes i en kontrollerad miljö som innehöll både virtuella och fysiska objekt. Deltagarna fick inga direkta instruktioner om uppgiften för att undvika att påverka deras naturliga uppmärksamhetsmönster. Modulen identifierar överlapp mellan blickpunkter och objekt, och registrerar mätvärden som fixeringstid och objektets avstånd. Även om systemets prestanda för närvarande begränsas av bearbetningshastigheten visar det på ett fungerande prototypkoncept för analys av blickbeteende i mixed reality-miljöer.
Place, publisher, year, edition, pages
2025. , p. 51
Keywords [en]
Mixed Reality, Eye Tracking, YOLO, Object Detection, Gaze Analysis, Fixation Point, HoloLens 2, Attention Recognition, Real-time Processing, Visual Focus, AR Glasses, Human-Computer Interaction, Perspective Transformation, UDP Communication
Keywords [sv]
Blandad Verklighet, Ögonspårning, YOLO, Objektigenkänning, Blickanalys, Fixeringspunkt, HoloLens 2, Uppmärksamhetsigenkänning, Realtidsbehandling, Visuellt Fokus, AR-glasögon, Människa-datorinteraktion, Perspektivtransformation, UDP-kommunikation
National Category
Engineering and Technology
Identifiers
URN: urn:nbn:se:mau:diva-77934OAI: oai:DiVA.org:mau-77934DiVA, id: diva2:1974469
Educational program
TS Datateknik och mobil IT
Supervisors
Examiners
2025-07-042025-06-232025-07-04Bibliographically approved