PiEye in the Wild: Exploring Eye Contact Detection for Small Inexpensive Hardware
2017 (Swedish)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE credits
Student thesis
Abstract [sv]
Ögonkontakt-sensorer skapar möjligheten att tolka användarens uppmärksamhet, vilket
kan användas av system på en mängd olika vis. Dessa inkluderar att skapa nya möjligheter
för människa-dator-interaktion och mäta mönster i uppmärksamhet hos individer.
I den här uppsatsen gör vi ett försök till att konstruera en ögonkontakt-sensor med hjälp
av en Raspberry Pi, med målet att göra den praktisk i verkliga scenarion. För att fastställa
att den är praktisk satte vi upp ett antal kriterier baserat på tidigare användning av
ögonkontakt-sensorer. För att möta dessa kriterier valde vi att använda en maskininlärningsmetod
för att träna en klassificerare med bilder för att lära systemet att upptäcka om
en användare har ögonkontakt eller ej. Vårt mål var att undersöka hur god prestanda vi
kunde uppnå gällande precision, hastighet och avstånd. Efter att ha testat kombinationer
av fyra olika metoder för feature extraction kunde vi fastslå att den bästa övergripande
precisionen uppnåddes genom att använda LDA-komprimering på pixeldatan från varje
bild, medan PCA-komprimering var bäst när input-bilderna liknande de från träningen.
När vi undersökte systemets hastighet fann vi att nedskalning av bilder hade en stor effekt
på hastigheten, men detta sänkte också både precision och maximalt avstånd. Vi lyckades
minska den negativa effekten som en minskad skala hos en bild hade på precisionen, men
det maximala avståndet som sensorn fungerade på var fortfarande relativ till skalan och i
förlängningen hastigheten.
Abstract [en]
Eye contact detection sensors have the possibility of inferring user attention, which can be
utilized by a system in a multitude of different ways, including supporting human-computer
interaction and measuring human attention patterns. In this thesis we attempt to build
a versatile eye contact sensor using a Raspberry Pi that is suited for real world practical
usage. In order to ensure practicality, we constructed a set of criteria for the system based
on previous implementations. To meet these criteria, we opted to use an appearance-based
machine learning method where we train a classifier with training images in order to infer
if users look at the camera or not. Our aim was to investigate how well we could detect
eye contacts on the Raspberry Pi in terms of accuracy, speed and range. After extensive
testing on combinations of four different feature extraction methods, we found that Linear
Discriminant Analysis compression of pixel data provided the best overall accuracy, but
Principal Component Analysis compression performed the best when tested on images
from the same dataset as the training data. When investigating the speed of the system,
we found that down-scaling input images had a huge effect on the speed, but also lowered
the accuracy and range. While we managed to mitigate the effects the scale had on the
accuracy, the range of the system is still relative to the scale of input images and by
extension speed.
Place, publisher, year, edition, pages
Malmö högskola/Teknik och samhälle , 2017. , p. 70
Keywords [sv]
Machine learning, computer vision, principal component analysis, linear discriminant analysis, single board computer, Raspberry Pi, eye contact detection, appearance based
National Category
Social Sciences
Identifiers
URN: urn:nbn:se:mau:diva-20696Local ID: 23150OAI: oai:DiVA.org:mau-20696DiVA, id: diva2:1480575
Educational program
TS Datavetenskap och applikationsutveckling
2020-10-272020-10-272022-06-27Bibliographically approved