Publikationer från Malmö universitet
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Multimodal Deep Learning for Group Activity Recognition in Smart Office Environments
Malmö universitet, Fakulteten för teknik och samhälle (TS), Institutionen för datavetenskap och medieteknik (DVMT).
Malmö universitet, Internet of Things and People (IOTAP). Malmö universitet, Fakulteten för teknik och samhälle (TS), Institutionen för datavetenskap och medieteknik (DVMT).
2020 (Engelska)Ingår i: Future Internet, E-ISSN 1999-5903, Vol. 12, nr 8, artikel-id 133Artikel i tidskrift (Refereegranskat) Published
Abstract [en]

Deep learning (DL) models have emerged in recent years as the state-of-the-art technique across numerous machine learning application domains. In particular, image processing-related tasks have seen a significant improvement in terms of performance due to increased availability of large datasets and extensive growth of computing power. In this paper we investigate the problem of group activity recognition in office environments using a multimodal deep learning approach, by fusing audio and visual data from video. Group activity recognition is a complex classification task, given that it extends beyond identifying the activities of individuals, by focusing on the combinations of activities and the interactions between them. The proposed fusion network was trained based on the audio-visual stream from the AMI Corpus dataset. The procedure consists of two steps. First, we extract a joint audio-visual feature representation for activity recognition, and second, we account for the temporal dependencies in the video in order to complete the classification task. We provide a comprehensive set of experimental results showing that our proposed multimodal deep network architecture outperforms previous approaches, which have been designed for unimodal analysis, on the aforementioned AMI dataset.

Ort, förlag, år, upplaga, sidor
MDPI, 2020. Vol. 12, nr 8, artikel-id 133
Nyckelord [en]
multimodal learning, deep learning, activity recognition
Nationell ämneskategori
Datavetenskap (datalogi)
Identifikatorer
URN: urn:nbn:se:mau:diva-18645DOI: 10.3390/fi12080133ISI: 000564821200001Scopus ID: 2-s2.0-85090084766OAI: oai:DiVA.org:mau-18645DiVA, id: diva2:1476626
Tillgänglig från: 2020-10-15 Skapad: 2020-10-15 Senast uppdaterad: 2024-02-05Bibliografiskt granskad

Open Access i DiVA

fulltext(3134 kB)215 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 3134 kBChecksumma SHA-512
24580a17aabd6ce1e70d8fd14d9c6e00b379e0302ca4e5a977ce478860f03a2289704ac0be0b807cc45c2296716a5d823b8d924a0aff02d043cc2e3f4f6adb79
Typ fulltextMimetyp application/pdf

Övriga länkar

Förlagets fulltextScopus

Person

Florea, George AlbertMihailescu, Radu-Casian

Sök vidare i DiVA

Av författaren/redaktören
Florea, George AlbertMihailescu, Radu-Casian
Av organisationen
Institutionen för datavetenskap och medieteknik (DVMT)Internet of Things and People (IOTAP)
I samma tidskrift
Future Internet
Datavetenskap (datalogi)

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 217 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

doi
urn-nbn

Altmetricpoäng

doi
urn-nbn
Totalt: 135 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf