Automatic classification of emotions using motion sensors and keystroke dynamics on smartphones

We present the results of a study on a binary classification of emotions, based on data collected through motion sensors and keystrokes of a smartphone and a connected bracelet. To this end, we developed a mobile application to induce emotions through videos and record user interactions. A specific digital self-assessment system was developed based on the Geneva Emotion Wheel to help participants express their emotions. The sensor recordings were labelled according to participants’ statements and video conditions. A method is thus proposed to process the collected temporal data and automatically classify the valence of the declared emotions using machine learning techniques. We tested a general valence classification using all emotions from all individuals and a personalized classification using a subset of emotions from a single individual. The most promising result was obtained with a personalized model, for which we were able to obtain, on average across all participants, two-thirds of correct valence classification, using fused data from different modalities.

Nous présentons les résultats d’une étude sur une classification binaire des émotions, à partir de données recueillies grâce aux capteurs de mouvement et aux frappes clavier d’un smartphone et d’un bracelet connecté. À cette fin, nous avons développé une application mobile permettant d’induire des émotions par le biais de vidéos et d’enregistrer les interactions des utilisateurs. Un système d’auto-évaluation numérique spécifique a été développé à partir de la Geneva Emotion Wheel pour aider les participants à exprimer leurs émotions. Les enregistrements des capteurs ont été étiquetés en fonction des déclarations des participants et des conditions vidéo. Une méthode est ainsi proposée pour traiter les données temporelles collectées et classer automatiquement la valence des émotions déclarées grâce à des techniques d’apprentissage automatique. Nous avons testé une classification générale de la valence utilisant toutes les émotions de tous les individus et une classification personnalisée utilisant un sous-ensemble d’émotions d’un seul individu. Le résultat le plus prometteur a été obtenu avec un modèle personnalisé, pour lequel nous avons pu obtenir, en moyenne pour tous les participants, deux tiers de classification correcte de la valence, en utilisant des données fusionnées de différentes modalités.

Emotions classification emotions detection Geneva emotion wheel smartphones usage cognitics cognitive engineering

Classification des émotions détection des émotions roue des émotions de Genève usage des smartphones cognitique ingénierie cognitive