exit

Social Sciences and Humanities   > Home   > Modeling and Using Context   > CONTEXT-21 Special Issue   > Article

Role of Contextual Knowledge in Paralinguistic Affect Recognition by Humans

Rôle de la connaissance contextuelle dans la reconnaissance des effets paralinguistiques


Andreas H. Marpaung
University of Central Florida
USA

Avelino J. Gonzalez
University of Central Florida
USA



Published on 1 July 2021   DOI : 10.21494/ISTE.OP.2021.0691

Abstract

Résumé

Keywords

Mots-clés

It has long been thought by cognitive science researchers that context plays a large role in human cognition – from memory recall to linguistics and problem solving. However, the role of context in identifying the emotional state of a human interlocutor, while thought to be important, has never been evaluated experimentally. This paper describes a study involving human test subjects that sought to gauge how well they could identify the emotion being expressed by a speaker using only paralinguistic signals (i.e., speech without understanding the spoken words), with and without knowing the speaker’s context. The first part of the study entailed asking the test subjects to identify the emotion expressed by a speaker who utters unintelligible sounds in a context-free basis. The test subjects were provided with knowledge about the context in which the speaker(s) uttered the same sounds heard before on a context-free basis. This allowed for the measurement of the impact of knowing the context upon their ability to correctly identify the expressed emotion. The results of our study indicate that knowing the context under which the speakers uttered the expressions indeed improved the ability of the test subjects to infer the correct emotion being expressed by the speakers. This paper describes the study and its results.

Les chercheurs en sciences cognitives ont longtemps pensé que le contexte joue un rôle important dans la cognition humaine - du rappel de la mémoire à la linguistique et à la résolution de problèmes. Cependant, le rôle du contexte dans l’identification de l’état émotionnel d’un interlocuteur humain, bien que considéré comme important, n’a jamais été évalué expérimentalement. Cet article décrit une étude impliquant des sujets de test humains qui cherchaient à évaluer dans quelle mesure ils pouvaient identifier l’émotion exprimée par un locuteur en utilisant uniquement des signaux paralinguistiques (c’est-à-dire, la parole sans comprendre les mots prononcés), avec et sans connaître le contexte du locuteur. La première partie de l’étude a consisté à demander aux sujets du test d’identifier l’émotion exprimée par un locuteur qui émet des sons inintelligibles sans contexte. Les sujets de l’étude ont reçu des connaissances sur le contexte dans lequel le (s) locuteur (s) ont émis les mêmes sons entendus auparavant sur une base sans contexte. Cela a permis de mesurer l’impact de la connaissance du contexte sur leur capacité à identifier correctement l’émotion exprimée. Les résultats de notre étude indiquent que la connaissance du contexte dans lequel les locuteurs ont prononcé les expressions a en effet amélioré la capacité des sujets de test à déduire l’émotion correcte exprimée par les locuteurs. Cet article décrit l’étude et ses résultats.

affect recognition paralinguistic acoustic affective computing contextual modelling contextual knowledge

reconnaissance d’affect paralinguistique acoustique calcul affectif modélisation contextuelle connaissance contextuelle