Correlates of facial expressions in the primary visual cortex

Face detection and recognition should be complemented by recognition of facial expression, for example for social robots which must react to human emotions. Our framework is based on two multi-scale representations in cortical area V1: keypoints at eyes, nose and mouth are grouped for face detection [1]; lines and edges provide information for face recognition [2].

Recognition of facial expressions by cortical multi-scale line and edge coding

Empirical studies concerning face recognition suggest that faces may be stored in memory by a few canonical representations. Models of visual perception are based on image representations in cortical area V1 and beyond, which contain many cell layers for feature extraction. Simple, complex and end-stopped cells provide input for line, edge and keypoint detection. Detected events provide a rich, multi-scale object representation, and this representation can be stored in memory in order to identify objects. In this paper, the above context is applied to face recognition. The multi-scale line/edge representation is explored in conjunction with keypoint-based saliency maps for Focus-of-Attention. Recognition rates of up to 96% were achieved by combining frontal and 3/4 views, and recognition was quite robust against partial occlusions.

Cortical 3D Face Recognition Framework

Empirical studies concerning face recognition suggest that faces may be stored in memory by a few canonical representations. In cortical area V1 exist double-opponent colour blobs, also simple, complex and end-stopped cells which provide input for a multiscale line/edge representation, keypoints for dynamic routing and saliency maps for Focus-of-Attention. All these combined allow us to segregate faces. Events of different facial views are stored in memory and combined in order to identify the view and recognise the face including facial expression. In this paper we show that with five 2D views and their cortical representations it is possible to determine the left-right and frontal-lateral-profile views and to achieve view-invariant recognition of 3D faces.

Défices no reconhecimento de expressões faciais emocionais e prosódia emocional nos traumatismos crânio encefálicos

Sujeitos com traumatismo crânio-encefálico (TCE) apresentam frequentemente défices no reconhecimento de emoções, sendo estas dificuldades marcadas principalmente pela existência de uma incapacidade em interpretar pistas não-verbais da emoção. Apesar do reconhecimento de emoções em expressões faciais ser largamente estudado, o mesmo não acontece com o reconhecimento da prosódia emocional e em menor grau com o reconhecimento de emoções pela modalidade audiovisual. A presente investigação utilizou a Florida Affect Battery para examinar o reconhecimento emocional nas modalidades visual, auditiva e audiovisual de 17 sujeitos com TCE (quatro com lesão no hemisfério direito, sete no hemisfério esquerdo e seis com lesão bilateral) e 17 sujeitos sem historial de lesão neurológica. No geral, o grupo TCE apresenta desempenhos inferiores no reconhecimento emocional em comparação com o grupo sem lesão. Um efeito de lateralidade hemisférica no reconhecimento emocional emerge com o grupo esquerdo e bilateral a apresentarem mais dificuldades quando comparados com o grupo sem lesão cerebral. Quando analisado os desempenhos dos sujeitos com TCE, considerando a valência emocional (positiva e negativa), verifica-se que quando a modalidade de apresentação é visual as emoções positivas (i.e. a alegria) são mais facilmente reconhecidas e quando a modalidade de apresentação é auditiva as emoções negativas apresentam uma vantagem no reconhecimento emocional. Adicionalmente, o grupo com lesão á direita apresenta desempenhos inferiores no reconhecimento de emoções positivas, enquanto o grupo esquerdo e bilateral apresenta desempenhos inferiores no reconhecimento de emoções negativas. No global, os resultados não apoiam as teorias da superioridade do hemisfério direito no reconhecimento emocional e nas emoções negativas, sugerindo que o processamento emocional implica uma vasta rede de estruturas neuronais, com envolvimento de ambos os hemisférios.

O papel da ansiedade traço no reconhecimento de expressões faciais emocionais e prosódia emocional

Estudos anteriores sugerem que níveis elevados de ansiedade traço estão associados com uma maior capacidade de reconhecer a expressão facial de medo. No entanto a maioria dos estudos têm recorrido a paradigmas visuais de reconhecimento de emoções e permanece em aberto se esta associação entre ansiedade traço e reconhecimento da emoção medo se generaliza a outras modalidades sensoriais. Neste trabalho fomos analisar num grupo de participantes saudáveis a relação entre a ansiedade traço e o reconhecimento de emoções, incluindo o medo, em diferentes modalidades para além da visual. O grupo de participantes foi dividido em dois grupos consoante o nível de ansiedade traço (alta e baixa) e o seu desempenho analisado na realização da Florida Affect Batery (FAB). De acordo com as investigações anteriores, previu-se que os níveis de eficácia no reconhecimento das diferentes emoções difeririam entre os grupos de baixo nível de ansiedade e alto nível de ansiedade.

An embodied approach to language: the role of bodily feedback in discourse processing

Theories of embodied cognition argue that language processing arises not from amodal symbols that redescribe sensorimotor and affective experiences, but from partial simulations (reenactments) of modality-specific states. Recent findings on processing of words and sentences support such a stance emphasizing that the role of the body in the domain of language comprehension should not be overlooked or dismissed. The present research was conducted to extend prior work in two important ways. First, the role of simulation was tested with connected discourse rather than words or sentences presented in isolation. Second, both “online” and “offline” measures of discourse comprehension were taken. In Experiments 1 and 2 participants’ facial postures were manipulated to show that preparing the body for processing of emotion-congruent information improves discourse comprehension. In Experiment 3 the direction of body posture was manipulated to show that implicit properties of simulations, such as spatial dimension or location, are at least somewhat involved in processing of large language segments such as discourse. Finally, in Experiments 4 and 5 participants’ body movement and body posture were manipulated to show that even understanding of language describing metaphorical actions physically impossible to perform involves constructing a sensorimotor simulation of the described event. The major result was that compatibility between embodiment and language strongly modulated performance effectiveness in experiments on simulation of emotion and metaphorical action. The effect of simulation on comprehension of discourse implying spatial dimension was fragile. These findings support an embodied simulation account of cognition suggesting that sensorimotor and affective states are at least partially implicated in “online” and “offline” discourse comprehension.