Face normalization using multi-scale cortical keypoints

Empirical studies concerning face recognition suggest that faces may be stored in memory by a few canonical representations. Models of visual perception are based on image representations in cortical area V1 and beyond, which contain many cell layers for feature extractions. Simple, complex and end-stopped cells tuned to different spatial frequencies (scales) and/or orientations provide input for line, edge and keypoint detection. This yields a rich, multi-scale object representation that can be stored in memory in order to identify objects. The multi-scale, keypoint-based saliency maps for Focus-of-Attention can be explored to obtain face detection and normalization, after which face recognition can be achieved using the line/edge representation. In this paper, we focus only on face normalization, showing that multi-scale keypoints can be used to construct canonical representations of faces in memory.

Artistic rendering of the visual cortex

In this paper we explain the processing in the first layers of the visual cortex by simple, complex and endstopped cells, plus grouping cells for line, edge, keypoint and saliency detection. Three visualisations are presented: (a) an integrated scheme that shows activities of simple, complex and end-stopped cells, (b) artistic combinations of selected activity maps that give an impression of global image structure and/or local detail, and (c) NPR on the basis of a 2D brightness model. The cortical image representations offer many possibilities for non-photorealistic rendering.

Integrated multi-scale architecture of the cortex with application to computer vision

Tese de dout., Engenharia Electrónica e de Computadores, Faculdade de Ciência e Tecnologia, Universidade do Algarve, 2007

Recognition of facial expressions by cortical multi-scale line and edge coding

Empirical studies concerning face recognition suggest that faces may be stored in memory by a few canonical representations. Models of visual perception are based on image representations in cortical area V1 and beyond, which contain many cell layers for feature extraction. Simple, complex and end-stopped cells provide input for line, edge and keypoint detection. Detected events provide a rich, multi-scale object representation, and this representation can be stored in memory in order to identify objects. In this paper, the above context is applied to face recognition. The multi-scale line/edge representation is explored in conjunction with keypoint-based saliency maps for Focus-of-Attention. Recognition rates of up to 96% were achieved by combining frontal and 3/4 views, and recognition was quite robust against partial occlusions.

Cortical 3D Face Recognition Framework

Empirical studies concerning face recognition suggest that faces may be stored in memory by a few canonical representations. In cortical area V1 exist double-opponent colour blobs, also simple, complex and end-stopped cells which provide input for a multiscale line/edge representation, keypoints for dynamic routing and saliency maps for Focus-of-Attention. All these combined allow us to segregate faces. Events of different facial views are stored in memory and combined in order to identify the view and recognise the face including facial expression. In this paper we show that with five 2D views and their cortical representations it is possible to determine the left-right and frontal-lateral-profile views and to achieve view-invariant recognition of 3D faces.

Cortical 3D face and object recognition using 2D projections

Empirical studies concerning face recognition suggest that faces may be stored in memory by a few canonical representations. In cortical area V1 exist double-opponent colour blobs, also simple, complex and end-stopped cells which provide input for a multiscale line/edge representation, keypoints for dynamic feature routine, and saliency maps for Focus-of-Attention.

Local gist vision of man-made objects

Attention is usually modelled by sequential fixation of peaks in saliency maps. Those maps code local conspicuity: complexity, colour and texture. Such features have no relation to entire objects, unless also disparity and optical flow are considered, which often segregate entire objects from their background. Recently we developed a model of local gist vision: which types of objects are about where in a scene. This model addresses man-made objects which are dominated by a small shape repertoire: squares, rectangles, trapeziums, triangles, circles and ellipses. Only exploiting local colour contrast, the model can detect these shapes by a small hierarchy of cell layers devoted to low- and mid-level geometry. The model has been tested successfully on video sequences containing traffic signs and other scenes, and partial occlusions were not problematic.

Disparity energy model with keypoint disparity validation

A biological disparity energy model can estimate local depth information by using a population of V1 complex cells. Instead of applying an analytical model which explicitly involves cell parameters like spatial frequency, orientation, binocular phase and position difference, we developed a model which only involves the cells’ responses, such that disparity can be extracted from a population code, using only a set of previously trained cells with random-dot stereograms of uniform disparity. Despite good results in smooth regions, the model needs complementary processing, notably at depth transitions. We therefore introduce a new model to extract disparity at keypoints such as edge junctions, line endings and points with large curvature. Responses of end-stopped cells serve to detect keypoints, and those of simple cells are used to detect orientations of their underlying line and edge structures. Annotated keypoints are then used in the leftright matching process, with a hierarchical, multi-scale tree structure and a saliency map to segregate disparity. By combining both models we can (re)define depth transitions and regions where the disparity energy model is less accurate.

How do analysts deal with bad news? Going-concern opinions and analyst behaviour

Tese dout., University of Edinburg, 2008

Biologically Inspired Vision for Indoor Robot Navigation

Ultrasonic, infrared, laser and other sensors are being applied in robotics. Although combinations of these have allowed robots to navigate, they are only suited for specific scenarios, depending on their limitations. Recent advances in computer vision are turning cameras into useful low-cost sensors that can operate in most types of environments. Cameras enable robots to detect obstacles, recognize objects, obtain visual odometry, detect and recognize people and gestures, among other possibilities. In this paper we present a completely biologically inspired vision system for robot navigation. It comprises stereo vision for obstacle detection, and object recognition for landmark-based navigation. We employ a novel keypoint descriptor which codes responses of cortical complex cells. We also present a biologically inspired saliency component, based on disparity and colour.

Object segregation and local gist vision using low-level geometry

Multi-scale representations of lines, edges and keypoints on the basis of simple, complex and end-stopped cells can be used for object categorisation and recognition (Rodrigues and du Buf, 2009 BioSystems 95 206-226). These representations are complemented by saliency maps of colour, texture, disparity and motion information, which also serve to model extremely fast gist vision in parallel with object segregation. We present a low-level geometry model based on a single type of self-adjusting grouping cell, with a circular array of dendrites connected to edge cells located at several angles.

L’acquisition du subjonctif chez les apprenants adultes de français langue seconde

Le présent projet vise à mieux comprendre les difficultés reliées à l’acquisition du subjonctif en français langue seconde chez les apprenants adultes. Nous tenterons plus particulièrement de déterminer les différents facteurs influant sur son acquisition. Nous présenterons dans un premier temps les théories de l’acquisition des langues, depuis ses débuts dans les années 50 jusqu’à aujourd’hui, afin de faire la lumière sur les différents facteurs impliqués dans l’acquisition d’une deuxième langue à l’âge adulte. Nous nous pencherons ensuite sur le cas spécifique du subjonctif en français. Dans la littérature, il est généralement accepté que ce mode est difficile à acquérir en raison de ses règles d’usage complexes et propres au français. Nous verrons par contre que certaines études contredisent le fait que le subjonctif se retrouve sous des formes complexes dans la langue parlée courante. Nous terminerons donc par une description du subjonctif et de ses règles d’usage. Cette description nous permettra de saisir le vaste éventail des emplois possibles et de le mettre, par la suite, en parallèle avec celui trouvé dans la langue parlée. Dans les deux dernières parties de ce travail, nous analyserons et discuterons des différents facteurs impliqués dans l’acquisition de ce mode. L’analyse de cinq études traitant du subjonctif en français langue première et seconde nous permettra d’abord de démontrer que, contrairement aux idées reçues dans la littérature, la complexité des règles d’usage du subjonctif n’affecte pas son acquisition. Nous verrons en fait que les occurrences du subjonctif en français parlé sont rares et leurs formes, relativement simples. Nous montrerons ensuite que la cause principale des difficultés d’acquisition est l’incapacité à remarquer facilement ce mode dans la langue cible en raison de sa faible fréquence et saillance, c'est-à-dire sa capacité à ressortir par rapport aux autres éléments de la phrase. Nous verrons également que le subjonctif s’acquiert tardivement parce que son développement dépend de celui des phrases complexes dans lesquelles il se trouve obligatoirement.

Establishing a recovery orientation in first line mental health teams in Québec : perspectives from social workers and managers

Le Plan d’action en santé mentale institué en 2005 marque le début d’une période de changements profonds qui auront un impact significatif sur les équipes de première ligne qui assurent la plupart des services au Québec. Le changement se manifestera sur deux fronts distincts. En premier lieu, le passage de services historiquement ancrés dans un modèle biomédical vers des services centrés sur le rétablissement. En second lieu, l’adoption de processus administratifs s’inscrivant dans une philosophie de gestion axée sur les résultats qui ont pour objectif de mesurer et d’assurer l’efficacité des services. L'objectif de cette étude est d’explorer le statu du développement des pratiques axées sur le rétablissement au niveau des travailleurs sociaux de première ligne dans le contexte administratif mentionné ci-haut. Le travail de recherche qualitatif et exploratoire est construit sur l’analyse de 11 interviews semi structurés avec des travailleurs sociaux et des gestionnaires dans des équipes de première ligne en santé mentale. Les entretiens m’ont non seulement permis d’identifier et d’examiner des actions concrètes s’inscrivant dans l’effort d’implantation du Plan d’action mais aussi de sonder et d’explorer la signification qui est donnée au rétablissement par les travailleurs sociaux de première ligne. Les résultats indiquent que certains facteurs relatifs à l'organisation du travail tels que la flexibilité, l'autonomie, la réflexivité et l’interdisciplinarité peuvent favoriser une pratique orientée vers le rétablissement. Aussi, les résultats démontrent que le modèle du rétablissement et la profession du travail social partagent des valeurs fondamentales mais que la signification et l'expression du rétablissement ont été profondément influencés par les modèles organisationnels et obligations administratives en vigueur. Il appert que les travailleurs sociaux sont confrontés, dans leur pratique, à des contraintes qui dépassent leur mandat professionnel et, à certains égards, leur savoir-faire. En somme, les résultats obtenus indiquent que le passage avec succès vers la pratique de services basés sur le rétablissement est compromis par les exigences d’un modèle de gestion axé sur les résultats.

Étude de la négativité de discordance dans l'amusie congénitale

L’amusie congénitale est un trouble neuro-développemental qui s’exprime par un déficit de discrimination tonale fine. Le cerveau des amusiques ne répond pas aux petites différences de hauteur, tel que révélé par l’absence de la composante de potentiel évoqué P3b, qui est associée aux processus de discrimination tonale tardifs et conscients. Peu d’études se sont penchées sur les mécanismes précoces et préconscients de discrimination tonale chez les amusiques, qui peuvent être étudiés par l’entremise d’une composante de potentiel évoqué appelée la négativité de discordance (MMN). Certaines études ont démontré qu’il est possible d’enregistrer la MMN pendant la présentation d’un film avec la trame sonore en simultané aux sons visant à évoquer la composante. Toutefois, une étude a démontré que la présentation de la trame sonore réduisait l’amplitude de la MMN, sans néanmoins clarifier la nature de l’effet d’interférence en cause. Les objectifs du présent projet sont d’abord, d’investiguer les effets à l’origine de la réduction d’amplitude de la MMN observée lors de la présentation d’un film avec la trame sonore, puis d’évaluer cette même composante chez les amusiques. La première étude visait à déterminer si un effet d’interférence attentionnelle ou acoustique était en cause dans la réduction d’amplitude observée sur la MMN lors de la présentation de la trame sonore d’un film. Les résultats ont montré qu’un effet de masquage acoustique, attribuable à la trame sonore, était responsable de la réduction d’amplitude de la MMN, cette dernière augmentant au fur et à mesure que l’intensité sonore de la trame du film était réduite. La seconde étude a été conduite dans le but d’investiguer la MMN chez les amusiques et de vérifier si le complexe d’ondes anormales N2b-P3b, observé en réponse aux grandes différences tonales chez les amusiques, pouvait être attribuable à un effet de saillance des stimuli. Dans un premier temps, nous avons comparé la MMN des amusiques à celle des contrôles, puis nous avons modifié le paradigme expérimental visant à évoquer la N2b-P3b en ajustant les probabilités d’occurrence des sons présentés aux contrôles en fonction des sons perçus par les amusiques. Les résultats ont montré que le cerveau des amusiques parvient à discriminer les différences de hauteur à un niveau précoce et préconscient, tel que révélé par une MMN normale, mais que les réponses cérébrales plus tardives, associées au processus de discrimination des hauteurs conscient, sont anormales chez les amusiques, et ce, uniquement pour les petites différences de hauteur, tel que révélé par l’absence de la P3b. En conclusion, ces résultats démontrent que l’amplitude de la MMN est affectée de manière significative par la présentation de la trame sonore d’un film et que cela est attribuable à un effet d’interférence acoustique. Dans un deuxième temps, nous avons démontré que les mécanismes précoces et préconscients de discrimination tonale sont préservés chez les amusiques, et que le déficit sous-jacent à l’amusie congénitale est attribuable à une atteinte du processus de discrimination tonale fine associé à un niveau de traitement cérébral tardif et conscient, le complexe d’ondes anormales N2b-P3b étant pour sa part attribuable à un effet de saillance des stimuli.

On the nature and cause of Specific Language Impairment: a view from sentence processing and infant research

This paper addresses the nature and cause of Specific Language Impairment (SLI) by reviewing recent research in sentence processing of children with SLI compared to typically developing (TD) children and research in infant speech perception. These studies have revealed that children with SLI are sensitive to syntactic, semantic, and real-world information, but do not show sensitivity to grammatical morphemes with low phonetic saliency, and they show longer reaction times than age-matched controls. TD children from the age of 4 show trace reactivation, but some children with SLI fail to show this effect, which resembles the pattern of adults and TD children with low working memory. Finally, findings from the German Language Development (GLAD) Project have revealed that a group of children at risk for SLI had a history of an auditory delay and impaired processing of prosodic information in the first months of their life, which is not detectable later in life. Although this is a single project that needs to be replicated with a larger group of children, it provides preliminary support for accounts of SLI which make an explicit link between an early deficit in the processing of phonology and later language deficits, and the Computational Complexity Hypothesis that argues that the language deficit in children with SLI lies in difficulties integrating different types of information at the interfaces.