Object categorisations using templates constructed from multi-scale line and edge representations

Object categorisation is linked to detection, segregation and recognition. In the visual system, these processes are achieved in the ventral \what"and dorsal \where"pathways [3], with bottom-up feature extractions in areas V1, V2, V4 and IT (what) in parallel with top-down attention from PP via MT to V2 and V1 (where). The latter is steered by object templates in memory, i.e. in prefrontal cortex with a what component in PF46v and a where component in PF46d.

Multi-scale cortical keypoint representation for attention and object detection

Keypoints (junctions) provide important information for focus-of-attention (FoA) and object categorization/recognition. In this paper we analyze the multi-scale keypoint representation, obtained by applying a linear and quasi-continuous scaling to an optimized model of cortical end-stopped cells, in order to study its importance and possibilities for developing a visual, cortical architecture.We show that keypoints, especially those which are stable over larger scale intervals, can provide a hierarchically structured saliency map for FoA and object recognition. In addition, the application of non-classical receptive field inhibition to keypoint detection allows to distinguish contour keypoints from texture (surface) keypoints.

An integrated framework for combining gist vision with object segregation categorisation and recognition

There are roughly two processing systems: (1) very fast gist vision of entire scenes, completely bottom-up and data driven, and (2) Focus-of-Attention (FoA) with sequential screening of specific image regions and objects. The latter system has to be sequential because unnormalised input objects must be matched against normalised templates of canonical object views stored in memory, which involves dynamic routing of features in the visual pathways.

Cortical object segregation and categorization by multi-scale line and edge coding

In this paper we present an improved scheme for line and edge detection in cortical area V1, based on responses of simple and complex cells, truly multi-scale with no free parameters. We illustrate the multi-scale representation for visual reconstruction, and show how object segregation can be achieved with coarse-to-finescale groupings. A two-level object categorization scenario is tested in which pre-categorization is based on coarse scales only, and final categorization on coarse plus fine scales. Processing schemes are discussed in the framework of a complete cortical architecture.

Multi-scale keypoint hierarchy for Focus-of-Attention and object detection

Hypercolumns in area V1 contain frequency- and orientation-selective simple and complex cells for line (bar) and edge coding, plus end-stopped cells for key- point (vertex) detection. A single-scale (single-frequency) mathematical model of single and double end-stopped cells on the basis of Gabor filter responses was developed by Heitger et al. (1992 Vision Research 32 963-981). We developed an improved model by stabilising keypoint detection over neighbouring micro- scales.

Invariant multi-scale object categorisation and recognition

Object recognition requires that templates with canonical views are stored in memory. Such templates must somehow be normalised. In this paper we present a novel method for obtaining 2D translation, rotation and size invariance. Cortical simple, complex and end-stopped cells provide multi-scale maps of lines, edges and keypoints. These maps are combined such that objects are characterised. Dynamic routing in neighbouring neural layers allows feature maps of input objects and stored templates to converge. We illustrate the construction of group templates and the invariance method for object categorisation and recognition in the context of a cortical architecture, which can be applied in computer vision.

Multi-scale lines and edges in V1 and beyond: brightness, object categorization and recognition, and consciousness

In this paper we present an improved model for line and edge detection in cortical area V1. This model is based on responses of simple and complex cells, and it is multi-scale with no free parameters. We illustrate the use of the multi-scale line/edge representation in different processes: visual reconstruction or brightness perception, automatic scale selection and object segregation. A two-level object categorization scenario is tested in which pre-categorization is based on coarse scales only and final categorization on coarse plus fine scales. We also present a multi-scale object and face recognition model. Processing schemes are discussed in the framework of a complete cortical architecture. The fact that brightness perception and object recognition may be based on the same symbolic image representation is an indication that the entire (visual) cortex is involved in consciousness.

Cortical 3D face and object recognition using 2D projections

Empirical studies concerning face recognition suggest that faces may be stored in memory by a few canonical representations. In cortical area V1 exist double-opponent colour blobs, also simple, complex and end-stopped cells which provide input for a multiscale line/edge representation, keypoints for dynamic feature routine, and saliency maps for Focus-of-Attention.

Local object gist: meaningful shapes and spatial layout at a very early stage of visual processing

In his introduction, Pinna (2010) quoted one of Wertheimer’s observations: “I stand at the window and see a house, trees, sky. Theoretically I might say there were 327 brightnesses and nuances of color. Do I have ‘327’? No. I have sky, house, and trees.” This seems quite remarkable, for Max Wertheimer, together with Kurt Koffka and Wolfgang Koehler, was a pioneer of Gestalt Theory: perceptual organisation was tackled considering grouping rules of line and edge elements in relation to figure-ground segregation, i.e., a meaningful object (the figure) as perceived against a complex background (the ground). At the lowest level – line and edge elements – Wertheimer (1923) himself formulated grouping principles on the basis of proximity, good continuation, convexity, symmetry and, often forgotten, past experience of the observer. Rubin (1921) formulated rules for figure-ground segregation using surroundedness, size and orientation, but also convexity and symmetry. Almost a century of research into Gestalt later, Pinna and Reeves (2006) introduced the notion of figurality, meant to represent the integrated set of properties of visual objects, from the principles of grouping and figure-ground to the colour and volume of objects with shading. Pinna, in 2010, went one important step further and studied perceptual meaning, i.e., the interpretation of complex figures on the basis of past experience of the observer. Re-establishing a link to Wertheimer’s rule about past experience, he formulated five propositions, three definitions and seven properties on the basis of observations made on graphically manipulated patterns. For example, he introduced the illusion of meaning by comics-like elements suggesting wind, therefore inducing a learned interpretation. His last figure shows a regular array of squares but with irregular positions on the right side. This pile of (ir)regular squares can be interpreted as the result of an earthquake which destroyed part of an apartment block. This is much more intuitive, direct and economic than describing the complexity of the array of squares.

Cognitive processes underlying reading and naming deficits in dyslexic readers

In addition to phonological deficits, difficulties at the level of the visual recognition system (i. e. , the mechanisms that could affect the induction of orthographic representations or the connection of visual to lexical codes) constitute potential sources of the poor reading and visual naming that characterize dyslexia.

The relationship between rapid automatized naming and reading performance: a meta-analysis

O estudo científico dos correlatos cognitivos da aquisição e desenvolvimento da competência de leitura é um assunto de grande relevância quer teórica quer prática, no sentido em que pode ajudar a compreender os processos cognitivos básicos envolvidos na leitura e, em última instância, a delinear os seus preditores e a predizer dificuldades na sua aquisição. A par da consciência fonológica – capacidade para perceber e manipular as unidades de som –, um dos construtos que frequentemente tem sido associado ao desenvolvimento da competência de leitura é a velocidade de nomeação de estímulos visuais (também conhecida como nomeação rápida automatizada ou velocidade de acesso ao léxico). Tradicionalmente, esta capacidade tem sido avaliada recorrendo ao paradigma clássico das provas de nomeação rápida automatizada (RAN) desenvolvidas por Denckla e Rudel (1976), nas quais é pedido ao sujeito que nomeie o mais rapidamente possível um conjunto de estímulos familiares apresentados serialmente. Nas últimas décadas, inúmeros estudos vieram demonstrar que a nomeação rápida é um importante preditor da competência de leitura, sobretudo da fluência da leitura, e um défice central em perturbações de leitura como a dislexia. O desempenho numa tarefa de nomeação rápida apela à sincronização e integração de vários processos, incluindo: (a) atenção ao estímulo, (b) integração da informação visual com representações visuais ou ortográficas arquivadas em memória, (c) recuperação de uma etiqueta verbal, e a (d) ativação da representação articulatória (Wolf & Bowers, 1999). Uma vez que a leitura e a nomeação rápida envolvem processos cognitivos semelhantes, não parece surpreendente que ambas as competências estejam associadas. No entanto, os estudos têm variado consideravelmente no que respeita à magnitude da associação entre a nomeação rápida e a leitura, encontrando-se resultados nulos ou negligenciáveis do valor preditivo da nomeação rápida na explicação da variância do desempenho de leitura. Vários fatores podem contribuir para as discrepâncias observadas na literatura, entre os quais as medidas utilizadas para avaliar o desempenho de nomeação rápida (por exemplo, medidas que utilizam estímulos ortográficos ou não-ortográficos) e de leitura (por exemplo, medidas de fluência ou de acuidade). A importância da natureza das medidas quer de nomeação rápida quer de leitura tem sido reconhecida por vários autores (para uma revisão, ver Norton & Wolf, 2011). Paralelamente, as amostras estudadas, que têm variado quanto à idade/escolaridade dos participantes e à sua competência de leitura (leitores normais ou fracos leitores ou leitores disléxicos), poderão estar a contribuir para a heterogeneidade dos resultados publicados. A literatura recente tem salientado a relevância destes fatores na aquisição e desenvolvimento da leitura, embora a direccionalidade do seu efeito seja ainda pouco clara. Por exemplo, a transição de um procedimento de leitura baseado em estratégias de descodificação fonológica para uma leitura automática, à medida que o sujeito se torna um leitor fluente, parece ser acompanhada por uma mudança no peso relativo das capacidades cognitivas subjacentes à leitura (ex., Reis, Faísca, Castro, & Petersson, in press). Outro fator importante que tem dificultado a interpretação dos dados publicados sobre os construtos envolvidos na leitura, e em particular sobre a nomeação rápida, relaciona-se com a consistência ortográfica do sistema de escrita nos quais os estudos são conduzidos. Estudos trans-linguísticos sugerem que a consistência ortográfica influencia a facilidade com que se aprende a ler nas escritas alfabéticas, bem como o tipo de processamento de leitura predominantemente adotado pelos leitores (Seymour, Aro, & Erskine, 2003). No seio deste enquadramento, nesta tese procurámos clarificar as divergências encontradas na literatura relativamente à relação entre a nomeação rápida e o desempenho de leitura. Através de um estudo de meta-análise 1 é nosso objetivo realizar uma síntese objetiva do estado da arte sobre a relação entre a nomeação rápida e a leitura, e avaliar a influência de potenciais fatores moderadores da magnitude desta relação, nomeadamente: (a) a natureza da tarefa de nomeação (tipo de estímulo nomeado, número total de itens, e número de itens diferentes); (b) a natureza da tarefa de leitura (subcomponente de leitura, e medida de resposta usada para avaliar o desempenho); (c) características da amostra (escolaridade e nível de leitura); e (d) ortografia (sistema de escrita, e consistência ortográfica). Para tal, foi realizada uma procura de artigos científicos nas bases de dados PubMed, PsycINFO, e Web of Knowledge, tendo sido incluídas na meta-análise um total de 154 experiências independentes, compreendendo 21,706 participantes. Os resultados indicam uma relação moderada-a-forte entre a nomeação rápida e o desempenho de leitura (r =.44, I2 = 71.19). Nas análises seguintes procurou-se avaliar o contributo de potenciais variáveis moderadoras que possam explicar a heterogeneidade observada entre os tamanhos dos efeitos. Verificou-se que a nomeação rápida se associa significativamente e em magnitude semelhante com todas as medidas de leitura, i.e., quer estas apelem preferencialmente a um processamento de descodificação fonológica ou de reconhecimento de padrões ortográficos da palavra. Os resultados sugerem ainda que a magnitude das correlações é inflacionada nos estudos em que o desempenho de leitura é baseado na velocidade/fluência de leitura, em particular nos níveis de escolaridade mais avançados, e que utilizam tarefas de nomeação com estímulos alfanuméricos ao invés de estímulos não-alfanuméricos. Adicionalmente, verificou-se que a força da associação entre a nomeação rápida e a acuidade de leitura varia de forma não linear durante a evolução da leitura, sendo que a correlação é maior nos leitores escolarizados mais novos e decresce à medida que a escolaridade aumenta. O papel atribuível à proficiência dos leitores, i.e., fracos leitores/leitores disléxicos ou leitores normais, foi menos claro; no entanto, houve uma tendência para a relação ser mais forte nas amostras de fracos leitores/leitores disléxicos. Os resultados das comparações trans-linguísticas, por sua vez, sugerem que a nomeação rápida tem um papel importante para o desempenho da leitura independentemente das características da ortografia, ainda que as correlações tenham sido maiores nas ortografias opacas, e em particular nas línguas não-alfabéticas. Em suma, a presente meta-análise fornece resultados convincentes de que o desempenho em tarefas de nomeação rápida refletirá processos cognitivos subjacentes que são também relevantes para a aquisição/desenvolvimento da leitura. Consequentemente, pode dizer-se que estas medidas serão um preditor útil da competência de leitura. Os resultados são também discutidos no contexto das teorias atuais que procuram explicar através de que processos cognitivos se associam a nomeação rápida e a leitura, com ênfase nas hipóteses fonológica versus ortográfica. 1 Uma meta-análise permite a integração quantitativa de resultados de diversos estudos, recorrendo para isso à noção de magnitude do efeito.

Object segregation and local gist vision using low-level geometry

Multi-scale representations of lines, edges and keypoints on the basis of simple, complex and end-stopped cells can be used for object categorisation and recognition (Rodrigues and du Buf, 2009 BioSystems 95 206-226). These representations are complemented by saliency maps of colour, texture, disparity and motion information, which also serve to model extremely fast gist vision in parallel with object segregation. We present a low-level geometry model based on a single type of self-adjusting grouping cell, with a circular array of dendrites connected to edge cells located at several angles.