Methods for automatic and assisted image annotation

Personal memories composed of digital pictures are very popular at the moment. To retrieve these media items annotation is required. During the last years, several approaches have been proposed in order to overcome the image annotation problem. This paper presents our proposals to address this problem. Automatic and semi-automatic learning methods for semantic concepts are presented. The automatic method is based on semantic concepts estimated using visual content, context metadata and audio information. The semi-automatic method is based on results provided by a computer game. The paper describes our proposals and presents their evaluations.

A utilização da plataforma Educast@fccn, como ferramenta de gravação de aulas no ambiente de e-learning português

Dissertação apresentada à Escola Superior de Comunicação Social como parte dos requisitos para obtenção de grau de mestre em Audiovisual e Multimédia.

Função visual e envelhecimento: reflexões a propósito de um estudo exploratório em idosos do Concelho de Loures

Os indivíduos com idade ≥ 50 anos representam entre 65% a 82% dos casos de baixa visão e cegueira. Cerca de metade dos casos de baixa de acuidade visual são corrigíveis e cerca de 1/4 são preveníveis. As causas mais frequentes são os erros de refração (43%) e as cataratas (33%). Os idosos podem não reportar informação relacionada com queixas do foro visual, uma vez que, podem estar mais focados noutros sintomas. Objectivos: identificar a prevalência de alterações da função visual; identificar a prevalência de alterações da acuidade visual para longe e perto; identificar as alterações da acuidade visual para longe causadas por erros refrativos através do buraco estenopeico; identificar alterações da sensibilidade ao contraste, estereopsia e visão cromática; identificar a periodicidade da avaliação oftalmológica.

Insuficiência de convergência e atenção visual: estudo exploratório em estudantes do ensino superior

RESUMO: Introdução – A insuficiência de convergência (IC) pode desencadear alterações da atenção visual. Pretende-se investigar se existem alterações na atenção visual em estudantes do ensino superior com IC. Metodologia – Estudo quantitativo, comparativo e correlacional. Participaram 44 estudantes com idades compreendidas entre os 18 e os 24 anos. Formaram-se dois grupos, um com Visão Binocular Normal (VBN) e outro com IC. O grupo com IC incluiu os indivíduos que apresentaram alterações no ponto próximo de convergência (PPC) e/ou na convergência para perto (C’). Para avaliar a atenção visual utilizou-se o teste de cancelamento de sinos. Resultados – O grupo com VBN foi composto por 32 indivíduos (23 do género feminino) e o grupo com IC por 12 indivíduos (11 do género feminino). No teste de atenção visual verificou-se que o número médio de sinos identificados foi de 34,6 para o grupo com VBN e de 34,3 no grupo com IC. O tempo médio de realização do teste foi de 167,9s e de 198,3s para os grupos de VBN e IC, respetivamente. Observou-se uma correlação moderada positiva entre o PPC e o tempo médio de realização do teste (r≈0,63) e uma correlação fraca positiva entre o número médio de sinos identificados e a C’ (r≈0,16). Por outro lado, a correlação entre o PPC e o número médio de sinos identificados (r≈-0,48) foi fraca negativa e entre a C’ e o tempo médio (r≈-0,05) foi ínfima negativa. Discussão/Conclusões – O grupo com VBN apresenta um número médio de sinos identificados superior ao grupo com IC. Verifica-se ainda que o grupo com IC demorou mais tempo na realização do teste, comparativamente com o grupo com VBN. Estes resultados apontam para uma possível relação entre a IC e a diminuição da atenção visual.

Relação entre o envelhecimento e o campo visual binocular em tarefas do quotidiano

RESUMO: Introdução – O envelhecimento pode estar relacionado com a perda de autonomia e declínio da capacidade funcional dos indivíduos, o que tende a comprometer a execução de tarefas do quotidiano e consequentemente leva a repercussões na qualidade de vida, afetando-a de forma negativa. Objetivos – Rever a bibliografia atualmente disponível no que respeita às repercussões do envelhecimento no campo visual binocular e atencional e à influência do campo visual binocular na leitura, escrita e marcha/locomoção em idosos. Metodologia – Este estudo é uma revisão de literatura. Procedeu-se à análise de 37 artigos científicos, que posteriormente foram organizados numa grelha de observação e numa tabela comparativa. Resultados – Dos artigos analisados, 32,43% (n=12) apontam para uma diminuição da extensão do campo visual binocular e atencional relacionada com o envelhecimento. Repercussões da diminuição da extensão do campo visual binocular sem fator atencional nas atividades quotidianas são referidas em 54,05% (n=20) dos artigos. Neste grupo de artigos 40,53% (n=15) apontam para a existência de uma relação entre o campo visual binocular com o desempenho na leitura, escrita ou marcha/locomoção. Do total de artigos analisados, dos 45,95% (n=17) que descrevem o campo visual binocular com fator atencional, 10,81% (n=4) apontam para a mesma relação. Discussão/Conclusões – O envelhecimento provoca um decréscimo no campo visual binocular, sendo este mais acentuado na periferia. Este decréscimo, na presença de uma atenção visual diminuída, influencia o desempenho na leitura, escrita e marcha/locomoção.

An Interface to Retrieve Personal Memories Using an Iconic Visual Language

Relevant past events can be remembered when visualizing related pictures. The main difficulty is how to find these photos in a large personal collection. Query definition and image annotation are key issues to overcome this problem. The former is relevant due to the diversity of the clues provided by our memory when recovering a past moment and the later because images need to be annotated with information regarding those clues to be retrieved. Consequently, tools to recover past memories should deal carefully with these two tasks. This paper describes a user interface designed to explore pictures from personal memories. Users can query the media collection in several ways and for this reason an iconic visual language to define queries is proposed. Automatic and semi-automatic annotation is also performed using the image content and the audio information obtained when users show their images to others. The paper also presents the user interface evaluation based on tests with 58 participants.

Expert opinion on best practice guidelines and competency framework for visual screening in children

PURPOSE: Screening programs to detect visual abnormalities in children vary among countries. The aim of this study is to describe experts' perception of best practice guidelines and competency framework for visual screening in children. METHODS: A qualitative focus group technique was applied during the Portuguese national orthoptic congress to obtain the perception of an expert panel of 5 orthoptists and 2 ophthalmologists with experience in visual screening for children (mean age 53.43 years, SD ± 9.40). The panel received in advance a script with the description of three tuning competencies dimensions (instrumental, systemic, and interpersonal) for visual screening. The session was recorded in video and audio. Qualitative data were analyzed using a categorical technique. RESULTS: According to experts' views, six tests (35.29%) have to be included in a visual screening: distance visual acuity test, cover test, bi-prism or 4/6(Δ) prism, fusion, ocular movements, and refraction. Screening should be performed according to the child age before and after 3 years of age (17.65%). The expert panel highlighted the influence of the professional experience in the application of a screening protocol (23.53%). They also showed concern about the false negatives control (23.53%). Instrumental competencies were the most cited (54.09%), followed by interpersonal (29.51%) and systemic (16.4%). CONCLUSIONS: Orthoptists should have professional experience before starting to apply a screening protocol. False negative results are a concern that has to be more thoroughly investigated. The proposed framework focuses on core competencies highlighted by the expert panel. Competencies programs could be important do develop better screening programs.

An ultrasound based computer-aided diagnosis tool for steatosis detection

Liver steatosis is a common disease usually associated with social and genetic factors. Early detection and quantification is important since it can evolve to cirrhosis. In this paper, a new computer-aided diagnosis (CAD) system for steatosis classification, in a local and global basis, is presented. Bayes factor is computed from objective ultrasound textural features extracted from the liver parenchyma. The goal is to develop a CAD screening tool, to help in the steatosis detection. Results showed an accuracy of 93.33%, with a sensitivity of 94.59% and specificity of 92.11%, using the Bayes classifier. The proposed CAD system is a suitable graphical display for steatosis classification.

Global and local detection of liver steatosis from ultrasound

Liver steatosis is a common disease usually associated with social and genetic factors. Early detection and quantification is important since it can evolve to cirrhosis. Steatosis is usually a diffuse liver disease, since it is globally affected. However, steatosis can also be focal affecting only some foci difficult to discriminate. In both cases, steatosis is detected by laboratorial analysis and visual inspection of ultrasound images of the hepatic parenchyma. Liver biopsy is the most accurate diagnostic method but its invasive nature suggest the use of other non-invasive methods, while visual inspection of the ultrasound images is subjective and prone to error. In this paper a new Computer Aided Diagnosis (CAD) system for steatosis classification and analysis is presented, where the Bayes Factor, obatined from objective intensity and textural features extracted from US images of the liver, is computed in a local or global basis. The main goal is to provide the physician with an application to make it faster and accurate the diagnosis and quantification of steatosis, namely in a screening approach. The results showed an overall accuracy of 93.54% with a sensibility of 95.83% and 85.71% for normal and steatosis class, respectively. The proposed CAD system seemed suitable as a graphical display for steatosis classification and comparison with some of the most recent works in the literature is also presented.

Fatty liver characterization and classification by ultrasound

Steatosis, also known as fatty liver, corresponds to an abnormal retention of lipids within the hepatic cells and reflects an impairment of the normal processes of synthesis and elimination of fat. Several causes may lead to this condition, namely obesity, diabetes, or alcoholism. In this paper an automatic classification algorithm is proposed for the diagnosis of the liver steatosis from ultrasound images. The features are selected in order to catch the same characteristics used by the physicians in the diagnosis of the disease based on visual inspection of the ultrasound images. The algorithm, designed in a Bayesian framework, computes two images: i) a despeckled one, containing the anatomic and echogenic information of the liver, and ii) an image containing only the speckle used to compute the textural features. These images are computed from the estimated RF signal generated by the ultrasound probe where the dynamic range compression performed by the equipment is taken into account. A Bayes classifier, trained with data manually classified by expert clinicians and used as ground truth, reaches an overall accuracy of 95% and a 100% of sensitivity. The main novelties of the method are the estimations of the RF and speckle images which make it possible to accurately compute textural features of the liver parenchyma relevant for the diagnosis.

Avaliação da caracterização de lesões em mamografia com recurso a sistemas CAD (Computer-Aided Diagnosis)

Os sistemas Computer-Aided Diagnosis (CAD) auxiliam a deteção e diferenciação de lesões benignas e malignas, aumentando a performance no diagnóstico do cancro da mama. As lesões da mama estão fortemente correlacionadas com a forma do contorno: lesões benignas apresentam contornos regulares, enquanto as lesões malignas tendem a apresentar contornos irregulares. Desta forma, a utilização de medidas quantitativas, como a dimensão fractal (DF), pode ajudar na caracterização dos contornos regulares ou irregulares de uma lesão. O principal objetivo deste estudo é verificar se a utilização concomitante de 2 (ou mais) medidas de DF – uma tradicionalmente utilizada, a qual foi designada por “DF de contorno”; outra proposta por nós, designada por “DF de área” – e ainda 3 medidas obtidas a partir destas, por operações de dilatação/erosão e por normalização de uma das medidas anteriores, melhoram a capacidade de caracterização de acordo com a escala BIRADS (Breast Imaging Reporting and Data System) e o tipo de lesão. As medidas de DF (DF contorno e DF área) foram calculadas através da aplicação do método box-counting, diretamente em imagens de lesões segmentadas e após a aplicação de um algoritmo de dilatação/erosão. A última medida baseia-se na diferença normalizada entre as duas medidas DF de área antes e após a aplicação do algoritmo de dilatação/erosão. Os resultados demonstram que a medida DF de contorno é uma ferramenta útil na diferenciação de lesões, de acordo com a escala BIRADS e o tipo de lesão; no entanto, em algumas situações, ocorrem alguns erros. O uso combinado desta medida com as quatro medidas propostas pode melhorar a classificação das lesões.

Strabismus, visual acuity, and uncorrected refractive error in Portuguese children aged 6 to 11 years

Introduction: Visual anomalies that affect school-age children represent an important public health problem. Data on the prevalence are lacking in Portugal but is needed for planning vision services. This study was conducted to determine the prevalence of strabismus, decreased visual acuity, and uncorrected refractive error in Portuguese children aged 6 to 11 years. Methods and materials: A cross-sectional study was carried out on a sample of 672 school-age children (7.69 ± 1.19 years). Children received an orthoptic assessment (visual acuity, ocular alignment, and ocular movements) and non-cycloplegic autorefraction. Results: After orthoptic assessment, 13.8% of children were considered abnormal (n = 93). Manifest strabismus was found in 4% of the children. Rates of esotropia (2.1%) were slightly higher than exotropia (1.8%). Strabismus rates were not statistically significant different per sex (p = 0.681) and grade (p = 0.228). Decreased visual acuity at distance was present in 11.3% of children. Visual acuity ≤20/66 (0.5 logMAR) was found in 1.3% of the children. We also found that 10.3% of children had an uncorrected refractive error. Conclusions: Strabismus affects a small proportion of the Portuguese school-age children. Decreased visual acuity and uncorrected refractive error affected a significant proportion of school-age children. New policies need to be developed to address this public health problem.

Boas práticas no rastreio visual infantil

A perda de visão, causada por ambliopia (0.3%‐4%) e seus fatores de risco como estrabismo (2.1%‐4.6%) e erros refrativos não corrigidos (5%‐7.7%), representa um importante problema de saúde pública. O rastreio visual pré‐escolar é, assim, essencial para a deteção de ambliopia e fatores ambliogénicos (refrativos e estrábicos). Os programas de rastreio visual variam na sua aplicação em muitos países em toda a Europa e não se avalia sistematicamente a eficácia dos mesmos. Por esse motivo, é necessária discussão e reflexão sobre a temática: 1. Quais os programas de rastreio mais apropriados para fornecer um correto e atempado tratamento? 2. Será que os programas de rastreio são adequados para reduzir as desigualdades em saúde e o custo para os sistemas de saúde? Objetivo do estudo - Identificar práticas de referência no âmbito do rastreio visual infantil.

An Evaluation of Local Feature Combiners for Robot Visual Localization

In the last decade, local image features have been widely used in robot visual localization. To assess image similarity, a strategy exploiting these features compares raw descriptors extracted from the current image to those in the models of places. This paper addresses the ensuing step in this process, where a combining function must be used to aggregate results and assign each place a score. Casting the problem in the multiple classifier systems framework, we compare several candidate combiners with respect to their performance in the visual localization task. A deeper insight into the potential of the sum and product combiners is provided by testing two extensions of these algebraic rules: threshold and weighted modifications. In addition, a voting method, previously used in robot visual localization, is assessed. All combiners are tested on a visual localization task, carried out on a public dataset. It is experimentally demonstrated that the sum rule extensions globally achieve the best performance. The voting method, whilst competitive to the algebraic rules in their standard form, is shown to be outperformed by both their modified versions.

Reply to letter to the Editor: Expert opinion on best practice guidelines and competency framework for visual screening in children

The aim of this study was to describe experts’ perception of best-practice guidelines and competency framework for visual screening in children. This study uses qualitative data and shows individual/ group conceptualization. The use of evidence from qualitative studies has traditionally been a fundamental source of knowledge in the clinical and social sciences.