Facial and expression recognition for the blind using computer vision

Gemstone Team FACE

A Novel Multimodal Interface for Improving Visually Impaired People's Web Accessibility

This paper introduces a novel interface designed to help blind and visually impaired people to explore and navigate on the Web. In contrast to traditionally used assistive tools, such as screen readers and magnifiers, the new interface employs a combination of both audio and haptic features to provide spatial and navigational information to users. The haptic features are presented via a low-cost force feedback mouse allowing blind people to interact with the Web, in a similar fashion to their sighted counterparts. The audio provides navigational and textual information through the use of non-speech sounds and synthesised speech. Interacting with the multimodal interface offers a novel experience to target users, especially to those with total blindness. A series of experiments have been conducted to ascertain the usability of the interface and compare its performance to that of a traditional screen reader. Results have shown the advantages that the new multimodal interface offers blind and visually impaired people. This includes the enhanced perception of the spatial layout of Web pages, and navigation towards elements on a page. Certain issues regarding the design of the haptic and audio features raised in the evaluation are discussed and presented in terms of recommendations for future work.

Multi-scale cortical keypoints for realtime hand tracking and gesture recognition

Human-robot interaction is an interdisciplinary research area which aims at integrating human factors, cognitive psychology and robot technology. The ultimate goal is the development of social robots. These robots are expected to work in human environments, and to understand behavior of persons through gestures and body movements. In this paper we present a biological and realtime framework for detecting and tracking hands. This framework is based on keypoints extracted from cortical V1 end-stopped cells. Detected keypoints and the cells’ responses are used to classify the junction type. By combining annotated keypoints in a hierarchical, multi-scale tree structure, moving and deformable hands can be segregated, their movements can be obtained, and they can be tracked over time. By using hand templates with keypoints at only two scales, a hand’s gestures can be recognized.

Supervised training approach using spiking neural networks

One of the basic aspects of some neural networks is their attempt to approximate as much as possible their biological counterparts. The goal is to achieve a simple and robust network, easy to understand and able of simulating the human brain at a computational level. Recently a third generation of neural networks (NN) [1], called Spiking Neural Networks(SNN) was appeared. This new kind of networks use the time of a electrical pulse, or spike, to encode the information. In the first and second generation of NN analog values are used in the communication between neurons.

A soft-computing approach for non-invasive temperature estimation

The domain of thermal therapies applications can be improved with the development of accurate non-invasive timespatial temperature models. These models should represent the non-linear tissue thermal behaviour and be capable of tracking temperature at both time-instant and spatial position. If such estimators exist then efficient controllers for the therapeutic instrumentation could be developed, and the desired safety and effectiveness reached.

Prediction of the solar radiation using RBF neural networks and ground-to-sky images

In this study, Artificial Neural Networks are applied to multistep long term solar radiation prediction. The networks are trained as one-step-ahead predictors and iterated over time to obtain multi-step longer term predictions. Auto-regressive and Auto-regressive with exogenous inputs solar radiationmodels are compared, considering cloudiness indices as inputs in the latter case. These indices are obtained through pixel classification of ground-to-sky images. The input-output structure of the neural network models is selected using evolutionary computation methods.

Training neuro-fuzzy models using evolution based algorithms

The normal design process for neural networks or fuzzy systems involve two different phases: the determination of the best topology, which can be seen as a system identification problem, and the determination of its parameters, which can be envisaged as a parameter estimation problem. This latter issue, the determination of the model parameters (linear weights and interior knots) is the simplest task and is usually solved using gradient or hybrid schemes. The former issue, the topology determination, is an extremely complex task, especially if dealing with real-world problems.

A utilização de aplicações multimédia como veículo para melhorar a aprendizagem da leitura

Trabalho de projeto de mestrado, Educação (Área de especialização em Educação e Tecnologias Digitais), Universidade de Lisboa, Instituto de Educação, 2014

Contributo do iPad® para o desenvolvimento de crianças com necessidades educativas especiais

Dissertação apresentada à Escola Superior de Educação de Lisboa para obtenção do grau de Mestre em Ciências da Educação, Especialidade Intervenção Precoce

Tecnologias de apoio e multideficiência: recursos mediadores da aprendizagem e da inclusão

Dissertação apresentada à Escola Superior de Educação de Lisboa para obtenção do grau de Mestre em Ensino Especial – ramo de Problemas de Cognição e Multideficiência

Utilização de tecnologias de apoio à comunicação com crianças com multideficiência

Dissertação apresentada à Escola Superior de Educação de Lisboa para obtenção do grau de Mestre em Educação Especial – ramo de Problemas de Cognição e Multideficiência

ezGo: A voice operated wheelchair with biosignal monitoring for home environments

In this paper we present ezGo, an electric powered wheelchair with a speech based interface and biosignal monitoring instrumentation. The user can use the voice, a natural communication method, for controlling the chair movement and obtain information about his health. Additionally a set of semi-autonomous modes with macro recording enable the execution of navigation tasks with little effort and improved precision. The main purpose of the system is to provide severely disabled persons with an assistive device that can improve their confidence and daily independence. The obtained results on usability tests showed that users consider ezGo a valuable help on their daily tasks and a very desirable addition to standard wheelchairs.

eHealth e a adoção da inovação em assisted living technologies : o caso das demências

RESUMO - Assistimos hoje a um contexto marcado (i) pelo progressivo envelhecimento das sociedades ocidentais, (ii) pelo aumento da prevalência das doenças crónicas, de que as demências são um exemplo, (iii) pelo significativo aumento dos custos associados a estas patologias, (iv) por orçamentos públicos fortemente pressionadas pelo controlo da despesa, (v) por uma vida moderna que dificulta o apoio intergeracional, tornando o suporte proporcionado pelos filhos particularmente difícil, (vi) por fortes expectativas relativamente à prestação de cuidados de saúde com qualidade. Teremos assim de ser capazes de conseguir melhorar os serviços de saúde, ao mesmo tempo que recorremos a menos recursos financeiros e humanos, pelo que a inovação parece ser crítica para a sustentabilidade do sistema. Contudo a difusão das Assistive Living Technologies, apesar do seu potencial, tem sido bastante baixa, nomeadamente em Portugal. Porquê? Hamer, Plochg e Moreira (2012), no editorial do International Journal of Healthcare Management, enquadram a Inovação como “podendo ser imprevisível e mesmo dolorosa, pelo que talvez possamos não ficar surpreendidos se surgirem resistências e que, inovações bastante necessárias, capazes de melhorar os indicadores de saúde, tenham sido de adoção lenta ou que tenham mesmo sido insustentáveis”. Em Portugal não há bibliografia que procure caracterizar o modelo de difusão da inovação em eHealth ou das tecnologias de vivência assistida. A bibliografia internacional é igualmente escassa. O presente projeto de investigação, de natureza exploratória, tem como objetivo principal, identificar barreiras e oportunidades para a implementação de tecnologias eHealth, aplicadas ao campo das demências. Como objetivos secundários pretendemse identificar as oportunidades e limitações em Portugal: mapa de competências nacionais, e propor medidas que possa acelerar a inovação em ALT, no contexto nacional. O projeto seguirá o modelo de um estudo qualitativo. Para o efeito foram conduzidas entrevistas em profundidade junto de experts em ALT, procurando obter a visão daqueles que participam do lado da Oferta- a Indústria; do lado da Procura- doentes, cuidadores e profissionais de saúde; bem como dos Reguladores. O instrumento utilizado para a recolha da informação pretendida foi o questionário não estruturado. A análise e interpretação da informação recolhida foram feitas através da técnica de Análise de Conteúdo. Os resultados da Análise de Conteúdo efetuada permitiram expressar a dicotomia barreira/oportunidade, nas seguintes categorias aqui descritas como contextos (i) Contexto Tecnológico, nas subcategorias de Acesso às Infraestruturas; Custo da Tecnologia; Interoperabilidade, (ii) Contexto do Valor Percecionado, nas subcategorias de Utilidade; Eficiência; Divulgação, (iii) Contexto Político, compreendendo a Liderança; Organização; Regulação; Recursos, (iv) Contexto Sociocultural, incluindo nomeadamente Idade; Literacia; Capacidade Económica, (v) Contexto Individual, incluindo como subcategorias, Capacidade de Adaptação a Novas tecnologias; Motivação; Acesso a equipamentos (vi) Contexto Específico da Doença, nomeadamente o Impacto Cognitivo; Tipologia Heterogénea e a Importância do Cuidador. Foi proposto um modelo exploratório, designado de Modelo de Contextos e Forças, que estudos subsequentes poderão validar. Neste modelo o Contexto Tecnológico é um Força Básica ou Fundamental; o Contexto do Valor Percecionado, constitui-se numa Força Crítica para a adoção de inovação, que assenta na sua capacidade para oferecer valor aos diversos stakeholders da cadeia de cuidados. Temos também o Contexto Político, com capacidade de modelar a adoção da inovação e nomeadamente com capacidade para o acelerar, se dele emitir um sinal de urgência para a mudança. O Contexto Sociocultural e Individual expressam uma Força Intrínseca, dado que elas são características internas, próprias e imutáveis no curto-prazo, das sociedade e das pessoas. Por fim há que considerar o Contexto Específico da Doença, nesta caso o das demências. Das conclusões do estudo parece evidente que as condições tecnológicas estão medianamente satisfeitas em Portugal, com evidentes progressos nos últimos anos (exceção para a interoperabilidade aonde há necessidade de maiores progressos), não constituindo portanto barreira à introdução de ALT. Aonde há necessidade de investir é nas áreas do valor percebido. Da análise feita, esta é uma área que constitui uma barreira à introdução e adoção das ALT em Portugal. A falta de perceção do valor que estas tecnologias trazem, por parte dos profissionais de saúde, doentes, cuidadores e decisores políticos, parece ser o principal entrave à sua adoção. São recomendadas estratégias de modelos colaborativos de Investigação e Desenvolvimento e de abordagens de cocriação com a contribuição de todos os intervenientes na cadeia de cuidados. Há também um papel que cabe ao estado no âmbito das prioridades e da mobilização de recursos, sendo-lhe requerida a expressão do sentido de urgência para que esta mudança aconteça. Foram também identificadas oportunidades em diversas áreas, como na prevenção, no diagnóstico, na compliance medicamentosa, na terapêutica, na monitorização, no apoio à vida diária e na integração social. O que é necessário é que as soluções encontradas constituam respostas àquilo que são as verdadeiras necessidades dos intervenientes e não uma imposição tecnológica que só por si nada resolve. Do estudo resultou também a perceção de que há que (i) continuar a trabalhar no sentido de aproximar a comunidade científica, da clínica e do doente, (ii) fomentar a colaboração entre centros, com vista à criação de escala a nível global. Essa colaboração já parece acontecer a nível empresarial, tendo sido identificadas empresas Portuguesas com vocação global. A qualidade individual das instituições de ensino, dos centros de investigação, das empresas, permite criar as condições para que Portugal possa ser país um piloto e um case-study internacional em ALT, desde que para tal pudéssemos contar com um trabalho colaborativo entre instituições e com decisões políticas arrojadas.