Translating bus information into sign language for deaf people

This paper describes the application of language translation technologies for generating bus information in Spanish Sign Language (LSE: Lengua de Signos Española). In this work, two main systems have been developed: the first for translating text messages from information panels and the second for translating spoken Spanish into natural conversations at the information point of the bus company. Both systems are made up of a natural language translator (for converting a word sentence into a sequence of LSE signs), and a 3D avatar animation module (for playing back the signs). For the natural language translator, two technological approaches have been analyzed and integrated: an example-based strategy and a statistical translator. When translating spoken utterances, it is also necessary to incorporate a speech recognizer for decoding the spoken utterance into a word sequence, prior to the language translation module. This paper includes a detailed description of the field evaluation carried out in this domain. This evaluation has been carried out at the customer information office in Madrid involving both real bus company employees and deaf people. The evaluation includes objective measurements from the system and information from questionnaires. In the field evaluation, the whole translation presents an SER (Sign Error Rate) of less than 10% and a BLEU greater than 90%.

Real-time incidents detection in the highways of the future

Due to ever increasing transportation of people and goods, automatic traffic surveillance is becoming a key issue for both providing safety to road users and improving traffic control in an efficient way. In this paper, we propose a new system that, exploiting the capabilities that both computer vision and machine learning offer, is able to detect and track different types of real incidents on a highway. Specifically, it is able to accurately detect not only stopped vehicles, but also drivers and passengers leaving the stopped vehicle, and other pedestrians present in the roadway. Additionally, a theoretical approach for detecting vehicles which may leave the road in an unexpected way is also presented. The system works in real-time and it has been optimized for working outdoor, being thus appropriate for its deployment in a real-world environment like a highway. First experimental results on a dataset created with videos provided by two Spanish highway operators demonstrate the effectiveness of the proposed system and its robustness against noise and low-quality videos.

Sistemas de ayuda al diagnóstico y a la terapia funcional en enfermedades neurodegenerativas

El incremento de la esperanza de vida en los países desarrollados (más de 80 años en 2013), está suponiendo un crecimiento considerable en la incidencia y prevalencia de enfermedades discapacitantes, que si bien pueden aparecer a edades tempranas, son más frecuentes en la tercera edad, o en sus inmediaciones. Enfermedades neuro-degenerativas que suponen un gran hándicap funcional, pues algunas de ellas están asociadas a movimientos involuntarios de determinadas partes del cuerpo, sobre todo de las extremidades. Tareas cotidianas como la ingesta de alimento, vestirse, escribir, interactuar con el ordenador, etc… pueden llegar a ser grandes retos para las personas que las padecen. El diagnóstico precoz y certero resulta fundamental para la prescripción de la terapia o tratamiento óptimo. Teniendo en cuenta incluso que en muchos casos, por desgracia la mayoría, sólo se puede actuar para mitigar los síntomas, y no para sanarlos, al menos de momento. Aun así, acertar de manera temprana en el diagnóstico supone proporcionar al enfermo una mayor calidad de vida durante mucho más tiempo, por lo cual el esfuerzo merece, y mucho, la pena. Los enfermos de Párkinson y de temblor esencial suponen un porcentaje importante de la casuística clínica en los trastornos del movimiento que impiden llevar una vida normal, que producen una discapacidad física y una no menos importante exclusión social. Las vías de tratamiento son dispares de ahí que sea crítico acertar en el diagnóstico lo antes posible. Hasta la actualidad, los profesionales y expertos en medicina, utilizan unas escalas cualitativas para diferenciar la patología y su grado de afectación. Dichas escalas también se utilizan para efectuar un seguimiento clínico y registrar la historia del paciente. En esta tesis se propone una serie de métodos de análisis y de identificación/clasificación de los tipos de temblor asociados a la enfermedad de Párkinson y el temblor esencial. Empleando técnicas de inteligencia artificial basadas en clasificadores inteligentes: redes neuronales (MLP y LVQ) y máquinas de soporte vectorial (SVM), a partir del desarrollo e implantación de un sistema para la medida y análisis objetiva del temblor: DIMETER. Dicho sistema además de ser una herramienta eficaz para la ayuda al diagnóstico, presenta también las capacidades necesarias para proporcionar un seguimiento riguroso y fiable de la evolución de cada paciente. ABSTRACT The increase in life expectancy in developed countries in more than 80 years (data belongs to 2013), is assuming considerable growth in the incidence and prevalence of disabling diseases. Although they may appear at an early age, they are more common in the elderly ages or in its vicinity. Nuero-degenerative diseases that are a major functional handicap, as some of them are associated with involuntary movements of certain body parts, especially of the limbs. Everyday tasks such as food intake, dressing, writing, interact with the computer, etc ... can become large debris for people who suffer. Early and accurate diagnosis is crucial for prescribing optimal therapy or treatment. Even taking into account that in many cases, unfortunately the majority, can only act to mitigate the symptoms, not to cure them, at least for now. Nevertheless, early diagnosis may provide the patient a better quality of life for much longer time, so the effort is worth, and much, grief. Sufferers of Parkinson's and essential tremor represent a significant percentage of clinical casuistry in movement disorders that prevent a normal life, leading to physical disability and not least social exclusion. There are various treatment methods, which makes it necessary the immediate diagnosis. Up to date, professionals and medical experts, use a qualitative scale to differentiate the disease and degree of involvement. Therefore, those scales are used in clinical follow-up. In this thesis, several methods of analysis and identification / classification of types of tremor associated with Parkinson's disease and essential tremor are proposed. Using artificial intelligence techniques based on intelligent classification: neural networks (MLP and LVQ) and support vector machines (SVM), starting from the development and implementation of a system for measuring and objective analysis of the tremor: DIMETER. This system besides being an effective tool to aid diagnosis, it also has the necessary capabilities to provide a rigorous and reliable monitoring of the evolution of each patient.

Aplicações híbridas entre sistemas multiagentes e técnicas de inteligência artificial para redes inteligentes de distribuição de energia elétrica

Os smart grids representam a nova geração dos sistemas elétricos de potência, combinando avanços em computação, sistemas de comunicação, processos distribuídos e inteligência artificial para prover novas funcionalidades quanto ao acompanhamento em tempo real da demanda e do consumo de energia elétrica, gerenciamento em larga escala de geradores distribuídos, entre outras, a partir de um sistema de controle distribuído sobre a rede elétrica. Esta estrutura modifica profundamente a maneira como se realiza o planejamento e a operação de sistemas elétricos nos dias de hoje, em especial os de distribuição, e há interessantes possibilidades de pesquisa e desenvolvimento possibilitada pela busca da implementação destas funcionalidades. Com esse cenário em vista, o presente trabalho utiliza uma abordagem baseada no uso de sistemas multiagentes para simular esse tipo de sistema de distribuição de energia elétrica, considerando opções de controle distintas. A utilização da tecnologia de sistemas multiagentes para a simulação é baseada na conceituação de smart grids como um sistema distribuído, algo também realizado nesse trabalho. Para validar a proposta, foram simuladas três funcionalidades esperadas dessas redes elétricas: classificação de cargas não-lineares; gerenciamento de perfil de tensão; e reconfiguração topológica com a finalidade de reduzir as perdas elétricas. Todas as modelagens e desenvolvimentos destes estudos estão aqui relatados. Por fim, o trabalho se propõe a identificar os sistemas multiagentes como uma tecnologia a ser empregada tanto para a pesquisa, quanto para implementação dessas redes elétricas.

Aplicação de uma rede neural artificial para a avaliação da rugosidade e soprosidade vocal

A avaliação perceptivo-auditiva tem papel fundamental no estudo e na avaliação da voz, no entanto, por ser subjetiva está sujeita a imprecisões e variações. Por outro lado, a análise acústica permite a reprodutibilidade de resultados, porém precisa ser aprimorada, pois não analisa com precisão vozes com disfonias mais intensas e com ondas caóticas. Assim, elaborar medidas que proporcionem conhecimentos confiáveis em relação à função vocal resulta de uma necessidade antiga dentro desta linha de pesquisa e atuação clínica. Neste contexto, o uso da inteligência artificial, como as redes neurais artificiais, indica ser uma abordagem promissora. Objetivo: Validar um sistema automático utilizando redes neurais artificiais para a avaliação de vozes rugosas e soprosas. Materiais e métodos: Foram selecionadas 150 vozes, desde neutras até com presença em grau intenso de rugosidade e/ou soprosidade, do banco de dados da Clínica de Fonoaudiologia da Faculdade de Odontologia de Bauru (FOB/USP). Dessas vozes, 23 foram excluídas por não responderem aos critérios de inclusão na amostra, assim utilizaram-se 123 vozes. Procedimentos: avaliação perceptivo-auditiva pela escala visual analógica de 100 mm e pela escala numérica de quatro pontos; extração de características do sinal de voz por meio da Transformada Wavelet Packet e dos parâmetros acústicos: jitter, shimmer, amplitude da derivada e amplitude do pitch; e validação do classificador por meio da parametrização, treino, teste e avaliação das redes neurais artificiais. Resultados: Na avaliação perceptivo-auditiva encontrou-se, por meio do teste Coeficiente de Correlação Intraclasse (CCI), concordâncias inter e intrajuiz excelentes, com p = 0,85 na concordância interjuízes e p variando de 0,87 a 0,93 nas concordâncias intrajuiz. Em relação ao desempenho da rede neural artificial, na discriminação da soprosidade e da rugosidade e dos seus respectivos graus, encontrou-se o melhor desempenho para a soprosidade no subconjunto composto pelo jitter, amplitude do pitch e frequência fundamental, no qual obteve-se taxa de acerto de 74%, concordância excelente com a avaliação perceptivo-auditiva da escala visual analógica (0,80 no CCI) e erro médio de 9 mm. Para a rugosidade, o melhor subconjunto foi composto pela Transformada Wavelet Packet com 1 nível de decomposição, jitter, shimmer, amplitude do pitch e frequência fundamental, no qual obteve-se 73% de acerto, concordância excelente (0,84 no CCI), e erro médio de 10 mm. Conclusão: O uso da inteligência artificial baseado em redes neurais artificiais na identificação, e graduação da rugosidade e da soprosidade, apresentou confiabilidade excelente (CCI > 0,80), com resultados semelhantes a concordância interjuízes. Dessa forma, a rede neural artificial revela-se como uma metodologia promissora de avaliação vocal, tendo sua maior vantagem a objetividade na avaliação.

Desenvolvimento artificial autônomo de um grafo sensório-motor auto-organizável.

A teoria de Jean Piaget sobre o desenvolvimento da inteligência tem sido utilizada na área de inteligência computacional como inspiração para a proposição de modelos de agentes cognitivos. Embora os modelos propostos implementem aspectos básicos importantes da teoria de Piaget, como a estrutura do esquema cognitivo, não consideram o problema da fundamentação simbólica e, portanto, não se preocupam com os aspectos da teoria que levam à aquisição autônoma da semântica básica para a organização cognitiva do mundo externo, como é o caso da aquisição da noção de objeto. Neste trabalho apresentamos um modelo computacional de esquema cognitivo inspirado na teoria de Piaget sobre a inteligência sensório-motora que se desenvolve autonomamente construindo mecanismos por meio de princípios computacionais pautados pelo problema da fundamentação simbólica. O modelo de esquema proposto tem como base a classificação de situações sensório-motoras utilizadas para a percepção, captação e armazenamento das relações causais determiníscas de menor granularidade. Estas causalidades são então expandidas espaço-temporalmente por estruturas mais complexas que se utilizam das anteriores e que também são projetadas de forma a possibilitar que outras estruturas computacionais autônomas mais complexas se utilizem delas. O modelo proposto é implementado por uma rede neural artificial feed-forward cujos elementos da camada de saída se auto-organizam para gerar um grafo sensóriomotor objetivado. Alguns mecanismos computacionais já existentes na área de inteligência computacional foram modificados para se enquadrarem aos paradigmas de semântica nula e do desenvolvimento mental autônomo, tomados como base para lidar com o problema da fundamentação simbólica. O grafo sensório-motor auto-organizável que implementa um modelo de esquema inspirado na teoria de Piaget proposto neste trabalho, conjuntamente com os princípios computacionais utilizados para sua concepção caminha na direção da busca pelo desenvolvimento cognitivo artificial autônomo da noção de objeto.

Deformable templates for tracking and analysis of intravascular ultrasound sequences

Deformable Template models are first applied to track the inner wall of coronary arteries in intravascular ultrasound sequences, mainly in the assistance to angioplasty surgery. A circular template is used for initializing an elliptical deformable model to track wall deformation when inflating a balloon placed at the tip of the catheter. We define a new energy function for driving the behavior of the template and we test its robustness both in real and synthetic images. Finally we introduce a framework for learning and recognizing spatio-temporal geometric constraints based on Principal Component Analysis (eigenconstraints).

Constellations and the unsupervised learning of graphs

In this paper, we propose a novel method for the unsupervised clustering of graphs in the context of the constellation approach to object recognition. Such method is an EM central clustering algorithm which builds prototypical graphs on the basis of fast matching with graph transformations. Our experiments, both with random graphs and in realistic situations (visual localization), show that our prototypes improve the set median graphs and also the prototypes derived from our previous incremental method. We also discuss how the method scales with a growing number of images.

Bayesian models for finding and grouping junctions

In this paper, we propose two Bayesian methods for detecting and grouping junctions. Our junction detection method evolves from the Kona approach, and it is based on a competitive greedy procedure inspired in the region competition method. Then, junction grouping is accomplished by finding connecting paths between pairs of junctions. Path searching is performed by applying a Bayesian A* algorithm that has been recently proposed. Both methods are efficient and robust, and they are tested with synthetic and real images.

An experience on mechatronics teaching on undergraduate students by means of the Skybot platform: from classroom to robot competition

This paper analyzes the learning experiences and opinions from a group of undergraduate students in a course about Robotics. The contents of this course were taught as a set of seminars. In each seminar, the student learned interdisciplinary knowledge of computer science, control engineering, electronics and other fields related to Robotics. The aim of this course is that the students are able to design and implement their own and custom robotic solution for a series of tests planned by the teachers. These tests measure the behavior and mechatronic features of the students' robots. Finally, the students' robots are confronted with some competitions. In this paper, the low-cost robotic architecture used by the students, the contents of the course, the tests to compare the solutions of students and the opinion of them are amply discussed.

Incorporating global positioning data in real time P2P audio/video streams for mobile devices

We propose an original method to geoposition an audio/video stream with multiple emitters that are at the same time receivers of the mixed signal. The achieved method is suitable for those comes where a list of positions within a designated area is encoded with a degree of precision adjusted to the visualization capabilities; and is also easily extensible to support new requirements. This method extends a previously proposed protocol, without incurring in any performance penalty.

A parallel method for impulsive image noise removal on hybrid CPU/GPU systems

A parallel algorithm for image noise removal is proposed. The algorithm is based on peer group concept and uses a fuzzy metric. An optimization study on the use of the CUDA platform to remove impulsive noise using this algorithm is presented. Moreover, an implementation of the algorithm on multi-core platforms using OpenMP is presented. Performance is evaluated in terms of execution time and a comparison of the implementation parallelised in multi-core, GPUs and the combination of both is conducted. A performance analysis with large images is conducted in order to identify the amount of pixels to allocate in the CPU and GPU. The observed time shows that both devices must have work to do, leaving the most to the GPU. Results show that parallel implementations of denoising filters on GPUs and multi-cores are very advisable, and they open the door to use such algorithms for real-time processing.

Image Noise Removal on Heterogeneous CPU-GPU Configurations

A parallel algorithm to remove impulsive noise in digital images using heterogeneous CPU/GPU computing is proposed. The parallel denoising algorithm is based on the peer group concept and uses an Euclidean metric. In order to identify the amount of pixels to be allocated in multi-core and GPUs, a performance analysis using large images is presented. A comparison of the parallel implementation in multi-core, GPUs and a combination of both is performed. Performance has been evaluated in terms of execution time and Megapixels/second. We present several optimization strategies especially effective for the multi-core environment, and demonstrate significant performance improvements. The main advantage of the proposed noise removal methodology is its computational speed, which enables efficient filtering of color images in real-time applications.

Using a RGB-D camera for 6DoF SLAM

This paper presents a method for fast calculation of the egomotion done by a robot using visual features. The method is part of a complete system for automatic map building and Simultaneous Localization and Mapping (SLAM). The method uses optical flow in order to determine if the robot has done a movement. If so, some visual features which do not accomplish several criteria (like intersection, unicity, etc,) are deleted, and then the egomotion is calculated. We use a state-of-the-art algorithm (TORO) in order to rectify the map and solve the SLAM problem. The proposed method provides better efficiency that other current methods.

Aid decision algorithms to estimate the risk in congenital heart surgery

Background and objective: In this paper, we have tested the suitability of using different artificial intelligence-based algorithms for decision support when classifying the risk of congenital heart surgery. In this sense, classification of those surgical risks provides enormous benefits as the a priori estimation of surgical outcomes depending on either the type of disease or the type of repair, and other elements that influence the final result. This preventive estimation may help to avoid future complications, or even death. Methods: We have evaluated four machine learning algorithms to achieve our objective: multilayer perceptron, self-organizing map, radial basis function networks and decision trees. The architectures implemented have the aim of classifying among three types of surgical risk: low complexity, medium complexity and high complexity. Results: Accuracy outcomes achieved range between 80% and 99%, being the multilayer perceptron method the one that offered a higher hit ratio. Conclusions: According to the results, it is feasible to develop a clinical decision support system using the evaluated algorithms. Such system would help cardiology specialists, paediatricians and surgeons to forecast the level of risk related to a congenital heart disease surgery.