The human eye as human-machine interface

Eye tracking as an interface to operate a computer is under research for a while and new systems are still being developed nowadays that provide some encouragement to those bound to illnesses that incapacitates them to use any other form of interaction with a computer. Although using computer vision processing and a camera, these systems are usually based on head mount technology being considered a contact type system. This paper describes the implementation of a human-computer interface based on a fully non-contact eye tracking vision system in order to allow people with tetraplegia to interface with a computer. As an assistive technology, a graphical user interface with special features was developed including a virtual keyboard to allow user communication, fast access to pre-stored phrases and multimedia and even internet browsing. This system was developed with the focus on low cost, user friendly functionality and user independency and autonomy.

Bi-directional human machine interface via direct neural connection

This paper presents an application study into the use of a bi-directional link with the human nervous system by means of an implant, positioned through neurosurgery. Various applications are described including the interaction of neural signals with an articulated hand, a group of cooperative autonomous robots and to control the movement of a mobile platform. The microelectrode array implant itself is described in detail. Consideration is given to a wider range of possible robot mechanisms, which could interact with the human nervous system through the same technique.

A novel human-machine interface using subdermal magnetic implants

This paper explores a novel tactile human-machine interface based on the controlled stimulation of mechanoreceptors by a subdermal magnetic implant manipulated through an external electromagnet. The selection of a suitable implant magnet and implant site is discussed and an external interface for manipulating the implant is described. The paper also reports on the basic properties of such an interface, including magnetic field strength sensitivity and frequency sensitivity obtained through experimentation on two participants. Finally, the paper presents two practical application scenarios for the interface.

New generation of human machine interfaces for controlling UAV through depth based gesture recognition

New forms of natural interactions between human operators and UAVs (Unmanned Aerial Vehicle) are demanded by the military industry to achieve a better balance of the UAV control and the burden of the human operator. In this work, a human machine interface (HMI) based on a novel gesture recognition system using depth imagery is proposed for the control of UAVs. Hand gesture recognition based on depth imagery is a promising approach for HMIs because it is more intuitive, natural, and non-intrusive than other alternatives using complex controllers. The proposed system is based on a Support Vector Machine (SVM) classifier that uses spatio-temporal depth descriptors as input features. The designed descriptor is based on a variation of the Local Binary Pattern (LBP) technique to efficiently work with depth video sequences. Other major consideration is the especial hand sign language used for the UAV control. A tradeoff between the use of natural hand signs and the minimization of the inter-sign interference has been established. Promising results have been achieved in a depth based database of hand gestures especially developed for the validation of the proposed system.

VHDL-based system design of a cognitive sensorimotor loop (CSL) for haptic Human-Machine Interaction (HMI)

This document is a summary of the Bachelor thesis titled “VHDL-Based System Design of a Cognitive Sensorimotor Loop (CSL) for Haptic Human-Machine Interaction (HMI)” written by Pablo de Miguel Morales, Electronics Engineering student at the Universidad Politécnica de Madrid (UPM Madrid, Spain) during an Erasmus+ Exchange Program at the Beuth Hochschule für Technik (BHT Berlin, Germany). The tutor of this project is Dr. Prof. Hild. This project has been developed inside the Neurobotics Research Laboratory (NRL) in close collaboration with Benjamin Panreck, a member of the NRL, and another exchange student from the UPM Pablo Gabriel Lezcano. For a deeper comprehension of the content of the thesis, a deeper look in the document is needed as well as the viewing of the videos and the VHDL design. In the growing field of automation, a large amount of workforce is dedicated to improve, adapt and design motor controllers for a wide variety of applications. In the specific field of robotics or other machinery designed to interact with humans or their environment, new needs and technological solutions are often being discovered due to the existing, relatively unexplored new scenario it is. The project consisted of three main parts: Two VHDL-based systems and one short experiment on the haptic perception. Both VHDL systems are based on a Cognitive Sensorimotor Loop (CSL) which is a control loop designed by the NRL and mainly developed by Dr. Prof. Hild. The CSL is a control loop whose main characteristic is the fact that it does not use any external sensor to measure the speed or position of the motor but the motor itself. The motor always generates a voltage that is proportional to its angular speed so it does not need calibration. This method is energy efficient and simplifies control loops in complex systems. The first system, named CSL Stay In Touch (SIT), consists in a one DC motor system controller by a FPGA Board (Zynq ZYBO 7000) whose aim is to keep contact with any external object that touches its Sensing Platform in both directions. Apart from the main behavior, three features (Search Mode, Inertia Mode and Return Mode) have been designed to enhance the haptic interaction experience. Additionally, a VGA-Screen is also controlled by the FPGA Board for the monitoring of the whole system. This system has been completely developed, tested and improved; analyzing its timing and consumption properties. The second system, named CSL Fingerlike Mechanism (FM), consists in a fingerlike mechanical system controlled by two DC motors (Each controlling one part of the finger). The behavior is similar to the first system but in a more complex structure. This system was optional and not part of the original objectives of the thesis and it could not be properly finished and tested due to the lack of time. The haptic perception experiment was an experiment conducted to have an insight into the complexity of human haptic perception in order to implement this knowledge into technological applications. The experiment consisted in testing the capability of the subjects to recognize different objects and shapes while being blindfolded and with their ears covered. Two groups were done, one had full haptic perception while the other had to explore the environment with a plastic piece attached to their finger to create a haptic handicap. The conclusion of the thesis was that a haptic system based only on a CSL-based system is not enough to retrieve valuable information from the environment and that other sensors are needed (temperature, pressure, etc.) but that a CSL-based system is very useful to control the force applied by the system to interact with haptic sensible surfaces such as skin or tactile screens. RESUMEN. Este documento es un resumen del proyecto fin de grado titulado “VHDL-Based System Design of a Cognitive Sensorimotor Loop (CSL) for Haptic Human-Machine Interaction (HMI)” escrito por Pablo de Miguel, estudiante de Ingeniería Electrónica de Comunicaciones en la Universidad Politécnica de Madrid (UPM Madrid, España) durante un programa de intercambio Erasmus+ en la Beuth Hochschule für Technik (BHT Berlin, Alemania). El tutor de este proyecto ha sido Dr. Prof. Hild. Este proyecto se ha desarrollado dentro del Neurorobotics Research Laboratory (NRL) en estrecha colaboración con Benjamin Panreck (un miembro del NRL) y con Pablo Lezcano (Otro estudiante de intercambio de la UPM). Para una comprensión completa del trabajo es necesaria una lectura detenida de todo el documento y el visionado de los videos y análisis del diseño VHDL incluidos en el CD adjunto. En el creciente sector de la automatización, una gran cantidad de esfuerzo está dedicada a mejorar, adaptar y diseñar controladores de motor para un gran rango de aplicaciones. En el campo específico de la robótica u otra maquinaria diseñada para interactuar con los humanos o con su entorno, nuevas necesidades y soluciones tecnológicas se siguen desarrollado debido al relativamente inexplorado y nuevo escenario que supone. El proyecto consta de tres partes principales: Dos sistemas basados en VHDL y un pequeño experimento sobre la percepción háptica. Ambos sistemas VHDL están basados en el Cognitive Sesnorimotor Loop (CSL) que es un lazo de control creado por el NRL y cuyo desarrollador principal ha sido Dr. Prof. Hild. El CSL es un lazo de control cuya principal característica es la ausencia de sensores externos para medir la velocidad o la posición del motor, usando el propio motor como sensor. El motor siempre genera un voltaje proporcional a su velocidad angular de modo que no es necesaria calibración. Este método es eficiente en términos energéticos y simplifica los lazos de control en sistemas complejos. El primer sistema, llamado CSL Stay In Touch (SIT), consiste en un sistema formado por un motor DC controlado por una FPGA Board (Zynq ZYBO 7000) cuyo objetivo es mantener contacto con cualquier objeto externo que toque su plataforma sensible en ambas direcciones. Aparte del funcionamiento básico, tres modos (Search Mode, Inertia Mode y Return Mode) han sido diseñados para mejorar la interacción. Adicionalmente, se ha diseñado el control a través de la FPGA Board de una pantalla VGA para la monitorización de todo el sistema. El sistema ha sido totalmente desarrollado, testeado y mejorado; analizando su propiedades de timing y consumo energético. El segundo sistema, llamado CSL Fingerlike Mechanism (FM), consiste en un mecanismo similar a un dedo controlado por dos motores DC (Cada uno controlando una falange). Su comportamiento es similar al del primer sistema pero con una estructura más compleja. Este sistema no formaba parte de los objetivos iniciales del proyecto y por lo tanto era opcional. No pudo ser plenamente desarrollado debido a la falta de tiempo. El experimento de percepción háptica fue diseñado para profundizar en la percepción háptica humana con el objetivo de aplicar este conocimiento en aplicaciones tecnológicas. El experimento consistía en testear la capacidad de los sujetos para reconocer diferentes objetos, formas y texturas en condiciones de privación del sentido del oído y la vista. Se crearon dos grupos, en uno los sujetos tenían plena percepción háptica mientras que en el otro debían interactuar con los objetos a través de una pieza de plástico para generar un hándicap háptico. La conclusión del proyecto fue que un sistema háptico basado solo en sistemas CSL no es suficiente para recopilar información valiosa del entorno y que debe hacer uso de otros sensores (temperatura, presión, etc.). En cambio, un sistema basado en CSL es idóneo para el control de la fuerza aplicada por el sistema durante la interacción con superficies hápticas sensibles tales como la piel o pantallas táctiles.

Virtual technology and haptic interface solutions for design and control of mobile working machines

Commercially available haptic interfaces are usable for many purposes. However, as generic devices they are not the most suitable for the control of heavy duty mobile working machines like mining machines, container handling equipment and excavators. Alternative mechanical constructions for a haptic controller are presented and analysed. A virtual reality environment (VRE) was built to test the proposed haptic controller mechanisms. Verification of an electric motor emulating a hydraulic pump in the electro-hydraulic system of a mobile working machine is carried out. A real-time simulator using multi-body-dynamics based software with hardware-in-loop (HIL) setup was used for the tests. Recommendations for further development of a haptic controller and emulator electric motor are given.

Desenvolvimento de Ferramentas para Pesquisas em Tecnologias Assistivas Baseadas em Sinais Biológicos

Novas ferramentas de Tecnologias Assistivas (TAs) têm aparecido ultimamente. Um exemplo são os Ambientes Virtuais (AVs), os quais são importantes para o desenvolvimento de novas TAs, que podem ser direcionadas para promoverem uma melhor qualidade de vida de pessoas com mobilidade reduzida permanente ou promover a reabilitação de pessoas com deficiência motora temporária. Outras ferramentas, que surgiram há algumas décadas com o desenvolvimento dos computadores, também ajudam no tratamento de pessoas com deficiência motora, que são as Interfaces Humano-Máquina (IHM). Utilizando em conjunto com equipamentos que capturam sinais biológicos, como equipamentos de Eletromiografia (EMG) e Eletroencefalografia (EEG), essas ferramentas se configuram como canais de comunicações entre o ser humano e os computadores, diferentemente das comumente utilizadas. Isso abre uma gama de possibilidades para sua utilização no tratamento e na assistência de pessoas com deficiência motora, onde sinais EMG podem ser utilizados para controlar próteses robóticas; e sinais EEG, quando capturados da região do córtex motor, podem ser utilizados em neuroreabilitação. Por outro lado, quando capturados na região occipital, os sinais de EEG podem ser utilizados para gerar comandos e outras finalidades. Este trabalho apresenta o desenvolvimento de novas ferramentas para auxiliar em pesquisas de TAs envolvendo sinais biológicos. Três diferentes AVs foram desenvolvidos para auxiliar nesse tipo de pesquisa. Além deles, um equipamento EEG comercial foi adaptado para ser utilizado com uma IHM, o qual utiliza dois desses três AVs desenvolvidos. Como resultados, temos a utilização bem sucedida do equipamento EEG obtido com sua utilização com SSVEP e Imaginação motora, além da implementação com sucesso dos três AVs desenvolvidos, que estão disponíveis para download gratuito, e que podem ser utilizados em demais pesquisas envolvendo TAs.

Estudo e implementação piloto de um sistema SCADA na Swedwood Portugal

A realização desta Tese/Dissertação tem como objectivo o estudo e implementação piloto de um Sistema de Supervisão e Aquisição de dados (SCADA) na Swedwood Portugal, na qual exerço as funções de Engenheiro de Processo nas linhas de montagem de mobiliário. Foi efectuado um estudo das necessidades da empresa relativamente às melhorias dos processos das linhas de montagem, com o intuito de melhorar a montagem do semi-produto, a nível de qualidade das matérias-primas, operação e desempenho de equipamentos. Chegou-se à conclusão que existe uma grande necessidade de controlar a qualidade das matérias-primas utilizadas na construção do semi-produto em tempo real, de modo a que seja possível diminuir a complexidade na recolha atempada de amostras por parte dos elementos de operação e diminuir o atraso da entrega de resultados das amostras por parte do laboratório. A colagem é um elemento crítico na montagem do semi-produto, devido às variações de viscosidade da cola, consequência das variações climatéricas a que foi sujeita, desde a saída do fornecedor até à sua utilização nas linhas de montagem. Para tal concebeu-se uma solução para dar uma resposta mais rápida no controlo de qualidade da cola à base de acetato de polivinil (PVAC), ou seja, a implementação piloto de um sistema SCADA na sala de colas, de modo a que haja um controlo a nível de temperatura e humidade, controlo de viscosidade em tempo real e controlo do nível da cola na cuba, fazendo com que haja só uma supervisão por parte dos elementos de operação. Optou-se por um conjunto de hardware e software da SIMATIC desenvolvido pela Siemens, para elaboração da programação e desenvolvimento da Interface Homem Máquina (HMI).

A distributed environment for virtual and/or real experiments for underwater robots

This paper presents the distributed environment for virtual and/or real experiments for underwater robots (DEVRE). This environment is composed of a set of processes running on a local area network composed of three sites: 1) the onboard AUV computer; 2) a surface computer used as human-machine interface (HMI); and 3) a computer used for simulating the vehicle dynamics and representing the virtual world. The HMI can be transparently linked to the real sensors and actuators dealing with a real mission. It can also be linked with virtual sensors and virtual actuators, dealing with a virtual mission. The aim of DEVRE is to assist engineers during the software development and testing in the lab prior to real experiments

A distributed environment for virtual and/or real experiments for underwater robots

This paper presents the distributed environment for virtual and/or real experiments for underwater robots (DEVRE). This environment is composed of a set of processes running on a local area network composed of three sites: 1) the onboard AUV computer; 2) a surface computer used as human-machine interface (HMI); and 3) a computer used for simulating the vehicle dynamics and representing the virtual world. The HMI can be transparently linked to the real sensors and actuators dealing with a real mission. It can also be linked with virtual sensors and virtual actuators, dealing with a virtual mission. The aim of DEVRE is to assist engineers during the software development and testing in the lab prior to real experiments

Influências de famílias wavelets e suas ordens no desempenho de um localizador de faltas em linhas aéreas de transmissão de energia elétrica

Essa dissertação tem por objetivo analisar a influência de famílias wavelets e suas ordens no desempenho de um algoritmo de localização de faltas a partir das ondas viajantes de dois terminais de uma linha de transmissão aérea. Tornou-se objetivo secundário a modelagem de um sistema elétrico de potência (SEP) para obtenção de um universo de faltas que validassem o localizador. Para isso, parte de um SEP da Eletrobrás-Eletronorte em 500/230 kV foi modelado no Alternative Transient Program (ATP) utilizando-se parâmetros reais. A Transformada Wavelet, via análise multiresolução (AMR), é empregada valendo-se de sua característica de localização temporal, permitindo caracterizações precisas de instantes de transitórios eletromagnéticos ocasionados por faltas, as quais geram ondas que ao se propagarem em direção aos terminais da linha contêm os tempos de propagação destas do local do defeito a tais terminais e podem ser convenientemente extraídos por tal transformada. Pela metodologia adotada no algoritmo, a diferença entre esses tempos determina com boa exatidão o local de ocorrência da falta sobre a linha. Entretanto, um dos agentes variantes do erro nessa estimação é a escolha da Wavelet usada na AMR dos sinais, sendo, portanto, a avaliação dessa escolha sobre o erro, objetivo principal do trabalho, justificada pela ainda inexistente fundamentação científica que garanta a escolha de uma wavelet ótima a uma certa aplicação. Dentre um leque de Wavelets discretas, obtiveram-se resultados adequados para 16 delas, havendo erros máximos inferiores aos 250 metros estipulados para a precisão. Duas Wavelets, a Db15 e a Sym17, sobressaíram-se ao errarem, respectivamente, 3,5 e 1,1 vezes menos que as demais. A metodologia empregada consta da: exportação dos dados das faltas do ATP para o MATLAB®; aplicação da transformação modal de Clarke; decomposição dos modos alfa e síntese dos níveis 1 de detalhes via AMR; cálculo de suas máximas magnitudes e determinação dos índices temporais; e por fim, a teoria das ondas viajantes equaciona e estima o local do defeito sobre a LT, sendo tudo isso programado no MATLAB e os erros de localização analisados estatisticamente no Microsoft Excell®. Ao final elaborou-se ainda uma GUI (Guide User Interface) para a Interface Homem-Máquina (IHM) do localizador, servindo também para análises gráficas de qualquer das contingências aplicadas ao SEP. Os resultados alcançados demonstram uma otimização de performance em razão da escolha da wavelet mais adequada ao algoritmo e norteiam para uma aplicação prática do localizador.

Interfaccia grafica per l'elaborazione di immagini microscopiche di colture batteriche geneticamente modificate

Le moderne tecniche di imaging e i recenti sviluppi nel campo della visione computazionale consentono sempre più diffusamente l'utilizzo di metodi di image analysis, specialmente in ambito medico e biologico, permettendo un maggiore supporto sia alla diagnosi, sia alla ricerca. Il lavoro svolto in questa tesi si pone in un contesto di ricerca di carattere interdisciplinare, e riguarda il progetto e la realizzazione di un‘interfaccia grafica per l'analisi di colture batteriche geneticamente modificate, marcate con proteine fluorescenti (GFP), acquisite tramite un microscopio ad epifluorescenza. Nota la funzione di risposta del sistema di acquisizione delle immagini, l'analisi quantitativa delle colture batteriche è effettuata mediante la misurazione di proprietà legate all'intensità della risposta al marcatore fluorescente. L'interfaccia consente un'analisi sia globale dei batteri individuati nell'immagine, sia di singoli gruppi di batteri selezionati dall'utente, fornendo utili informazioni statistiche, sia in forma grafica che numerica. Per la realizzazione dell'interfaccia sono state adottate tecniche di ingegneria del software, con particolare enfasi alla interazione uomo-macchina e seguendo criteri di usability, al fine di consentire un corretto utilizzo dello strumento anche da parte di personale senza conoscenza in campo informatico.

Herramienta de interacción persona-ordenador para la operación de vehículos aéreos no tripulados

En la presente memoria se describe el trabajo de diseño de una herramienta de interacción persona-ordenador (HMI) para la operación y supervisión de vehículos aéreos no tripulados (UAV). En primer lugar se hace una introducción a los tipos de UAVs y aplicaciones más comunes, describiendo sus características técnicas y los componentes que integra en el sistema. Mediante la revisión y análisis de los diferentes niveles de autonomía y las diferentes soluciones de presentación existentes en el mercado, se identifican los modos de operación y componentes principales de la interfaz. A continuación se describe el diseño final del software de la interfaz y el proceso de desarrollo de la misma, para ello se hace un análisis previo del software robótico sobre el que opera el sistema abordo del UAV y se establecen los enlaces de comunicación entre cada uno de los componentes y los requisitos de integración con el sistema. Finalmente, se muestran las pruebas que se han realizado para validar la construcción de la herramienta. This report outlines the design and construction of a human-machine interface (HMI), designed to facilitate the supervision and operation with unmanned aerial vehicles (UAV). First, it is described an introduction to UAVs classification and application fields, reviewing the hardware features and software integration components. In order to define the basic components and operation modes in the general design, a brief review of the different presentation solutions and autonomous levels is described. As a result, it is presented the final software design, the components details and the system integration requirements. Finally, it is also concluded with some of the tests that have been conducted to validate the design and construction of the human-machine interface

Hand gesture recognition system based in computer vision and machine learning : applications on human-machine interaction

Sendo uma forma natural de interação homem-máquina, o reconhecimento de gestos implica uma forte componente de investigação em áreas como a visão por computador e a aprendizagem computacional. O reconhecimento gestual é uma área com aplicações muito diversas, fornecendo aos utilizadores uma forma mais natural e mais simples de comunicar com sistemas baseados em computador, sem a necessidade de utilização de dispositivos extras. Assim, o objectivo principal da investigação na área de reconhecimento de gestos aplicada à interacção homemmáquina é o da criação de sistemas, que possam identificar gestos específicos e usálos para transmitir informações ou para controlar dispositivos. Para isso as interfaces baseados em visão para o reconhecimento de gestos, necessitam de detectar a mão de forma rápida e robusta e de serem capazes de efetuar o reconhecimento de gestos em tempo real. Hoje em dia, os sistemas de reconhecimento de gestos baseados em visão são capazes de trabalhar com soluções específicas, construídos para resolver um determinado problema e configurados para trabalhar de uma forma particular. Este projeto de investigação estudou e implementou soluções, suficientemente genéricas, com o recurso a algoritmos de aprendizagem computacional, permitindo a sua aplicação num conjunto alargado de sistemas de interface homem-máquina, para reconhecimento de gestos em tempo real. A solução proposta, Gesture Learning Module Architecture (GeLMA), permite de forma simples definir um conjunto de comandos que pode ser baseado em gestos estáticos e dinâmicos e que pode ser facilmente integrado e configurado para ser utilizado numa série de aplicações. É um sistema de baixo custo e fácil de treinar e usar, e uma vez que é construído unicamente com bibliotecas de código. As experiências realizadas permitiram mostrar que o sistema atingiu uma precisão de 99,2% em termos de reconhecimento de gestos estáticos e uma precisão média de 93,7% em termos de reconhecimento de gestos dinâmicos. Para validar a solução proposta, foram implementados dois sistemas completos. O primeiro é um sistema em tempo real capaz de ajudar um árbitro a arbitrar um jogo de futebol robótico. A solução proposta combina um sistema de reconhecimento de gestos baseada em visão com a definição de uma linguagem formal, o CommLang Referee, à qual demos a designação de Referee Command Language Interface System (ReCLIS). O sistema identifica os comandos baseados num conjunto de gestos estáticos e dinâmicos executados pelo árbitro, sendo este posteriormente enviado para um interface de computador que transmite a respectiva informação para os robôs. O segundo é um sistema em tempo real capaz de interpretar um subconjunto da Linguagem Gestual Portuguesa. As experiências demonstraram que o sistema foi capaz de reconhecer as vogais em tempo real de forma fiável. Embora a solução implementada apenas tenha sido treinada para reconhecer as cinco vogais, o sistema é facilmente extensível para reconhecer o resto do alfabeto. As experiências também permitiram mostrar que a base dos sistemas de interação baseados em visão pode ser a mesma para todas as aplicações e, deste modo facilitar a sua implementação. A solução proposta tem ainda a vantagem de ser suficientemente genérica e uma base sólida para o desenvolvimento de sistemas baseados em reconhecimento gestual que podem ser facilmente integrados com qualquer aplicação de interface homem-máquina. A linguagem formal de definição da interface pode ser redefinida e o sistema pode ser facilmente configurado e treinado com um conjunto de gestos diferentes de forma a serem integrados na solução final.

Hand gesture recognition system based in computer vision and machine learning: Applications on human-machine interaction

Tese de Doutoramento em Engenharia de Eletrónica e de Computadores