Enhanced PCA-based localization using depth maps with missing data

In this paper a new method for self-localization of mobile robots, based on a PCA positioning sensor to operate in unstructured environments, is proposed and experimentally validated. The proposed PCA extension is able to perform the eigenvectors computation from a set of signals corrupted by missing data. The sensor package considered in this work contains a 2D depth sensor pointed upwards to the ceiling, providing depth images with missing data. The positioning sensor obtained is then integrated in a Linear Parameter Varying mobile robot model to obtain a self-localization system, based on linear Kalman filters, with globally stable position error estimates. A study consisting in adding synthetic random corrupted data to the captured depth images revealed that this extended PCA technique is able to reconstruct the signals, with improved accuracy. The self-localization system obtained is assessed in unstructured environments and the methodologies are validated even in the case of varying illumination conditions.

Perspectives and approaches for the internet of things

Dissertação para obtenção do Grau de Mestre em Engenharia Electrotécnica e de Computadores

Local WMR navigation with monocular data

This article presents recent WMR (wheeled mobile robot) navigation experiences using local perception knowledge provided by monocular and odometer systems. A local narrow perception horizon is used to plan safety trajectories towards the objective. Therefore, monocular data are proposed as a way to obtain real time local information by building two dimensional occupancy grids through a time integration of the frames. The path planning is accomplished by using attraction potential fields, while the trajectory tracking is performed by using model predictive control techniques. The results are faced to indoor situations by using the lab available platform consisting in a differential driven mobile robot

Kaukokäyttöliittymä liikkuvalle robotille

Lappeenrannan teknillinen yliopiston Tietotekniikan osaston Tietojenkäsittelytieteen laitoksen tutkimuskäytössä olevaan liikkuvaan robottiin toteutettiin tässä työssä graafinen kaukokäyttöliittymä. Työlle on motivaationa laajennettavuus, jota olemassaoleva suljetun lähdekoodin käyttöliittymä ei pysty tarjoamaan. Työssä olennaisin on olio-ohjelmointitekniikalla toteutettu robotin datamallin, ja sen graafisen esityksen arkkitehtuurillinen erottaminen. Lisäksi tarkastellaan lyhyesti liikkuvien robottien kaukokäyttöliittymien teoriaa, ja WLAN-tekniikan soveltuvuutta robotin ja käyttöliittymän välisen yhteyden toteuttamiseen.

AVR-pohjainen mobiilirobotti

Kandidaatintyön aineena oli rakentaa autonomisesti pyörillä liikkuva, esteitä väistelevä mobiilirobotti käyttäen Arduino-kehitysympäristöä prototyypin valmistamiseen. Rakensin robotin alusta alkaen itse eli työhön sisältyi robotin mekaniikan kokoaminen, elektroniikan suunnittelu ja rakentaminen sekä toimintaälyn ohjelmointi mikroprosessorille eteenpäin kulkemiseen ja esteiden väistämiseen. Arduinon ytimenä on Atmelin AVR-sarjaan kuuluva ATMega328-mikroprosessori. Robotin ympäristön havainnointi tapahtuu käyttämällä ultraäänisensoria. Robotti oli mielenkiintoinen projekti toteuttaa ja toimi kokonaisuutena katsottuna odotetulla tavalla.

Essays in labor and public economics

Dans ma thèse, je me sers de modèles de recherche solides pour répondre à des questions importantes de politique publique. Mon premier chapitre évalue l’impact causal de l’allégeance partisane (républicain ou démocrate) des gouverneurs américains sur le marché du travail. Dans ce chapitre, je combine les élections des gouverneurs avec les données du March CPS pour les années fiscales 1977 à 2008. En utilisant un modèle de régression par discontinuité, je trouve que les gouverneurs démocrates sont associés à de plus faibles revenus individuels moyens. Je mets en évidence que cela est entrainée par un changement dans la composition de la main-d’oeuvre à la suite d’une augmentation de l’emploi des travailleurs à revenus faibles et moyens. Je trouve que les gouverneurs démocrates provoquent une augmentation de l’emploi des noirs et de leurs heures travaillées. Ces résultats conduisent à une réduction de l’écart salarial entre les travailleurs noir et blanc. Mon deuxième chapitre étudie l’impact causal des fusillades qui se produisent dans les écoles secondaires américaines sur les performances des éléves et les résultats des écoles tels que les effectifs et le nombre d’enseignants recruté, a l’aide d’une stratégie de différence-en-différence. Le chapitre est coécrit avec Dongwoo Kim. Nous constatons que les fusillades dans les écoles réduisent significativement l’effectif des élèves de 9e année, la proportion d’élèves ayant un niveau adéquat en anglais et en mathématiques. Nous examinons aussi l’effet hétérogene des tueries dans les écoles secondaires entre les crimes et les suicides. Nous trouvons que les fusillades de natures criminelles provoquent la diminution du nombre d’inscriptions et de la proportion d’élèves adéquats en anglais et mathématiques. En utilisant des données sur les élèves en Californie, nous confirmons qu’une partie de l’effet sur la performance des élèves provient des étudiants inscrits et ce n’est pas uniquement un effet de composition. Mon troisième chapitre étudie l’impact des cellulaires sur la performance scolaire des élèves. Le chapitre est coécrit avec Richard Murphy. Dans ce chapitre, nous combinons une base de données unique contenant les politiques de téléphonie mobile des écoles obtenues à partir d’une enquète auprès des écoles dans quatre villes en Angleterre avec des données administratives sur la performance scolaire des éleves. Nous étudions ainsi l’impact de l’introduction d’une interdiction de téléphonie mobile sur le rendement des éleves. Nos résultats indiquent qu’il y a une augmentation du rendement des éleves après l’instauration de l’interdiction des cellulaires à l’école, ce qui suggère que les téléphones mobiles sont sources de distraction pour l’apprentissage et l’introduction d’une interdiction à l’école limite ce problème.

Contribució al posicionament dinàmic de robots mòbils per mitjà d'un sistema làser

Aquesta tesi tracta el problema del posicionament de robots mòbils quan, en el decurs del moviment, es realitzen mesures angulars relatives al robot de l'orientació de la recta entre un dels seus punts i punts de l'entorn de posició coneguda. Es considera que les mesures angulars són fetes per un sensor làser giratori que detecta diferents reflectors catadiòptrics fixos. La contribució principal és el desenvolupament d'un algorisme dinàmic, basat en un filtre de Kalman estès (EKF), que estima a cada instant de temps l'estat format pels angles associats als reflectors. La simulació hodomètrica dels angles entre mesures directes del sensor làser garanteix l'ús consistent i continuat dels mètodes de triangulació per a determinar la posició i l'orientació del robot. Inclou simulacions informàtiques i experiments per a validar la precisió del mètode de posicionament proposat. En l'experimentació s'utilitza un robot mòbil omnidireccional amb tres rodes de lliscament direccional de corrons esfèrics.

Modelling stereoscopic vision systems for robotic applications

Aquesta tesi s'emmarca dins del projecte CICYT TAP 1999-0443-C05-01. L'objectiu d'aquest projecte és el disseny, implementació i avaluació de robots mòbils, amb un sistema de control distribuït, sistemes de sensorització i xarxa de comunicacions per realitzar tasques de vigilància. Els robots han de poder-se moure per un entorn reconeixent la posició i orientació dels diferents objectes que l'envolten. Aquesta informació ha de permetre al robot localitzar-se dins de l'entorn on es troba per poder-se moure evitant els possibles obstacles i dur a terme la tasca encomanada. El robot ha de generar un mapa dinàmic de l'entorn que serà utilitzat per localitzar la seva posició. L'objectiu principal d'aquest projecte és aconseguir que un robot explori i construeixi un mapa de l'entorn sense la necessitat de modificar el propi entorn. Aquesta tesi està enfocada en l'estudi de la geometria dels sistemes de visió estereoscòpics formats per dues càmeres amb l'objectiu d'obtenir informació geomètrica 3D de l'entorn d'un vehicle. Aquest objectiu tracta de l'estudi del modelatge i la calibració de càmeres i en la comprensió de la geometria epipolar. Aquesta geometria està continguda en el que s'anomena emph{matriu fonamental}. Cal realitzar un estudi del càlcul de la matriu fonamental d'un sistema estereoscòpic amb la finalitat de reduir el problema de la correspondència entre dos plans imatge. Un altre objectiu és estudiar els mètodes d'estimació del moviment basats en la geometria epipolar diferencial per tal de percebre el moviment del robot i obtenir-ne la posició. Els estudis de la geometria que envolta els sistemes de visió estereoscòpics ens permeten presentar un sistema de visió per computador muntat en un robot mòbil que navega en un entorn desconegut. El sistema fa que el robot sigui capaç de generar un mapa dinàmic de l'entorn a mesura que es desplaça i determinar quin ha estat el moviment del robot per tal de emph{localitzar-se} dins del mapa. La tesi presenta un estudi comparatiu dels mètodes de calibració de càmeres més utilitzats en les últimes dècades. Aquestes tècniques cobreixen un gran ventall dels mètodes de calibració clàssics. Aquest mètodes permeten estimar els paràmetres de la càmera a partir d'un conjunt de punts 3D i de les seves corresponents projeccions 2D en una imatge. Per tant, aquest estudi descriu un total de cinc tècniques de calibració diferents que inclouen la calibració implicita respecte l'explicita i calibració lineal respecte no lineal. Cal remarcar que s'ha fet un gran esforç en utilitzar la mateixa nomenclatura i s'ha estandaritzat la notació en totes les tècniques presentades. Aquesta és una de les dificultats principals a l'hora de poder comparar les tècniques de calibració ja què cada autor defineix diferents sistemes de coordenades i diferents conjunts de paràmetres. El lector és introduït a la calibració de càmeres amb la tècnica lineal i implícita proposada per Hall i amb la tècnica lineal i explicita proposada per Faugeras-Toscani. A continuació es passa a descriure el mètode a de Faugeras incloent el modelatge de la distorsió de les lents de forma radial. Seguidament es descriu el conegut mètode proposat per Tsai, i finalment es realitza una descripció detallada del mètode de calibració proposat per Weng. Tots els mètodes són comparats tant des del punt de vista de model de càmera utilitzat com de la precisió de la calibració. S'han implementat tots aquests mètodes i s'ha analitzat la precisió presentant resultats obtinguts tant utilitzant dades sintètiques com càmeres reals. Calibrant cada una de les càmeres del sistema estereoscòpic es poden establir un conjunt de restriccions geomètri ques entre les dues imatges. Aquestes relacions són el que s'anomena geometria epipolar i estan contingudes en la matriu fonamental. Coneixent la geometria epipolar es pot: simplificar el problema de la correspondència reduint l'espai de cerca a llarg d'una línia epipolar; estimar el moviment d'una càmera quan aquesta està muntada sobre un robot mòbil per realitzar tasques de seguiment o de navegació; reconstruir una escena per aplicacions d'inspecció, propotipatge o generació de motlles. La matriu fonamental s'estima a partir d'un conjunt de punts en una imatges i les seves correspondències en una segona imatge. La tesi presenta un estat de l'art de les tècniques d'estimació de la matriu fonamental. Comença pels mètode lineals com el dels set punts o el mètode dels vuit punts, passa pels mètodes iteratius com el mètode basat en el gradient o el CFNS, fins arribar las mètodes robustos com el M-Estimators, el LMedS o el RANSAC. En aquest treball es descriuen fins a 15 mètodes amb 19 implementacions diferents. Aquestes tècniques són comparades tant des del punt de vista algorísmic com des del punt de vista de la precisió que obtenen. Es presenten el resultats obtinguts tant amb imatges reals com amb imatges sintètiques amb diferents nivells de soroll i amb diferent quantitat de falses correspondències. Tradicionalment, l'estimació del moviment d'una càmera està basada en l'aplicació de la geometria epipolar entre cada dues imatges consecutives. No obstant el cas tradicional de la geometria epipolar té algunes limitacions en el cas d'una càmera situada en un robot mòbil. Les diferencies entre dues imatges consecutives són molt petites cosa que provoca inexactituds en el càlcul de matriu fonamental. A més cal resoldre el problema de la correspondència, aquest procés és molt costós en quant a temps de computació i no és gaire efectiu per aplicacions de temps real. En aquestes circumstàncies les tècniques d'estimació del moviment d'una càmera solen basar-se en el flux òptic i en la geometria epipolar diferencial. En la tesi es realitza un recull de totes aquestes tècniques degudament classificades. Aquests mètodes són descrits unificant la notació emprada i es remarquen les semblances i les diferencies entre el cas discret i el cas diferencial de la geometria epipolar. Per tal de poder aplicar aquests mètodes a l'estimació de moviment d'un robot mòbil, aquest mètodes generals que estimen el moviment d'una càmera amb sis graus de llibertat, han estat adaptats al cas d'un robot mòbil que es desplaça en una superfície plana. Es presenten els resultats obtinguts tant amb el mètodes generals de sis graus de llibertat com amb els adaptats a un robot mòbil utilitzant dades sintètiques i seqüències d'imatges reals. Aquest tesi finalitza amb una proposta de sistema de localització i de construcció d'un mapa fent servir un sistema estereoscòpic situat en un robot mòbil. Diverses aplicacions de robòtica mòbil requereixen d'un sistema de localització amb l'objectiu de facilitar la navegació del vehicle i l'execució del les trajectòries planificades. La localització es sempre relativa al mapa de l'entorn on el robot s'està movent. La construcció de mapes en un entorn desconegut és una tasca important a realitzar per les futures generacions de robots mòbils. El sistema que es presenta realitza la localització i construeix el mapa de l'entorn de forma simultània. A la tesi es descriu el robot mòbil GRILL, que ha estat la plataforma de treball emprada per aquesta aplicació, amb el sistema de visió estereoscòpic que s'ha dissenyat i s'ha muntat en el robot. També es descriu tots el processos que intervenen en el sistema de localització i construcció del mapa. La implementació d'aquest processos ha estat possible gràcies als estudis realitzats i presentats prèviament (calibració de càmeres, estimació de la matriu fonamental, i estimació del moviment) sense els quals no s'hauria pogut plantejar aquest sistema. Finalment es presenten els mapes en diverses trajectòries realitzades pel robot GRILL en el laboratori. Les principals contribucions d'aquest treball són: ·Un estat de l'art sobre mètodes de calibració de càmeres. El mètodes són comparats tan des del punt de vista del model de càmera utilitzat com de la precisió dels mètodes. ·Un estudi dels mètodes d'estimació de la matriu fonamental. Totes les tècniques estudiades són classificades i descrites des d'un punt de vista algorísmic. ·Un recull de les tècniques d'estimació del moviment d'una càmera centrat en el mètodes basat en la geometria epipolar diferencial. Aquestes tècniques han estat adaptades per tal d'estimar el moviment d'un robot mòbil. ·Una aplicació de robòtica mòbil per tal de construir un mapa dinàmic de l'entorn i localitzar-se per mitja d'un sistema estereoscòpic. L'aplicació presentada es descriu tant des del punt de vista del maquinari com del programari que s'ha dissenyat i implementat.

Real-Time software control of neural stimulation in a closed loop Animat system

A recent area for investigation into the development of adaptable robot control is the use of living neuronal networks to control a mobile robot. The so-called Animat paradigm comprises a neuronal network (the ‘brain’) connected to an external embodiment (in this case a mobile robot), facilitating potentially robust, adaptable robot control and increased understanding of neural processes. Sensory input from the robot is provided to the neuronal network via stimulation on a number of electrodes embedded in a specialist Petri dish (Multi Electrode Array (MEA)); accurate control of this stimulation is vital. We present software tools allowing precise, near real-time control of electrical stimulation on MEAs, with fast switching between electrodes and the application of custom stimulus waveforms. These Linux-based tools are compatible with the widely used MEABench data acquisition system. Benefits include rapid stimulus modulation in response to neuronal activity (closed loop) and batch processing of stimulation protocols.

Implications and consequences of robots with biological brains

In this paper a look is taken at the relatively new area of culturing neural tissue and embodying it in a mobile robot platform—essentially giving a robot a biological brain. Present technology and practice is discussed. New trends and the potential effects of and in this area are also indicated. This has a potential major impact with regard to society and ethical issues and hence some initial observations are made. Some initial issues are also considered with regard to the potential consciousness of such a brain.

Cultured neural networks

This article looks at the use of cultured neural networks as the decision-making mechanism of a control system. In this case biological neurons are grown and trained to act as an artificial intelligence engine. Such research has immediate medical implications as well as enormous potential in computing and robotics. An experimental system involving closed-loop control of a mobile robot by a culture of neurons has been successfully created and is described here. This article gives a brief overview of the problem area and ongoing research. Questions are asked as to where this will lead in the future.

Modeling camera orientation and 3D structure from a sequence of images taken by a perambulating commercial video camera

In this paper we report the degree of reliability of image sequences taken by off-the-shelf TV cameras for modeling camera rotation and reconstructing 3D structure using computer vision techniques. This is done in spite of the fact that computer vision systems usually use imaging devices that are specifically designed for the human vision. Our scenario consists of a static scene and a mobile camera moving through the scene. The scene is any long axial building dominated by features along the three principal orientations and with at least one wall containing prominent repetitive planar features such as doors, windows bricks etc. The camera is an ordinary commercial camcorder moving along the axial axis of the scene and is allowed to rotate freely within the range +/- 10 degrees in all directions. This makes it possible that the camera be held by a walking unprofessional cameraman with normal gait, or to be mounted on a mobile robot. The system has been tested successfully on sequence of images of a variety of structured, but fairly cluttered scenes taken by different walking cameramen. The potential application areas of the system include medicine, robotics and photogrammetry.

Can social interaction skills be taught by a social agent? The role of a robotic mediator in autism therapy

Increasingly socially intelligent agents (software or robotic) are used in education, rehabilitation and therapy. This paper discusses the role of interactive, mobile robots as social mediators in the particular domain of autism therapy. This research is part of the project AURORA that studies how mobile robots can be used to teach children with autism basic interaction skills that are important in social interactions among humans. Results from a particular series of trials involving pairs of two children and a mobile robot are described. The results show that the scenario with pairs of children and a robot creates a very interesting social context which gives rise to a variety of different social and non-social interaction patterns, demonstrating the specific problems but also abilities of children with autism in social interactions. Future work will include a closer analysis of interactional structure in human-human and robot-human interaction. We outline a particular framework that we are investigating.

Modular non-computational-connectionist-hybrid neural network approach to robotic systems

Spiking neural networks are usually limited in their applications due to their complex mathematical models and the lack of intuitive learning algorithms. In this paper, a simpler, novel neural network derived from a leaky integrate and fire neuron model, the ‘cavalcade’ neuron, is presented. A simulation for the neural network has been developed and two basic learning algorithms implemented within the environment. These algorithms successfully learn some basic temporal and instantaneous problems. Inspiration for neural network structures from these experiments are then taken and applied to process sensor information so as to successfully control a mobile robot.

The cyber challenge: a robotics project to enthuse

Robotics is a key theme in many of the degrees offered in Systems Engineering. The topic has proved useful in attracting students to the University, and it also provides the basis of much practical and project work throughout the degrees. This paper focuses on one aspect, a Part 2 project in which students doing various degrees work together to develop a mobile robot which is controlled remotely to navigate an environment and perform specific tasks. In addition to providing practical experience of relevant academic topics, this project helps to contribute to key teaching and learning priorities including problem based learning, motivation and important employability skills.