Designing a Computer Vision System for Underwater Robotic Interventions

This thesis deals with the challenging problem of designing systems able to perceive objects in underwater environments. In the last few decades research activities in robotics have advanced the state of art regarding intervention capabilities of autonomous systems. State of art in fields such as localization and navigation, real time perception and cognition, safe action and manipulation capabilities, applied to ground environments (both indoor and outdoor) has now reached such a readiness level that it allows high level autonomous operations. On the opposite side, the underwater environment remains a very difficult one for autonomous robots. Water influences the mechanical and electrical design of systems, interferes with sensors by limiting their capabilities, heavily impacts on data transmissions, and generally requires systems with low power consumption in order to enable reasonable mission duration. Interest in underwater applications is driven by needs of exploring and intervening in environments in which human capabilities are very limited. Nowadays, most underwater field operations are carried out by manned or remotely operated vehicles, deployed for explorations and limited intervention missions. Manned vehicles, directly on-board controlled, expose human operators to risks related to the stay in field of the mission, within a hostile environment. Remotely Operated Vehicles (ROV) currently represent the most advanced technology for underwater intervention services available on the market. These vehicles can be remotely operated for long time but they need support from an oceanographic vessel with multiple teams of highly specialized pilots. Vehicles equipped with multiple state-of-art sensors and capable to autonomously plan missions have been deployed in the last ten years and exploited as observers for underwater fauna, seabed, ship wrecks, and so on. On the other hand, underwater operations like object recovery and equipment maintenance are still challenging tasks to be conducted without human supervision since they require object perception and localization with much higher accuracy and robustness, to a degree seldom available in Autonomous Underwater Vehicles (AUV). This thesis reports the study, from design to deployment and evaluation, of a general purpose and configurable platform dedicated to stereo-vision perception in underwater environments. Several aspects related to the peculiar environment characteristics have been taken into account during all stages of system design and evaluation: depth of operation and light conditions, together with water turbidity and external weather, heavily impact on perception capabilities. The vision platform proposed in this work is a modular system comprising off-the-shelf components for both the imaging sensors and the computational unit, linked by a high performance ethernet network bus. The adopted design philosophy aims at achieving high flexibility in terms of feasible perception applications, that should not be as limited as in case of a special-purpose and dedicated hardware. Flexibility is required by the variability of underwater environments, with water conditions ranging from clear to turbid, light backscattering varying with daylight and depth, strong color distortion, and other environmental factors. Furthermore, the proposed modular design ensures an easier maintenance and update of the system over time. Performance of the proposed system, in terms of perception capabilities, has been evaluated in several underwater contexts taking advantage of the opportunity offered by the MARIS national project. Design issues like energy power consumption, heat dissipation and network capabilities have been evaluated in different scenarios. Finally, real-world experiments, conducted in multiple and variable underwater contexts, including open sea waters, have led to the collection of several datasets that have been publicly released to the scientific community. The vision system has been integrated in a state of the art AUV equipped with a robotic arm and gripper, and has been exploited in the robot control loop to successfully perform underwater grasping operations.

Eigen-Adaptation and Distributed Representation of 2-D Phase, Energy, Scale and Orientation in Spatial Vision

Distributed representations (DR) of cortical channels are pervasive in models of spatio-temporal vision. A central idea that underpins current innovations of DR stems from the extension of 1-D phase into 2-D images. Neurophysiological evidence, however, provides tenuous support for a quadrature representation in the visual cortex, since even phase visual units are associated with broader orientation tuning than odd phase visual units (J.Neurophys.,88,455–463, 2002). We demonstrate that the application of the steering theorems to a 2-D definition of phase afforded by the Riesz Transform (IEEE Trans. Sig. Proc., 49, 3136–3144), to include a Scale Transform, allows one to smoothly interpolate across 2-D phase and pass from circularly symmetric to orientation tuned visual units, and from more narrowly tuned odd symmetric units to even ones. Steering across 2-D phase and scale can be orthogonalized via a linearizing transformation. Using the tiltafter effect as an example, we argue that effects of visual adaptation can be better explained by via an orthogonal rather than channel specific representation of visual units. This is because of the ability to explicitly account for isotropic and cross-orientation adaptation effect from the orthogonal representation from which both direct and indirect tilt after-effects can be explained.

Real-Time Visual Ground-Truth System for Indoor Robotic Applications

The robotics community is concerned with the ability to infer and compare the results from researchers in areas such as vision perception and multi-robot cooperative behavior. To accomplish that task, this paper proposes a real-time indoor visual ground truth system capable of providing accuracy with at least more magnitude than the precision of the algorithm to be evaluated. A multi-camera architecture is proposed under the ROS (Robot Operating System) framework to estimate the 3D position of objects and the implementation and results were contextualized to the Robocup Middle Size League scenario.

Influência de filtros de ruído dinâmico na perceção das cores utilizando um novo teste de visão das cores

Dissertação de mestrado em Optometria Avançada

Recherche qualitative des enjeux de la mise en lumière urbaine : création d’un modèle opératoire pour la conception des projets d’éclairage

Cette étude traite de la complexité des enjeux de la mise en lumière urbaine et de sa conception. Le but est de déceler les mécanismes opératoires du projet d’éclairage afin de générer une analyse et une compréhension de ce type d’aménagement. Cette recherche met à jour les enjeux lumineux à différents niveaux comme l’urbanisme, l’environnement, la culture, la communication, la vision et la perception mais aussi au niveau des acteurs et de leurs pratiques sur le terrain. En utilisant une approche qualitative déductive, cette recherche théorique cherche à mieux comprendre les différentes significations du phénomène lumineux : comment dans la réalité terrain ces enjeux de la lumière sont compris, interprétés et traduits au travers de la réalisation des projets et des processus mis en place pour répondre aux besoins d’éclairage ? La pertinence de cette recherche est de questionner les enjeux complexes de la mise en lumière afin de savoir comment concevoir un « bon éclairage ». Comment se déroule un projet d’éclairage de sa conception à sa réalisation ? Quels sont les différents acteurs, leurs modes d’intervention et leurs perceptions du projet d’éclairage ? Le but est de vérifier comment ces enjeux se concrétisent sur le terrain, notamment au travers de l’activité et de l’interprétation des professionnels. Nous souhaitons créer un modèle opératoire qui rende compte des enjeux et du processus de ce type de projet. Modèle qui servira alors de repère pour la compréhension des mécanismes à l’œuvre comme le contexte, les acteurs, les moyens et les finalités des projets. Une étude des recherches théoriques nous permettra de comprendre la polysémie du phénomène lumineux afin d’en déceler la complexité des enjeux et de créer une première interprétation de ce type de projet. Nous déterminerons théoriquement ce que recouvre la notion de « bon éclairage » qui nous permettra de créer une grille analytique pour comparer notre approche avec la réalité sur le terrain. Ces recherches seront ensuite confrontées au recueil des données des études de cas, des stages en urbanisme et en conception lumière, et des interviews de professionnels dans le domaine. Nous confronterons les enjeux définis théoriquement aux collectes de données issues du terrain. Ces données seront collectées à partir de projets réalisés avec les professionnels durant la recherche immersive. La recherche-action nous permettra de collaborer avec les professionnels pour comprendre comment ils sélectionnent, déterminent et répondent aux enjeux des projets d’éclairage. Nous verrons grâce aux entretiens semi-dirigés comment les acteurs perçoivent leurs propres activités et nous interprèterons les données à l’aide de la « théorisation ancrée » pour dégager le sens de leurs discours. Nous analyserons alors les résultats de ces données de manière interprétative afin de déterminer les points convergeant et divergent entre les enjeux théoriques définis en amont et les enjeux définis en aval par la recherche-terrain. Cette comparaison nous permettra de créer une interprétation des enjeux de la mise en lumière urbaine dans toutes leurs complexités, à la fois du point de vue théorique et pratique. Cette recherche qualitative et complexe s’appuie sur une combinaison entre une étude phénoménologique et les méthodologies proposées par la « théorisation ancrée ». Nous procéderons à une combinaison de données issues de la pratique terrain et de la perception de cette pratique par les acteurs de l’éclairage. La recherche d’un « bon éclairage » envisage donc par une nouvelle compréhension l’amélioration des outils de réflexion et des actions des professionnels. En termes de résultat nous souhaitons créer un modèle opératoire de la mise en lumière qui définirait quels sont les différents éléments constitutifs de ces projets, leurs rôles et les relations qu’ils entretiennent entre eux. Modèle qui mettra en relief les éléments qui déterminent la qualité du projet d’éclairage et qui permettra de fournir un outil de compréhension. La contribution de ce travail de recherche est alors de fournir par cette nouvelle compréhension un repère méthodologique et analytique aux professionnels de l’éclairage mais aussi de faire émerger l’importance du phénomène de mise en lumière en suscitant de nouveaux questionnements auprès des activités liées au design industriel, à l’architecture et à l’urbanisme.

Le cinéma omnistéréo ou l'art d'avoir des yeux tout le tour de la tête

Cette thèse s'intéresse à des aspects du tournage, de la projection et de la perception du cinéma stéréo panoramique, appelé aussi cinéma omnistéréo. Elle s'inscrit en grande partie dans le domaine de la vision par ordinateur, mais elle touche aussi aux domaines de l'infographie et de la perception visuelle humaine. Le cinéma omnistéréo projette sur des écrans immersifs des vidéos qui fournissent de l'information sur la profondeur de la scène tout autour des spectateurs. Ce type de cinéma comporte des défis liés notamment au tournage de vidéos omnistéréo de scènes dynamiques, à la projection polarisée sur écrans très réfléchissants rendant difficile l'estimation de leur forme par reconstruction active, aux distorsions introduites par l'omnistéréo pouvant fausser la perception des profondeurs de la scène. Notre thèse a tenté de relever ces défis en apportant trois contributions majeures. Premièrement, nous avons développé la toute première méthode de création de vidéos omnistéréo par assemblage d'images pour des mouvements stochastiques et localisés. Nous avons mis au point une expérience psychophysique qui montre l'efficacité de la méthode pour des scènes sans structure isolée, comme des courants d'eau. Nous proposons aussi une méthode de tournage qui ajoute à ces vidéos des mouvements moins contraints, comme ceux d'acteurs. Deuxièmement, nous avons introduit de nouveaux motifs lumineux qui permettent à une caméra et un projecteur de retrouver la forme d'objets susceptibles de produire des interréflexions. Ces motifs sont assez généraux pour reconstruire non seulement les écrans omnistéréo, mais aussi des objets très complexes qui comportent des discontinuités de profondeur du point de vue de la caméra. Troisièmement, nous avons montré que les distorsions omnistéréo sont négligeables pour un spectateur placé au centre d'un écran cylindrique, puisqu'elles se situent à la périphérie du champ visuel où l'acuité devient moins précise.

Le kawaii : répercussion d’un idéal culturel et médiatique sur l’identité féminine japonaise

Ce mémoire propose de mettre à jour l’impact d’une culture visuelle donnée dans la formation et la construction d’une identité féminine japonaise. L’idéal en question, connu sous le nom de kawaii, prône le caractère mignon, adorable et enfantin de la gent japonaise. Les représentations féminines y étant rattachées diffèrent en fonction des lieux et des clientèles visées. Ces différents façonnements ont par la suite une influence prépondérante sur la vision, la perception et l’acceptation sociale des Japonaises, notamment face à leur identité, mais aussi face aux rôles qu’elles entretiennent dans la société moderne. L’esthétisme du kawaii a vivement été critiqué dans les milieux anthropologiques. Nombreux sont ceux qui perçoivent cette image enfantine de manière négative, lui attribuant une influence particulièrement néfaste. Cependant, ces jugements découlent d’une incompréhension liée à des connotations spécifiques, ainsi qu’à des erreurs épistémologiques. L’hégémonie médiatique rattachée à l’idéal du kawaii provient surtout d’une politique économique favorisée par le gouvernement, répondant au nom de Cool Japan. Les représentations féminines y étant associées prônent le caractère docile, innocent et inférieur de la femme. Ces images ne sont pourtant pas représentatives des identités et des rôles véhiculés par la femme japonaise. Elles ne servent qu’à renforcer des présuposés culturels. De par le kawaii, les intellectuels, qu’ils soient Japonais ou non, ont bien souvent fait endosser aux Japonaises des identités et des rôles stéréotypés, qui sont pourtant loin d’être le lot de la jeune génération.

Performance perceptive dans l’autisme : du facteur «g» au facteur «p»

La perception est de plus en plus reconnue comme fondamentale à la compréhension du phénotype autistique. La première description de l’autisme, par Kanner en 1947, fait état d’un profil cognitif hétérogène caractérisé par des habiletés exceptionnelles à l’intérieur de domaines spécifiques de la perception (ex., la musique). L’accumulation des observations cliniques sur la présence de particularités perceptives a mené à l’élaboration d’études empiriques permettant d’objectiver des surfonctionnements dans le traitement élémentaire de l’information perceptive dans l’autisme. Parallèlement, des études cognitives suggèrent la présence d’une « intelligence différente » chez les personnes autistes. Celle-ci serait caractérisée par une dissociation entre des performances à différents tests d’intelligence fortement corrélés ensemble chez les personnes typiques. Le potentiel intellectuel des personnes autistes serait sous-estimé lorsque mesuré par l’échelle de Wechsler, plutôt que des mesures d’intelligence fluide comme les Matrices Progressives de Raven. Avec l’appui d’études en imagerie cérébrale, ces résultats suggèrent une relation unique entre la perception et l’intelligence chez cette population clinique. Étant donné l’accumulation de preuves sur 1) la présence d’atypies perceptuelles, 2) le rôle différent de la perception dans l’intelligence et 3) l’importance des comportements répétitifs et intérêts restreints dans le phénotype autistique (DSM-5), le premier volet de cette thèse s’est intéressé à la relation entre les performances perceptives des personnes autistes et celle des personnes ayant un développement typique, au-delà de ce qui est expliqué par l’intelligence. À l’aide de modèles de régression linéaire, les résultats démontrent un profil de covariation spécifique à l’autisme pour les habiletés plurimodales. Contrairement aux personnes ayant un développement typique, ces associations persistent au-delà de ce qui est expliqué par l’intelligence générale ou par l’efficacité générale des systèmes perceptifs. Ce profil de covariation résiduelle propre aux personnes autistes suggère la présence d’un facteur plurimodal spécifique à ce groupe clinique : le facteur « p ». Le deuxième volet de cette thèse s’est intéressé à la prévalence des habiletés exceptionnelles au niveau individuel, la relation les forces perceptives et les talents, ainsi qu’aux facteurs de prédisposition en lien avec le développement d’habiletés exceptionnelles. Les forces perceptives des personnes autistes furent évaluées à l’aide de tâches expérimentales sensibles à la détection de surfonctionnements perceptifs, soit une tâche de discrimination de hauteurs sonores et une version modifiée du sous-test « Blocs » de l’échelle d’intelligence de Wechsler. Les talents furent évalués de manière clinique à l’aide de l’ADI-R (« Autism Diagnostic Interview-Revised »). Les données indiquent que 88.4 % des personnes autistes avec une intelligence dans la normale présentent au moins une habileté exceptionnelle (force perceptive ou talent). Les talents sont rapportés chez 62.5 % des cas et les forces perceptives se retrouvent chez 58 % des cas. La cooccurrence des forces perceptives entre les modalités perceptives est relativement peu fréquente (24 % à 27 %) et la présence d’un talent dans une modalité n’augmente pas les chances de présenter une force perceptive dans une même modalité. Une plus grande intelligence augmente les chances de présenter au moins un talent. En revanche, une intelligence plus faible, mais se situant tout de même dans les limites de la normale, est associée à un profil cognitif plus hétérogène avec des forces perceptives plus fréquentes. En somme, l’intelligence autistique serait caractérisée par un rôle plus important de la perception, indépendamment des surfonctionnements perceptifs. Cette particularité cognitive se manifesterait par la présence d’un facteur plurimodal, « p », spécifique à l’autisme. Théoriquement, le facteur « p » reflèterait des modifications innées (ou « hardwired ») dans l’organisation corticale des microcircuits responsables de l'encodage des dimensions perceptives élémentaires. En revanche, une faible association intermodale entre les forces perceptives suggère que des modifications corticales sont essentielles, mais non suffisantes pour le développement d’habiletés exceptionnelles. Par des processus de plasticité, des modifications corticales auraient des répercussions sur le phénotype autistique en offrant une base plus « fertile » pour le développement d’habiletés exceptionnelles, voire savantes, lorsque la personne autiste serait exposée à des expériences de vie avantageuses. Par ailleurs, les résultats de cette thèse, combinés à la littérature existante sur l’intelligence et l’apprentissage des personnes autistes, nous amènent à réfléchir sur les approches d’évaluation et d’intervention les mieux adaptées au fonctionnement spécifique de cette population clinique.

Catadioptric stereo based on structured light projection

La percepció per visió es millorada quan es pot gaudir d'un camp de visió ampli. Aquesta tesi es concentra en la percepció visual de la profunditat amb l'ajuda de càmeres omnidireccionals. La percepció 3D s'obté generalment en la visió per computadora utilitzant configuracions estèreo amb el desavantatge del cost computacional elevat a l'hora de buscar els elements visuals comuns entre les imatges. La solució que ofereix aquesta tesi és l'ús de la llum estructurada per resoldre el problema de relacionar les correspondències. S'ha realitzat un estudi sobre els sistemes de visió omnidireccional. S'han avaluat vàries configuracions estèreo i s'ha escollit la millor. Els paràmetres del model són difícils de mesurar directament i, en conseqüència, s'ha desenvolupat una sèrie de mètodes de calibració. Els resultats obtinguts són prometedors i demostren que el sensor pot ésser utilitzat en aplicacions per a la percepció de la profunditat com serien el modelatge de l'escena, la inspecció de canonades, navegació de robots, etc.

Formação Contínua em Serviço: o olhar do professor

Pós-graduação em Educação - FCT

Edge enhancement improves disruptive camouflage by emphasising false edges and creating pictorial relief

Disruptive colouration is a visual camouflage composed of false edges and boundaries. Many disruptively camouflaged animals feature enhanced edges; light patches are surrounded by a lighter outline and/or a dark patches are surrounded by a darker outline. This camouflage is particularly common in amphibians, reptiles and lepidopterans. We explored the role that this pattern has in creating effective camouflage. In a visual search task utilising an ultra-large display area mimicking search tasks that might be found in nature, edge enhanced disruptive camouflage increases crypsis, even on substrates that do not provide an obvious visual match. Specifically, edge enhanced camouflage is effective on backgrounds both with and without shadows; i.e. this is not solely due to background matching of the dark edge enhancement element with the shadows. Furthermore, when the dark component of the edge enhancement is omitted the camouflage still provided better crypsis than control patterns without edge enhancement. This kind of edge enhancement improved camouflage on all background types. Lastly, we show that edge enhancement can create a perception of multiple surfaces. We conclude that edge enhancement increases the effectiveness of disruptive camouflage through mechanisms that may include the improved disruption of the object outline by implying pictorial relief.

Perception of difficulties with vision-related activities of daily living among patients undergoing unilateral posterior capsulotomy

OBJECTIVES: To assess the influence of Nd:YAG (neodymium: yttrium-aluminum- garnet) laser unilateral posterior capsulotomy on visual acuity and patients' perception of difficulties with vision-related activities of daily life. METHODS: We conducted an interventional survey that included 48 patients between 40 and 80 years of age with uni- or bilateral pseudophakia, posterior capsule opacification, and visual acuity <0.30 (logMAR) in one eye who were seen at a Brazilian university hospital. All patients underwent posterior capsulotomy using an Nd:YAG laser. Before and after the intervention, patients were asked to complete a questionnaire that was developed in an exploratory study. RESULTS: Before posterior capsulotomy, the median visual acuity (logMAR) of the included patients was 0.52 (range 0.30-1.60). After posterior capsulotomy, the median visual acuity of the included patients improved to 0.10 (range 0.0-0.52). According to the subjects' perceptions, their ability to perform most of their daily life activities improved after the intervention (p<0.05). CONCLUSIONS: After patients underwent posterior capsulotomy with an Nd:YAG laser, a significant improvement in the visual acuity of the treated eye was observed. Additionally, subjects felt that they experienced less difficulty performing most of their vision-dependent activities of daily living.

Quand l’action surpasse la perception : rôle de la vision et de la proprioception dans la perception et le contrôle en temps réel de l’orientation spatiale de la main

Cette recherche a pour but d’évaluer le rôle de la vision et de la proprioception pour la perception et le contrôle de l’orientation spatiale de la main chez l’humain. L’orientation spatiale de la main est une composante importante des mouvements d’atteinte et de saisie. Toutefois, peu d’attention a été portée à l’étude de l’orientation spatiale de la main dans la littérature. À notre connaissance, cette étude est la première à évaluer spécifiquement l’influence des informations sensorielles et de l’expérience visuelle pour la perception et le contrôle en temps réel de l'orientation spatiale de la main pendant le mouvement d’atteinte naturel vers une cible stationnaire. Le premier objectif était d’étudier la contribution de la vision et de la proprioception dans des tâches de perception et de mouvement d’orientation de la main. Dans la tâche de perception (orientation-matching task), les sujets devaient passivement ou activement aligner une poignée de forme rectangulaire avec une cible fixée dans différentes orientations. Les rotations de l’avant-bras et du poignet étaient soit imposées par l’expérimentateur, soit effectuées par les sujets. Dans la tâche de mouvement d’orientation et d’atteinte simultanées (letter posting task 1), les sujets ont réalisé des mouvements d’atteinte et de rotation simultanées de la main afin d’insérer la poignée rectangulaire dans une fente fixée dans les mêmes orientations. Les tâches ont été réalisées dans différentes conditions sensorielles où l’information visuelle de la cible et de la main était manipulée. Dans la tâche perceptive, une augmentation des erreurs d’orientation de la main a été observée avec le retrait des informations visuelles concernant la cible et/ou ou la main. Lorsque la vision de la main n’était pas permise, il a généralement été observé que les erreurs d’orientation de la main augmentaient avec le degré de rotation nécessaire pour aligner la main et la cible. Dans la tâche de mouvement d’orientation et d’atteinte simultanées, les erreurs ont également augmenté avec le retrait des informations visuelles. Toutefois, les patrons d’erreurs étaient différents de ceux observés dans la tâche de perception, et les erreurs d’orientation n’ont pas augmenté avec le degré de rotation nécessaire pour insérer la poignée dans la fente. En absence de vision de la main, il a été observé que les erreurs d’orientation étaient plus petites dans la tâche de mouvement que de perception, suggérant l’implication de la proprioception pour le contrôle de l’orientation spatiale de la main lors des mouvements d’orientation et d’atteinte simultanées. Le deuxième objectif de cette recherche était d’étudier l’influence de la vision et de la proprioception dans le contrôle en temps réel de l’orientation spatiale de la main. Dans une tâche d’orientation de la main suivie d’une atteinte manuelle (letter posting task 2), les sujets devaient d’abord aligner l’orientation de la même poignée avec la fente fixée dans les mêmes orientations, puis réaliser un mouvement d’atteinte sans modifier l’orientation initiale de la main. Une augmentation des erreurs initiales et finales a été observée avec le retrait des informations visuelles. Malgré la consigne de ne pas changer l’orientation initiale de la main, une diminution des erreurs d’orientation a généralement été observée suite au mouvement d’atteinte, dans toutes les conditions sensorielles testées. Cette tendance n’a pas été observée lorsqu’aucune cible explicite n’était présentée et que les sujets devaient conserver l’orientation de départ de la main pendant le mouvement d’atteinte (mouvement intransitif; letter-posting task 3). La diminution des erreurs pendant l’atteinte manuelle transitive vers une cible explicite (letter-posting task 2), malgré la consigne de ne pas changer l’orientation de la main pendant le mouvement, suggère un mécanisme de corrections automatiques pour le contrôle en temps réel de l’orientation spatiale de la main pendant le mouvement d’atteinte naturel vers une cible stationnaire. Le troisième objectif de cette recherche était d’évaluer la contribution de l’expérience visuelle pour la perception et le contrôle de l’orientation spatiale de la main. Des sujets aveugles ont été testés dans les mêmes tâches de perception et de mouvement. De manière générale, les sujets aveugles ont présenté les mêmes tendances que les sujets voyants testés dans la condition proprioceptive (sans vision), suggérant que l’expérience visuelle n’est pas nécessaire pour le développement d’un mécanisme de correction en temps réel de l’orientation spatiale de la main basé sur la proprioception.