Design and implementation of machine vision system for the mobile assembly robot

The review of intelligent machines shows that the demand for new ways of helping people in perception of the real world is becoming higher and higher every year. This thesis provides information about design and implementation of machine vision for mobile assembly robot. The work has been done as a part of LUT project in Laboratory of Intelligent Machines. The aim of this work is to create a working vision system. The qualitative and quantitative research were done to complete this task. In the first part, the author presents the theoretical background of such things as digital camera work principles, wireless transmission basics, creation of live stream, methods used for pattern recognition. Formulas, dependencies and previous research related to the topic are shown. In the second part, the equipment used for the project is described. There is information about the brands, models, capabilities and also requirements needed for implementation. Although, the author gives a description of LabVIEW software, its add-ons and OpenCV which are used in the project. Furthermore, one can find results in further section of considered thesis. They mainly represented by screenshots from cameras, working station and photos of the system. The key result of this thesis is vision system created for the needs of mobile assembly robot. Therefore, it is possible to see graphically what was done on examples. Future research in this field includes optimization of the pattern recognition algorithm. This will give less response time for recognizing objects. Presented by author system can be used also for further activities which include artificial intelligence usage.

Real-time monitoring of laser scribing process utilizing high-speed camera

Currently, laser scribing is growing material processing method in the industry. Benefits of laser scribing technology are studied for example for improving an efficiency of solar cells. Due high-quality requirement of the fast scribing process, it is important to monitor the process in real time for detecting possible defects during the process. However, there is a lack of studies of laser scribing real time monitoring. Commonly used monitoring methods developed for other laser processes such a laser welding, are sufficient slow and existed applications cannot be implemented in fast laser scribing monitoring. The aim of this thesis is to find a method for laser scribing monitoring with a high-speed camera and evaluate reliability and performance of the developed monitoring system with experiments. The laser used in experiments is an IPG ytterbium pulsed fiber laser with 20 W maximum average power and Scan head optics used in the laser is Scanlab’s Hurryscan 14 II with an f100 tele-centric lens. The camera was connected to laser scanner using camera adapter to follow the laser process. A powerful fully programmable industrial computer was chosen for executing image processing and analysis. Algorithms for defect analysis, which are based on particle analysis, were developed using LabVIEW system design software. The performance of the algorithms was analyzed by analyzing a non-moving image from the scribing line with resolution 960x20 pixel. As a result, the maximum analysis speed was 560 frames per second. Reliability of the algorithm was evaluated by imaging scribing path with a variable number of defects 2000 mm/s when the laser was turned off and image analysis speed was 430 frames per second. The experiment was successful and as a result, the algorithms detected all defects from the scribing path. The final monitoring experiment was performed during a laser process. However, it was challenging to get active laser illumination work with the laser scanner due physical dimensions of the laser lens and the scanner. For reliable error detection, the illumination system is needed to be replaced.

3D movement and muscle activity patterns in a violin bowing task

Objective: Overuse injuries in violinists are a problem that has been primarily analyzed through the use of questionnaires. Simultaneous 3D motion analysis and EMG to measure muscle activity has been suggested as a quantitative technique to explore this problem by identifying movement patterns and muscular demands which may predispose violinists to overuse injuries. This multi-disciplinary analysis technique has, so far, had limited use in the music world. The purpose of this study was to use it to characterize the demands of a violin bowing task. Subjects: Twelve injury-free violinists volunteered for the study. The subjects were assigned to a novice or expert group based on playing experience, as determined by questionnaire. Design and Settings: Muscle activity and movement patterns were assessed while violinists played five bowing cycles (one bowing cycle = one down-bow + one up-bow) on each string (G, D, A, E), at a pulse of 4 beats per bow and 100 beats per minute. Measurements: An upper extremity model created using coordinate data from markers placed on the right acromion process, lateral epicondyle of the humerus and ulnar styloid was used to determine minimum and maximum joint angles, ranges of motion (ROM) and angular velocities at the shoulder and elbow of the bowing arm. Muscle activity in right anterior deltoid, biceps brachii and triceps brachii was assessed during maximal voluntary contractions (MVC) and during the playing task. Data were analysed for significant differences across the strings and between experience groups. Results: Elbow flexion/extension ROM was similar across strings for both groups. Shoulder flexion/extension ROM increaslarger for the experts. Angular velocity changes mirrored changes in ROM. Deltoid was the most active of the muscles assessed (20% MVC) and displayed a pattern of constant activation to maintain shoulder abduction. Biceps and triceps were less active (4 - 12% MVC) and showed a more periodic 'on and off pattern. Novices' muscle activity was higher in all cases. Experts' muscle activity showed a consistent pattern across strings, whereas the novices were more irregular. The agonist-antagonist roles of biceps and triceps during the bowing motion were clearly defined in the expert group, but not as apparent in the novice group. Conclusions: Bowing movement appears to be controlled by the shoulder rather than the elbow as shoulder ROM changed across strings while elbow ROM remained the same. Shoulder injuries are probably due to repetition as the muscle activity required for the movement is small. Experts require a smaller amount of muscle activity to perform the movement, possibly due to more efficient muscle activation patterns as a result of practice. This quantitative multidisciplinary approach to analysing violinists' movements can contribute to fuller understanding of both playing demands and injury mechanisms .

Calibration de systèmes de caméras et projecteurs dans des applications de création multimédia

Ce mémoire s'intéresse à la vision par ordinateur appliquée à des projets d'art technologique. Le sujet traité est la calibration de systèmes de caméras et de projecteurs dans des applications de suivi et de reconstruction 3D en arts visuels et en art performatif. Le mémoire s'articule autour de deux collaborations avec les artistes québécois Daniel Danis et Nicolas Reeves. La géométrie projective et les méthodes de calibration classiques telles que la calibration planaire et la calibration par géométrie épipolaire sont présentées pour introduire les techniques utilisées dans ces deux projets. La collaboration avec Nicolas Reeves consiste à calibrer un système caméra-projecteur sur tête robotisée pour projeter des vidéos en temps réel sur des écrans cubiques mobiles. En plus d'appliquer des méthodes de calibration classiques, nous proposons une nouvelle technique de calibration de la pose d'une caméra sur tête robotisée. Cette technique utilise des plans elliptiques générés par l'observation d'un seul point dans le monde pour déterminer la pose de la caméra par rapport au centre de rotation de la tête robotisée. Le projet avec le metteur en scène Daniel Danis aborde les techniques de calibration de systèmes multi-caméras. Pour son projet de théâtre, nous avons développé un algorithme de calibration d'un réseau de caméras wiimotes. Cette technique basée sur la géométrie épipolaire permet de faire de la reconstruction 3D d'une trajectoire dans un grand volume à un coût minime. Les résultats des techniques de calibration développées sont présentés, de même que leur utilisation dans des contextes réels de performance devant public.

Vidéosurveillance intelligente pour la détection de chutes chez les personnes âgées

Les pays industrialisés comme le Canada doivent faire face au vieillissement de leur population. En particulier, la majorité des personnes âgées, vivant à domicile et souvent seules, font face à des situations à risques telles que des chutes. Dans ce contexte, la vidéosurveillance est une solution innovante qui peut leur permettre de vivre normalement dans un environnement sécurisé. L’idée serait de placer un réseau de caméras dans l’appartement de la personne pour détecter automatiquement une chute. En cas de problème, un message pourrait être envoyé suivant l’urgence aux secours ou à la famille via une connexion internet sécurisée. Pour un système bas coût, nous avons limité le nombre de caméras à une seule par pièce ce qui nous a poussé à explorer les méthodes monoculaires de détection de chutes. Nous avons d’abord exploré le problème d’un point de vue 2D (image) en nous intéressant aux changements importants de la silhouette de la personne lors d’une chute. Les données d’activités normales d’une personne âgée ont été modélisées par un mélange de gaussiennes nous permettant de détecter tout événement anormal. Notre méthode a été validée à l’aide d’une vidéothèque de chutes simulées et d’activités normales réalistes. Cependant, une information 3D telle que la localisation de la personne par rapport à son environnement peut être très intéressante pour un système d’analyse de comportement. Bien qu’il soit préférable d’utiliser un système multi-caméras pour obtenir une information 3D, nous avons prouvé qu’avec une seule caméra calibrée, il était possible de localiser une personne dans son environnement grâce à sa tête. Concrêtement, la tête de la personne, modélisée par une ellipsoide, est suivie dans la séquence d’images à l’aide d’un filtre à particules. La précision de la localisation 3D de la tête a été évaluée avec une bibliothèque de séquence vidéos contenant les vraies localisations 3D obtenues par un système de capture de mouvement (Motion Capture). Un exemple d’application utilisant la trajectoire 3D de la tête est proposée dans le cadre de la détection de chutes. En conclusion, un système de vidéosurveillance pour la détection de chutes avec une seule caméra par pièce est parfaitement envisageable. Pour réduire au maximum les risques de fausses alarmes, une méthode hybride combinant des informations 2D et 3D pourrait être envisagée.

Développement et validation d’un outil clinique pour l’analyse quantitative de la posture auprès de personnes atteintes d’une scoliose idiopathique

La scoliose idiopathique (SI) est une déformation tridimensionnelle (3D) de la colonne vertébrale et de la cage thoracique à potentiel évolutif pendant la croissance. Cette déformation 3D entraîne des asymétries de la posture. La correction de la posture est un des objectifs du traitement en physiothérapie chez les jeunes atteints d’une SI afin d’éviter la progression de la scoliose, de réduire les déformations morphologiques et leurs impacts sur la qualité de vie. Les outils cliniques actuels ne permettent pas de quantifier globalement les changements de la posture attribuables à la progression de la scoliose ou à l’efficacité des interventions thérapeutiques. L’objectif de cette thèse consiste donc au développement et à la validation d’un nouvel outil clinique permettant l’analyse quantitative de la posture auprès de personnes atteintes d’une SI. Ce projet vise plus spécifiquement à déterminer la fidélité et la validité des indices de posture (IP) de ce nouvel outil clinique et à vérifier leur capacité à détecter des changements entre les positions debout et assise. Suite à une recension de la littérature, 34 IP représentant l’alignement frontal et sagittal des différents segments corporels ont été sélectionnés. L’outil quantitatif clinique d’évaluation de la posture (outil 2D) construit dans ce projet consiste en un logiciel qui permet de calculer les différents IP (mesures angulaires et linéaires). L’interface graphique de cet outil est conviviale et permet de sélectionner interactivement des marqueurs sur les photographies digitales. Afin de vérifier la fidélité et la validité des IP de cet outil, la posture debout de 70 participants âgés entre 10 et 20 ans atteints d'une SI (angle de Cobb: 15º à 60º) a été évaluée à deux occasions par deux physiothérapeutes. Des marqueurs placés sur plusieurs repères anatomiques, ainsi que des points de référence anatomique (yeux, lobes des oreilles, etc.), ont permis de mesurer les IP 2D en utilisant des photographies. Ces mêmes marqueurs et points de référence ont également servi au calcul d’IP 3D obtenus par des reconstructions du tronc avec un système de topographie de surface. Les angles de Cobb frontaux et sagittaux et le déjettement C7-S1 ont été mesurés sur des radiographies. La théorie de la généralisabilité a été utilisée pour déterminer la fidélité et l’erreur standard de la mesure (ESM) des IP de l’outil 2D. Des coefficients de Pearson ont servi à déterminer la validité concomitante des IP du tronc de l’outil 2D avec les IP 3D et les mesures radiographiques correspondantes. Cinquante participants ont été également évalués en position assise « membres inférieurs allongés » pour l’étude comparative de la posture debout et assise. Des tests de t pour échantillons appariés ont été utilisés pour détecter les différences entre les positions debout et assise. Nos résultats indiquent un bon niveau de fidélité pour la majorité des IP de l’outil 2D. La corrélation entre les IP 2D et 3D est bonne pour les épaules, les omoplates, le déjettement C7-S1, les angles de taille, la scoliose thoracique et le bassin. Elle est faible à modérée pour la cyphose thoracique, la lordose lombaire et la scoliose thoraco-lombaire ou lombaire. La corrélation entre les IP 2D et les mesures radiographiques est bonne pour le déjettement C7-S1, la scoliose et la cyphose thoracique. L’outil est suffisamment discriminant pour détecter des différences entre la posture debout et assise pour dix des treize IP. Certaines recommandations spécifiques résultents de ce projet : la hauteur de la caméra devrait être ajustée en fonction de la taille des personnes; la formation des juges est importante pour maximiser la précision de la pose des marqueurs; et des marqueurs montés sur des tiges devraient faciliter l’évaluation des courbures vertébrales sagittales. En conclusion, l’outil développé dans le cadre de cette thèse possède de bonnes propriétés psychométriques et permet une évaluation globale de la posture. Cet outil devrait contribuer à l’amélioration de la pratique clinique en facilitant l’analyse de la posture debout et assise. Cet outil s’avère une alternative clinique pour suivre l’évolution de la scoliose thoracique et diminuer la fréquence des radiographies au cours du suivi de jeunes atteints d’une SI thoracique. Cet outil pourrait aussi être utile pour vérifier l’efficacité des interventions thérapeutiques sur la posture.

Spectro-imagerie optique à faible flux et comparaison de la cinématique Ha et HI d'un échantillon de galaxies proches

Un nouveau contrôleur de EMCCD (Electron multiplying Charge Coupled Device) est présenté. Il permet de diminuer significativement le bruit qui domine lorsque la puce EMCCD est utilisé pour du comptage de photons: le bruit d'injection de charge. À l'aide de ce contrôleur, une caméra EMCCD scientifique a été construite, caractérisée en laboratoire et testée à l'observatoire du mont Mégantic. Cette nouvelle caméra permet, entre autres, de réaliser des observations de la cinématique des galaxies par spectroscopie de champ intégral par interférométrie de Fabry-Perot en lumière Ha beaucoup plus rapidement, ou de galaxies de plus faible luminosité, que les caméras à comptage de photon basées sur des tubes amplificateurs. Le temps d'intégration nécessaire à l'obtention d'un rapport signal sur bruit donné est environ 4 fois moindre qu'avec les anciennes caméras. Les applications d'un tel appareil d'imagerie sont nombreuses: photométrie rapide et faible flux, spectroscopie à haute résolution spectrale et temporelle, imagerie limitée par la diffraction à partir de télescopes terrestres (lucky imaging), etc. D'un point de vue technique, la caméra est dominée par le bruit de Poisson pour les flux lumineux supérieurs à 0.002 photon/pixel/image. D'un autre côté, la raie d'hydrogène neutre (HI) à 21 cm a souvent été utilisée pour étudier la cinématique des galaxies. L'hydrogène neutre a l'avantage de se retrouver en quantité détectable au-delà du disque optique des galaxies. Cependant, la résolution spatiale de ces observations est moindre que leurs équivalents réalisés en lumière visible. Lors de la comparaison des données HI, avec des données à plus haute résolution, certaines différences étaient simplement attribuées à la faible résolution des observations HI. Le projet THINGS (The HI Nearby Galaxy Survey a observé plusieurs galaxies de l'échantillon SINGS (Spitzer Infrared Nearby Galaxies Survey). Les données cinématiques du projet THIGNS seront comparées aux données cinématiques obtenues en lumière Ha, afin de déterminer si la seule différence de résolution spatiale peut expliquer les différences observées. Les résultats montrent que des différences intrinsèques aux traceurs utilisées (hydrogène neutre ou ionisé), sont responsables de dissemblances importantes. La compréhension de ces particularités est importante: la distribution de la matière sombre, dérivée de la rotation des galaxies, est un test de certains modèles cosmologiques.

Apport d’une évaluation biomécanique 3D du genou dans la prise en charge orthopédique de patients ayant une rupture du ligament croisé antérieur

Parmi les blessures sportives reliées au genou, 20 % impliquent le ligament croisé antérieur (LCA). Le LCA étant le principal stabilisateur du genou, une lésion à cette structure engendre une importante instabilité articulaire influençant considérablement la fonction du genou. L’évaluation clinique actuelle des patients ayant une atteinte au LCA présente malheureusement des limitations importantes à la fois dans l’investigation de l’impact de la blessure et dans le processus diagnostic. Une évaluation biomécanique tridimensionnelle (3D) du genou pourrait s’avérer une avenue innovante afin de pallier à ces limitations. L’objectif général de la thèse est de démontrer la valeur ajoutée du domaine biomécanique dans (1) l’investigation de l’impact de la blessure sur la fonction articulaire du genou et dans (2) l’aide au diagnostic. Pour répondre aux objectifs de recherche un groupe de 29 patients ayant une rupture du LCA (ACLD) et un groupe contrôle de 15 participants sains ont pris part à une évaluation biomécanique 3D du genou lors de tâches de marche sur tapis roulant. L’évaluation des patrons biomécaniques 3D du genou a permis de démontrer que les patients ACLD adoptent un mécanisme compensatoire que nous avons intitulé pivot-shift avoidance gait. Cette adaptation biomécanique a pour objectif d’éviter de positionner le genou dans une condition susceptible de provoquer une instabilité antérolatérale du genou lors de la marche. Par la suite, une méthode de classification a été développée afin d’associer de manière automatique et objective des patrons biomécaniques 3D du genou soit au groupe ACLD ou au groupe contrôle. Pour cela, des paramètres ont été extraits des patrons biomécaniques en utilisant une décomposition en ondelettes et ont ensuite été classifiés par la méthode du plus proche voisin. Notre méthode de classification a obtenu un excellent niveau précision, de sensibilité et de spécificité atteignant respectivement 88%, 90% et 87%. Cette méthode a donc le potentiel de servir d’outil d’aide à la décision clinique. La présente thèse a démontré l’apport considérable d’une évaluation biomécanique 3D du genou dans la prise en charge orthopédique de patients présentant une rupture du LCA; plus spécifiquement dans l’investigation de l’impact de la blessure et dans l’aide au diagnostic.

Optimization and validation of a new 3D-US imaging robot to detect, localize and quantify lower limb arterial stenoses

L’athérosclérose est une maladie qui cause, par l’accumulation de plaques lipidiques, le durcissement de la paroi des artères et le rétrécissement de la lumière. Ces lésions sont généralement localisées sur les segments artériels coronariens, carotidiens, aortiques, rénaux, digestifs et périphériques. En ce qui concerne l’atteinte périphérique, celle des membres inférieurs est particulièrement fréquente. En effet, la sévérité de ces lésions artérielles est souvent évaluée par le degré d’une sténose (réduction >50 % du diamètre de la lumière) en angiographie, imagerie par résonnance magnétique (IRM), tomodensitométrie ou échographie. Cependant, pour planifier une intervention chirurgicale, une représentation géométrique artérielle 3D est notamment préférable. Les méthodes d’imagerie par coupe (IRM et tomodensitométrie) sont très performantes pour générer une imagerie tridimensionnelle de bonne qualité mais leurs utilisations sont dispendieuses et invasives pour les patients. L’échographie 3D peut constituer une avenue très prometteuse en imagerie pour la localisation et la quantification des sténoses. Cette modalité d’imagerie offre des avantages distincts tels la commodité, des coûts peu élevés pour un diagnostic non invasif (sans irradiation ni agent de contraste néphrotoxique) et aussi l’option d’analyse en Doppler pour quantifier le flux sanguin. Étant donné que les robots médicaux ont déjà été utilisés avec succès en chirurgie et en orthopédie, notre équipe a conçu un nouveau système robotique d’échographie 3D pour détecter et quantifier les sténoses des membres inférieurs. Avec cette nouvelle technologie, un radiologue fait l’apprentissage manuel au robot d’un balayage échographique du vaisseau concerné. Par la suite, le robot répète à très haute précision la trajectoire apprise, contrôle simultanément le processus d’acquisition d’images échographiques à un pas d’échantillonnage constant et conserve de façon sécuritaire la force appliquée par la sonde sur la peau du patient. Par conséquent, la reconstruction d’une géométrie artérielle 3D des membres inférieurs à partir de ce système pourrait permettre une localisation et une quantification des sténoses à très grande fiabilité. L’objectif de ce projet de recherche consistait donc à valider et optimiser ce système robotisé d’imagerie échographique 3D. La fiabilité d’une géométrie reconstruite en 3D à partir d’un système référentiel robotique dépend beaucoup de la précision du positionnement et de la procédure de calibration. De ce fait, la précision pour le positionnement du bras robotique fut évaluée à travers son espace de travail avec un fantôme spécialement conçu pour simuler la configuration des artères des membres inférieurs (article 1 - chapitre 3). De plus, un fantôme de fils croisés en forme de Z a été conçu pour assurer une calibration précise du système robotique (article 2 - chapitre 4). Ces méthodes optimales ont été utilisées pour valider le système pour l’application clinique et trouver la transformation qui convertit les coordonnées de l’image échographique 2D dans le référentiel cartésien du bras robotisé. À partir de ces résultats, tout objet balayé par le système robotique peut être caractérisé pour une reconstruction 3D adéquate. Des fantômes vasculaires compatibles avec plusieurs modalités d’imagerie ont été utilisés pour simuler différentes représentations artérielles des membres inférieurs (article 2 - chapitre 4, article 3 - chapitre 5). La validation des géométries reconstruites a été effectuée à l`aide d`analyses comparatives. La précision pour localiser et quantifier les sténoses avec ce système robotisé d’imagerie échographique 3D a aussi été déterminée. Ces évaluations ont été réalisées in vivo pour percevoir le potentiel de l’utilisation d’un tel système en clinique (article 3- chapitre 5).

Exploitation de contraintes photométriques et géométriques en vision : application au suivi, au calibrage et à la reconstruction

Cette thése a été réalisée dans le cadre d'une cotutelle avec l'Institut National Polytechnique de Grenoble (France). La recherche a été effectuée au sein des laboratoires de vision 3D (DIRO, UdM) et PERCEPTION-INRIA (Grenoble).