Project for Active and Robot Vision Course

Tässä työssä raportoidaan harjoitustyön kehittäminen ja toteuttaminen Aktiivisen- ja robottinäön kurssille. Harjoitustyössä suunnitellaan ja toteutetaan järjestelmä joka liikuttaa kappaleita robottikäsivarrella kolmiuloitteisessa avaruudessa. Kappaleidenpaikkojen määrittämiseen järjestelmä käyttää digitaalisia kuvia. Tässä työssä esiteltävässä harjoitustyötoteutuksessa käytettiin raja-arvoistusta HSV-väriavaruudessa kappaleiden segmentointiin kuvasta niiden värien perusteella. Segmentoinnin tuloksena saatavaa binäärikuvaa suodatettiin mediaanisuotimella kuvan häiriöiden poistamiseksi. Kappaleen paikkabinäärikuvassa määritettiin nimeämällä yhtenäisiä pikseliryhmiä yhtenäisen alueen nimeämismenetelmällä. Kappaleen paikaksi määritettiin suurimman nimetyn pikseliryhmän paikka. Kappaleiden paikat kuvassa yhdistettiin kolmiuloitteisiin koordinaatteihin kalibroidun kameran avulla. Järjestelmä liikutti kappaleita niiden arvioitujen kolmiuloitteisten paikkojen perusteella.

Matkapuhelimen näytön testaus massatuotannossa

Tässä diplomityössä perehdytään matkapuhelimen näytön testaamiseen massatuotannon eri vaiheissa. Pääasialliset keskittymisen kohteet ovat näytön ohjaamiseen tarvittava tasonmuunnin, sen suunnittelu ja toteutus sekä erilaiset näytöntarkastustekniikat. Samalla käydään läpi myös näyttöjen historiaa ja tulevaisuutta, sekä erilaisia konenäköjärjestelmiä. Työssä oli tavoitteena kehittää joustava ratkaisu nykyisten ja tulevien näyttöjen testaukseen ja ohjaamiseen. Tuloksena saatiin tehtävään sopiva tasonmuunnin ja ohjelmisto. Kehitetyt ratkaisut ovat myös helposti muunnettavissa tulevaisuuden tarpeisiin.

Kolmiulotteinen visualisointi mikromaailman konenäköjärjestelmässä

Työssä oli tarkoituksena saada toteutettua kolmiulotteiseen visualisointiin soveltuva ohjelmisto mikrokokoluokkaa olevien kappaleiden konenäköjärjestelmään. Työssä jouduttiin myös jatkokehittämään menetelmää kolmiulotteisen kuvan hankkimiseksi yhdellä kameralla mikrokokoisesta kohteesta. Kohteen kolmiulotteisella kuvalla voitaisiin suorittaa automaattista järjestelmäohjausta. Työssä tutkittiin ja selvitettiin laitteistolla saavutettavia tarkkuuksia ja nopeuksia, sen soveltamiseksi esimerkiksi mikromanipulaattorin ohjaamiseen. Lisäksi tutkittiin erilaisia kohteita joissa voitaisiin hyödyntää kolmiulotteista visualisointia. Tällaisia kohteita on kappaleiden laadunvalvonnassa tai niiden tutkimisessa ja esittämisessä. Syvyystiedon keräävällä menetelmällä oli saavutettava riittävä nopeus, jotta sillä voitaisiin tarvittaessa ohjata reaaliaikaisesti toimilaitteita. Menetelmänä käytettiin "Depth from Focusing" -menetelmää, johon VTT:llä oli jo aiemmin kehitetty automaattinen fokusointiohjelmisto. Työn puitteissa suoritettiin laitteisto- ja menetelmäkehitystä järjestelmän nopeuttamiseksi. Visualisoinnin toteuttamisen eri mahdollisuuksia kartoitettiin ja sellainen toteutettiin rakennettuun konenäköjärjestelmään.

Konenäköjärjestelmien ostokriteerit ja laitetoimittajien asiakashankinta

Työn tavoitteena oli edesauttaa Euroelektro International Oy:tä kasvattamaan asiakaskuntaansa löytämällä oikeat lähtökohdat yrityksen markkinoinnin ja myynnin tehostamiselle sekä kannattavien kohdesegmenttien valinnalle. Työssä tehtiin tutkimus, jolla määritettiin yrityksen tyypillinen asiakas, asiakastarpeet, konenäköjärjestelmien ostokriteerit ja –preferenssit sekä ostopäätöksen tekijät ja siihen vaikuttavat henkilöt. Lisäksi selvitettiin, mitkä ovat Euroelektron potentiaalisia ja ei-potentiaalisia teollisuuden aloja. Tutkimuksen tulosten perusteella laadittiin lopuksi yrityksen markkinoinnin ja myynnin kehittämisehdotelma. Tutkimus rajattiin konenäköä jo käyttäviin yrityksiin, konenäön käyttöä suunnitteleviin yrityksiin, yrityksiin, joiden ajateltiin voivan tulevaisuudessa käyttää konenäköä ja yrityksiin, jotka ovat tekemisissä konenäköasiakkaiden kanssa. Markkinointi- ja myyntiprosessien hallintaan yrityksen tulisi kehittää oma seurantaohjelma, jonka avulla valitun markkinointistrategian onnistuneisuutta voitaisiin helposti seurata, sekä laatukäsikirja, mistä löytyisivät standardoidut toimenpidemallit asiakashankintaan, kenttämyyntiin ja myyntiprojektien läpiviemiseen sekä eri toimihenkilöiden toimenkuvaukset ja vastuualueet.

Visual Measurement and Modelling of Tool Wear in Rough Turning

Huolimatta korkeasta automaatioasteesta sorvausteollisuudessa, muutama keskeinen ongelma estää sorvauksen täydellisen automatisoinnin. Yksi näistä ongelmista on työkalun kuluminen. Tämä työ keskittyy toteuttamaan automaattisen järjestelmän kulumisen, erityisesti viistekulumisen, mittaukseen konenäön avulla. Kulumisen mittausjärjestelmä poistaa manuaalisen mittauksen tarpeen ja minimoi ajan, joka käytetään työkalun kulumisen mittaukseen. Mittauksen lisäksi tutkitaan kulumisen mallinnusta sekä ennustamista. Automaattinen mittausjärjestelmä sijoitettiin sorvin sisälle ja järjestelmä integroitiin onnistuneesti ulkopuolisten järjestelmien kanssa. Tehdyt kokeet osoittivat, että mittausjärjestelmä kykenee mittaamaan työkalun kulumisen järjestelmän oikeassa ympäristössä. Mittausjärjestelmä pystyy myös kestämään häiriöitä, jotka ovat konenäköjärjestelmille yleisiä. Työkalun kulumista mallinnusta tutkittiin useilla eri menetelmillä. Näihin kuuluivat muiden muassa neuroverkot ja tukivektoriregressio. Kokeet osoittivat, että tutkitut mallit pystyivät ennustamaan työkalun kulumisasteen käytetyn ajan perusteella. Parhaan tuloksen antoivat neuroverkot Bayesiläisellä regularisoinnilla.

Sähköverkkojen käytöntuki- ja käytönvalvontajärjestelmien käyttöönotto

Käytöntuki- ja käytönvalvontajärjestelmät, eli käytönhallintajärjestelmät ovat osana sähköverkkoyhtiöiden arkea ja ilman niiden tuomaa apua sähkön jakelun valvonta ja hallinta olisi hyvin haastava tehtävä. Lisäksi käytönhallintajärjestelmät moitteeton toi-miminen tarjoaa hyvän alustan kehittää tulevaisuuden tärkeitä hankkeita kuten Smart Grid konseptia. Tässä työssä tarkastellaan käytönhallintajärjestelmien käyttöönottoa, kuinka se voidaan toteuttaa ja mitä asioita pitää ottaa huomioon käyttöönoton eri vaiheissa. Käytönhallintajärjestelmien käyttöönotto suoritettiin Lappeenrannan teknillisen yliopiston sähkömarkkinalaboratoriossa sijaitsevalla verkkosimulaattorille, johon asennettiin MicroSCADA SYS 600 9.1 käytönvalvontajärjestelmä sekä DMS 600 4.2 käytöntukijärjestelmä.

Robots and robotic systems for the electronics and telecommunication industry

Tämä diplomityö tutkii elektroniikka- ja telekommunikaatioteollisuutta sekä siihen läheisesti liittyviä robotteja ja robottijärjestelmiä. Tavoitteena on määrittää E&T-teollisuuden prosesseihin soveltuvien robottien testausmenetelmä. Tavoitteena on myös selvittää kahden ABB:n robotin soveltuvuutta E&T-teollisuuden tarpeisiin. Muutamia systemaattisia valmistusjärjestelmien suunnitteluun soveltuvia menetelmiä ja apuvälineitä on myös käsitelty. Alussa työ keskittyy elektroniikka- ja telekommunikaatioteollisuuden nykytilan tutkimiseen sekä siellä vallitsevien ja ennustettujen trendien kartoitukseen. Kohdat “Collaborative manufacturing” ja E&T-teollisuuden valmistusjärjestelmille asettamat vaatimukset käydään yksityiskohtaisesti läpi. Tutkimuksen pääkohteina ovat robotit, erityisesti ABB:n IRB 140 ja IRB 340 sekä robottien testausmenetelmän määrittäminen. Työssä käydään läpi IRB 340:llä suoritetut testit, jotka tehtiin sekä konenäköjärjestelmää apuna käyttäen että ilman. Myös TTKK:lla suoritetut robottitestit on käyty läpi. Robottien testituloksia on analysoitu ja vertailtu muihin robotteihin. Testausmenetelmät perustuvat ISO 9283 standardiin. Viimeinen osa työstä esittelee robottijärjestelmien systemaattiseen suunnitteluun soveltuvia menetelmiä ja apuvälineitä. Esillä ovat mm. Modular function deployment (MFD) ja The system design method (SDM).

Performance Evaluation and Calibration of Machine Vision Measurement

This thesis presents the calibration and comparison of two systems, a machine vision system that uses 3 channel RGB images and a line scanning spectral system. Calibration. is the process of checking and adjusting the accuracy of a measuring instrument by comparing it with standards. For the RGB system self-calibrating methods for finding various parameters of the imaging device were developed. Color calibration was done and the colors produced by the system were compared to the known colors values of the target. Software drivers for the Sony Robot were also developed and a mechanical part to connect a camera to the robot was also designed. For the line scanning spectral system, methods for the calibrating the alignment of the system and the measurement of the dimensions of the line scanned by the system were developed. Color calibration of the spectral system is also presented.

Sensor Fusion of Proprioception, Force and Vision in Estimation and Robot

Sensor-based robot control allows manipulation in dynamic environments with uncertainties. Vision is a versatile low-cost sensory modality, but low sample rate, high sensor delay and uncertain measurements limit its usability, especially in strongly dynamic environments. Force is a complementary sensory modality allowing accurate measurements of local object shape when a tooltip is in contact with the object. In multimodal sensor fusion, several sensors measuring different modalities are combined to give a more accurate estimate of the environment. As force and vision are fundamentally different sensory modalities not sharing a common representation, combining the information from these sensors is not straightforward. In this thesis, methods for fusing proprioception, force and vision together are proposed. Making assumptions of object shape and modeling the uncertainties of the sensors, the measurements can be fused together in an extended Kalman filter. The fusion of force and visual measurements makes it possible to estimate the pose of a moving target with an end-effector mounted moving camera at high rate and accuracy. The proposed approach takes the latency of the vision system into account explicitly, to provide high sample rate estimates. The estimates also allow a smooth transition from vision-based motion control to force control. The velocity of the end-effector can be controlled by estimating the distance to the target by vision and determining the velocity profile giving rapid approach and minimal force overshoot. Experiments with a 5-degree-of-freedom parallel hydraulic manipulator and a 6-degree-of-freedom serial manipulator show that integration of several sensor modalities can increase the accuracy of the measurements significantly.

Design of traction transmission and suspension systems for an omni-directional mobile robot

This project aims to design and manufacture a mobile robot with two Universal Robot UR10 mainly used indoors. In order to obtain omni-directional maneuverability, the mobile robot is constructed with Mecanum wheels. The Mecanum wheel can move in any direction with a series of rollers attached to itself. These rollers are angled at 45º about the hub’s circumference. This type of wheels can be used in both driving and steering with their any-direction property. This paper is focused on the design of traction system and suspension system, and the velocity control of Mecanum wheels in the close-loop control system. The mechanical design includes selection of bearing housing, couplers which are act as connection between shafts, motor parts, and other needed components. The 3D design software SolidWorks is utilized to assemble all the components in order to get correct tolerance. The driving shaft is designed based on assembled structure via the software as well. The design of suspension system is to compensate the assembly error of Mecanum wheels to guarantee the stability of the robot. The control system of motor drivers is realized through the Robot Operating System (ROS) on Ubuntu Linux. The purpose of inverse kinematics is to obtain the relationship among the movements of all Mecanum wheels. Via programming and interacting with the computer, the robot could move with required speed and direction.

Design and implementation of machine vision system for the mobile assembly robot

The review of intelligent machines shows that the demand for new ways of helping people in perception of the real world is becoming higher and higher every year. This thesis provides information about design and implementation of machine vision for mobile assembly robot. The work has been done as a part of LUT project in Laboratory of Intelligent Machines. The aim of this work is to create a working vision system. The qualitative and quantitative research were done to complete this task. In the first part, the author presents the theoretical background of such things as digital camera work principles, wireless transmission basics, creation of live stream, methods used for pattern recognition. Formulas, dependencies and previous research related to the topic are shown. In the second part, the equipment used for the project is described. There is information about the brands, models, capabilities and also requirements needed for implementation. Although, the author gives a description of LabVIEW software, its add-ons and OpenCV which are used in the project. Furthermore, one can find results in further section of considered thesis. They mainly represented by screenshots from cameras, working station and photos of the system. The key result of this thesis is vision system created for the needs of mobile assembly robot. Therefore, it is possible to see graphically what was done on examples. Future research in this field includes optimization of the pattern recognition algorithm. This will give less response time for recognizing objects. Presented by author system can be used also for further activities which include artificial intelligence usage.

Machine vision measurement system for paper printability assessments

This work had two primary objectives: 1) to produce a working prototype for automated printability assessment and 2) to perform a study of available machine vision and other necessary hardware solutions. The three printability testing methods, IGT Picking,He¬liotest, and mottling, considered in this work have several different requirements and the task was to produce a single automated testing system suitable for all methods. A system was designed and built and its performance was tested using the Heliotest. Working proto¬types are important tools for implementing theoretical methods into practical systems and testing and demonstrating the methodsin real life conditions. The system was found to be sufficient for the Heliotest method. Further testing and possible modifications related to other two test methods were left for future works. A short study of available systems and solutions concerning image acquisition of machine vision was performed. The theoretical part of this study includes lighting systems, optical systems and image acquisition tools, mainly cameras and the underlying physical aspects for each portion.

Joustava hitsausautomaatio piensarjatuotannossa

Kustannuspaineet, tuotteiden laatuvaatimukset ja lisääntyvässä määrin myös ammattitaitoisen työvoiman pula lisäävät robotisoinnin käyttötarvetta hitsauksessa. Tämä työ on tehty edellä mainituista lähtökohdista ja käsittelee robottihitsausjärjestelmän suunnitteluprojektia, joustavaa hitsausautomaatiota ja robotiikan soveltamista. Näkökohtana on Savonia-ammattikorkeakoulun sekä Pohjois-Savon alueen yritysten tutkimus-, kehitys- ja koulutustoiminnan tarpeet. Joustavuus on hitsausjärjestelmän päätavoite, jolla pyritään vastaamaan asiakasohjautuvan yksittäis- ja piensarjatuotannon haasteisiin. Ratkaisua yksittäis- ja piensarjatuotteiden kokonaistaloudelliseen hitsaukseen on haettu hitsausrobotin rinnalle lisätyllä apurobotilla, jonka päätehtävä on kappaleenkäsittely, mutta sitä voidaan käyttää myös mm. robotisoituun leikkauksen ja särmäykseen. Tavallisuudesta poikkeavaa järjestelmäratkaisua on perusteltu sillä, että ohjaus- ja ohjelmointitekniikan sekä kehittyneen anturoinnin myötä on robottien käytettävyys parantunut ja aiempaa haasteellisempien robottijärjestelmien toteuttaminen on tullut näin mahdolliseksi. Lisäksi virtuaalimallinnus, simulointi ja etäohjelmointi ovat työkaluja, joita voidaan käyttää mm. tuotannon laadun ja tehokkuuden parantamiseen. Työssä esitetty robottiaseman suunnittelu alkaa järjestelmän määrittelystä, vaatimuslistan laadinnasta sekä visioinnista ja päättyy kolmen järjestelmävaihtoehdon vertailuun. Esitetyillä järjestelmävaihtoehdoilla on haettu mahdollisuutta yhdistää yleensä erillisinä toteutettuja työvaiheita yhteiseen soluun. Tuotannon joustavuus on ollut tuotantokapasiteettia tärkeämpi laitteistokokoonpanon valintaperuste.

Simulation Supported Robot Programming using XML

The main objective of this master's thesis is to study robot programming using simulation software, and also how to embed the simulation software into company's own robot controlling software. The further goal is to study a new communication interface to the assembly line's components -more precisely how to connect the robot cell into this new communication system. Conveyor lines are already available where the conveyors use the new communication standard. The robot cell is not yet capable of communicating with to other devices using the new communication protocols. The main problem among robot manufacturers is that they all have their own communication systems and programming languages. There has not been any common programming language to program all the different robot manufacturers robots, until the RRS (Realistic Robot Simulation) standards were developed. The RRS - II makes it possible to create the robot programs in the simulation software and it gives a common user interface for different robot manufacturers robots. This thesis will present the RRS - II standard and the robot manufacturers situation for the RRS - II support. Thesis presents how the simulation software can be embedded into company's own robot controlling software and also how the robot cell can be connected to the CAMX (Computer Aided Manufacturing using XML) communication system.

Measurement systems in wall production applications

Tässä tutkimuksessa kehitettiin prototyyppi betonielementin dimension mittaus järjestelmästä. Tämä järjestelmä mahdollistaa kolmiulotteisen kappaleen mittauksen. Tutkimuksessa kehitettiin myös stereonäköön perustuva kappaleen mittaus. Prototyyppiä testailin ja tulokset osoittautuivat luotettaviksi. Tutkimuksessa selvitetään ja vertaillaan myös muita lähestymistapoja ja olemassa olevia järjestelmiä kappaleen kolmiuloitteiseen mittaukseen, joita Suomalaiset yhtiöt käyttävät tällä alalla.