Measuring irregularities and surface defects from printed patterns

Quality inspection and assurance is a veryimportant step when today's products are sold to markets. As products are produced in vast quantities, the interest to automate quality inspection tasks has increased correspondingly. Quality inspection tasks usuallyrequire the detection of deficiencies, defined as irregularities in this thesis. Objects containing regular patterns appear quite frequently on certain industries and science, e.g. half-tone raster patterns in the printing industry, crystal lattice structures in solid state physics and solder joints and components in the electronics industry. In this thesis, the problem of regular patterns and irregularities is described in analytical form and three different detection methods are proposed. All the methods are based on characteristics of Fourier transform to represent regular information compactly. Fourier transform enables the separation of regular and irregular parts of an image but the three methods presented are shown to differ in generality and computational complexity. Need to detect fine and sparse details is common in quality inspection tasks, e.g., locating smallfractures in components in the electronics industry or detecting tearing from paper samples in the printing industry. In this thesis, a general definition of such details is given by defining sufficient statistical properties in the histogram domain. The analytical definition allowsa quantitative comparison of methods designed for detail detection. Based on the definition, the utilisation of existing thresholding methodsis shown to be well motivated. Comparison of thresholding methods shows that minimum error thresholding outperforms other standard methods. The results are successfully applied to a paper printability and runnability inspection setup. Missing dots from a repeating raster pattern are detected from Heliotest strips and small surface defects from IGT picking papers.

Paper Surface Image Processing for Roughness Quality Measurement

Diplomityössä on käsitelty paperin pinnankarkeuden mittausta, joka on keskeisimpiä ongelmia paperimateriaalien tutkimuksessa. Paperiteollisuudessa käytettävät mittausmenetelmät sisältävät monia haittapuolia kuten esimerkiksi epätarkkuus ja yhteensopimattomuus sileiden papereiden mittauksissa, sekä suuret vaatimukset laboratorio-olosuhteille ja menetelmien hitaus. Työssä on tutkittu optiseen sirontaan perustuvia menetelmiä pinnankarkeuden määrittämisessä. Konenäköä ja kuvan-käsittelytekniikoita tutkittiin karkeilla paperipinnoilla. Tutkimuksessa käytetyt algoritmit on tehty Matlab® ohjelmalle. Saadut tulokset osoittavat mahdollisuuden pinnankarkeuden mittaamiseen kuvauksen avulla. Parhaimman tuloksen perinteisen ja kuvausmenetelmän välillä antoi fraktaaliulottuvuuteen perustuva menetelmä.

Joustava hitsausautomaatio piensarjatuotannossa

Kustannuspaineet, tuotteiden laatuvaatimukset ja lisääntyvässä määrin myös ammattitaitoisen työvoiman pula lisäävät robotisoinnin käyttötarvetta hitsauksessa. Tämä työ on tehty edellä mainituista lähtökohdista ja käsittelee robottihitsausjärjestelmän suunnitteluprojektia, joustavaa hitsausautomaatiota ja robotiikan soveltamista. Näkökohtana on Savonia-ammattikorkeakoulun sekä Pohjois-Savon alueen yritysten tutkimus-, kehitys- ja koulutustoiminnan tarpeet. Joustavuus on hitsausjärjestelmän päätavoite, jolla pyritään vastaamaan asiakasohjautuvan yksittäis- ja piensarjatuotannon haasteisiin. Ratkaisua yksittäis- ja piensarjatuotteiden kokonaistaloudelliseen hitsaukseen on haettu hitsausrobotin rinnalle lisätyllä apurobotilla, jonka päätehtävä on kappaleenkäsittely, mutta sitä voidaan käyttää myös mm. robotisoituun leikkauksen ja särmäykseen. Tavallisuudesta poikkeavaa järjestelmäratkaisua on perusteltu sillä, että ohjaus- ja ohjelmointitekniikan sekä kehittyneen anturoinnin myötä on robottien käytettävyys parantunut ja aiempaa haasteellisempien robottijärjestelmien toteuttaminen on tullut näin mahdolliseksi. Lisäksi virtuaalimallinnus, simulointi ja etäohjelmointi ovat työkaluja, joita voidaan käyttää mm. tuotannon laadun ja tehokkuuden parantamiseen. Työssä esitetty robottiaseman suunnittelu alkaa järjestelmän määrittelystä, vaatimuslistan laadinnasta sekä visioinnista ja päättyy kolmen järjestelmävaihtoehdon vertailuun. Esitetyillä järjestelmävaihtoehdoilla on haettu mahdollisuutta yhdistää yleensä erillisinä toteutettuja työvaiheita yhteiseen soluun. Tuotannon joustavuus on ollut tuotantokapasiteettia tärkeämpi laitteistokokoonpanon valintaperuste.

Level Set Methods in Image Processing

This thesis gives an overview of the use of the level set methods in the field of image science. The similar fast marching method is discussed for comparison, also the narrow band and the particle level set methods are introduced. The level set method is a numerical scheme for representing, deforming and recovering structures in an arbitrary dimensions. It approximates and tracks the moving interfaces, dynamic curves and surfaces. The level set method does not define how and why some boundary is advancing the way it is but simply represents and tracks the boundary. The principal idea of the level set method is to represent the N dimensional boundary in the N+l dimensions. This gives the generality to represent even the complex boundaries. The level set methods can be powerful tools to represent dynamic boundaries, but they can require lot of computing power. Specially the basic level set method have considerable computational burden. This burden can be alleviated with more sophisticated versions of the level set algorithm like the narrow band level set method or with the programmable hardware implementation. Also the parallel approach can be used in suitable applications. It is concluded that these methods can be used in a quite broad range of image applications, like computer vision and graphics, scientific visualization and also to solve problems in computational physics. Level set methods and methods derived and inspired by it will be in the front line of image processing also in the future.

Keraamisten laattojen luokittelu väripiirteiden avulla

Vaikka keraamisten laattojen valmistusprosessi onkin täysin automatisoitu, viimeinen vaihe eli laaduntarkistus ja luokittelu tehdään yleensä ihmisvoimin. Automaattinen laaduntarkastus laattojen valmistuksessa voidaan perustella taloudellisuus- ja turvallisuusnäkökohtien avulla. Tämän työn tarkoituksena on kuvata tutkimusprojektia keraamisten laattojen luokittelusta erilaisten väripiirteiden avulla. Oleellisena osana tutkittiin RGB- ja spektrikuvien välistä eroa. Työn teoreettinen osuus käy läpi aiemmin aiheesta tehdyn tutkimuksen sekä antaa taustatietoa konenäöstä, hahmontunnistuksesta, luokittelijoista sekä väriteoriasta. Käytännön osan aineistona oli 25 keraamista laattaa, jotka olivat viidestä eri luokasta. Luokittelussa käytettiin apuna k:n lähimmän naapurin (k-NN) luokittelijaa sekä itseorganisoituvaa karttaa (SOM). Saatuja tuloksia verrattiin myös ihmisten tekemään luokitteluun. Neuraalilaskenta huomattiin tärkeäksi työkaluksi spektrianalyysissä. SOM:n ja spektraalisten piirteiden avulla saadut tulokset olivat lupaavia ja ainoastaan kromatisoidut RGB-piirteet olivat luokittelussa parempia kuin nämä.

Yksittäistuotannon robotisointi konenäön avulla

Työn tavoitteena oli uuden konenäköpohjaisen hitsausrobottiaseman käyttöönotto ja järjestelmän kehittäminen siten, että voitiin mahdollistaa vähintään vaadittu 70 %:n kaariaikasuhde ohjelmien sisällä. Aseman käyttöönotolla pyrittiin tehostamaan hitsaustyötä ja helpottamaan tuotanto-paineita osavalmistuksen paneeli-linjalla. Hitsausasemalla parannetaan myös työntekijöiden työergonomiaa sekä koko työn imagoa. Kirjallisen osan tarkoituksena oli tutkia robotisoitua hitsausta ja sen tuomia etuja, verrata jo olemassa olevia ohjelmointimenetelmiä uuteen ohjelmointitapaan ja selvittää robottien tarkkuuksia. Kirjallisuusosan jälkimmäisessä osassa tutustuttiin konenäköön ja sen laitteistoihin sekä sovelluksiin. Kirjallisuus-tutkimuksessa selvisi, että uusi ohjelmointimenetelmä on selvä parannus kyseiseen sovellukseen. Käytännön osassa on esitelty konenäköpohjainen hitsausrobottiasema sen suunnittelusta, käyttöönottoon ja tuotantotesteihin asti. Käytännön osassa on lisäksi esitelty asema osana koko automatisointiprojektia. Lisäksi on kerrottu järjestelmän toiminnasta sekä makroista, joihin robotin toiminta perustuu. Lopuksi on tehty katsaus maailmalla olevista vastaavista järjestelmistä ja niiden teknologioista sekä verrattiin niitä tähän uuteen järjestelmään. Tavoitteena olleeseen 70% kaariaikasuhteeseen ohjelmien sisällä päästiin jo lyhyen koejakson aikana. Käyttöönotettu konenäköpohjainen hitsausrobottiasema on tiettävästi ensimmäinen hitsausasema maailmassa, jota ei tarvitse ohjelmoida etukäteen. Ohjelmointiin kuluva aika on minimaalinen, koska operaattori ohjelmoi robotin sen hitsatessa tuotetta. Kokeellinen osa osoitti, että käyttöönotettu konenäköpohjainen hitsausrobottiasema toimii, kuten se oli suunniteltukin. Käyttöönoton yhteydessä huomattiin monia kehitettäviä asioita, joilla järjestelmästä on mahdollista saada vieläkin tehokkaampi.

Matkapuhelimen näytön testaus massatuotannossa

Tässä diplomityössä perehdytään matkapuhelimen näytön testaamiseen massatuotannon eri vaiheissa. Pääasialliset keskittymisen kohteet ovat näytön ohjaamiseen tarvittava tasonmuunnin, sen suunnittelu ja toteutus sekä erilaiset näytöntarkastustekniikat. Samalla käydään läpi myös näyttöjen historiaa ja tulevaisuutta, sekä erilaisia konenäköjärjestelmiä. Työssä oli tavoitteena kehittää joustava ratkaisu nykyisten ja tulevien näyttöjen testaukseen ja ohjaamiseen. Tuloksena saatiin tehtävään sopiva tasonmuunnin ja ohjelmisto. Kehitetyt ratkaisut ovat myös helposti muunnettavissa tulevaisuuden tarpeisiin.

Robots and robotic systems for the electronics and telecommunication industry

Tämä diplomityö tutkii elektroniikka- ja telekommunikaatioteollisuutta sekä siihen läheisesti liittyviä robotteja ja robottijärjestelmiä. Tavoitteena on määrittää E&T-teollisuuden prosesseihin soveltuvien robottien testausmenetelmä. Tavoitteena on myös selvittää kahden ABB:n robotin soveltuvuutta E&T-teollisuuden tarpeisiin. Muutamia systemaattisia valmistusjärjestelmien suunnitteluun soveltuvia menetelmiä ja apuvälineitä on myös käsitelty. Alussa työ keskittyy elektroniikka- ja telekommunikaatioteollisuuden nykytilan tutkimiseen sekä siellä vallitsevien ja ennustettujen trendien kartoitukseen. Kohdat “Collaborative manufacturing” ja E&T-teollisuuden valmistusjärjestelmille asettamat vaatimukset käydään yksityiskohtaisesti läpi. Tutkimuksen pääkohteina ovat robotit, erityisesti ABB:n IRB 140 ja IRB 340 sekä robottien testausmenetelmän määrittäminen. Työssä käydään läpi IRB 340:llä suoritetut testit, jotka tehtiin sekä konenäköjärjestelmää apuna käyttäen että ilman. Myös TTKK:lla suoritetut robottitestit on käyty läpi. Robottien testituloksia on analysoitu ja vertailtu muihin robotteihin. Testausmenetelmät perustuvat ISO 9283 standardiin. Viimeinen osa työstä esittelee robottijärjestelmien systemaattiseen suunnitteluun soveltuvia menetelmiä ja apuvälineitä. Esillä ovat mm. Modular function deployment (MFD) ja The system design method (SDM).

Kolmiulotteinen visualisointi mikromaailman konenäköjärjestelmässä

Työssä oli tarkoituksena saada toteutettua kolmiulotteiseen visualisointiin soveltuva ohjelmisto mikrokokoluokkaa olevien kappaleiden konenäköjärjestelmään. Työssä jouduttiin myös jatkokehittämään menetelmää kolmiulotteisen kuvan hankkimiseksi yhdellä kameralla mikrokokoisesta kohteesta. Kohteen kolmiulotteisella kuvalla voitaisiin suorittaa automaattista järjestelmäohjausta. Työssä tutkittiin ja selvitettiin laitteistolla saavutettavia tarkkuuksia ja nopeuksia, sen soveltamiseksi esimerkiksi mikromanipulaattorin ohjaamiseen. Lisäksi tutkittiin erilaisia kohteita joissa voitaisiin hyödyntää kolmiulotteista visualisointia. Tällaisia kohteita on kappaleiden laadunvalvonnassa tai niiden tutkimisessa ja esittämisessä. Syvyystiedon keräävällä menetelmällä oli saavutettava riittävä nopeus, jotta sillä voitaisiin tarvittaessa ohjata reaaliaikaisesti toimilaitteita. Menetelmänä käytettiin "Depth from Focusing" -menetelmää, johon VTT:llä oli jo aiemmin kehitetty automaattinen fokusointiohjelmisto. Työn puitteissa suoritettiin laitteisto- ja menetelmäkehitystä järjestelmän nopeuttamiseksi. Visualisoinnin toteuttamisen eri mahdollisuuksia kartoitettiin ja sellainen toteutettiin rakennettuun konenäköjärjestelmään.

Konenäköjärjestelmien ostokriteerit ja laitetoimittajien asiakashankinta

Työn tavoitteena oli edesauttaa Euroelektro International Oy:tä kasvattamaan asiakaskuntaansa löytämällä oikeat lähtökohdat yrityksen markkinoinnin ja myynnin tehostamiselle sekä kannattavien kohdesegmenttien valinnalle. Työssä tehtiin tutkimus, jolla määritettiin yrityksen tyypillinen asiakas, asiakastarpeet, konenäköjärjestelmien ostokriteerit ja –preferenssit sekä ostopäätöksen tekijät ja siihen vaikuttavat henkilöt. Lisäksi selvitettiin, mitkä ovat Euroelektron potentiaalisia ja ei-potentiaalisia teollisuuden aloja. Tutkimuksen tulosten perusteella laadittiin lopuksi yrityksen markkinoinnin ja myynnin kehittämisehdotelma. Tutkimus rajattiin konenäköä jo käyttäviin yrityksiin, konenäön käyttöä suunnitteleviin yrityksiin, yrityksiin, joiden ajateltiin voivan tulevaisuudessa käyttää konenäköä ja yrityksiin, jotka ovat tekemisissä konenäköasiakkaiden kanssa. Markkinointi- ja myyntiprosessien hallintaan yrityksen tulisi kehittää oma seurantaohjelma, jonka avulla valitun markkinointistrategian onnistuneisuutta voitaisiin helposti seurata, sekä laatukäsikirja, mistä löytyisivät standardoidut toimenpidemallit asiakashankintaan, kenttämyyntiin ja myyntiprojektien läpiviemiseen sekä eri toimihenkilöiden toimenkuvaukset ja vastuualueet.

Visual Measurement and Modelling of Tool Wear in Rough Turning

Huolimatta korkeasta automaatioasteesta sorvausteollisuudessa, muutama keskeinen ongelma estää sorvauksen täydellisen automatisoinnin. Yksi näistä ongelmista on työkalun kuluminen. Tämä työ keskittyy toteuttamaan automaattisen järjestelmän kulumisen, erityisesti viistekulumisen, mittaukseen konenäön avulla. Kulumisen mittausjärjestelmä poistaa manuaalisen mittauksen tarpeen ja minimoi ajan, joka käytetään työkalun kulumisen mittaukseen. Mittauksen lisäksi tutkitaan kulumisen mallinnusta sekä ennustamista. Automaattinen mittausjärjestelmä sijoitettiin sorvin sisälle ja järjestelmä integroitiin onnistuneesti ulkopuolisten järjestelmien kanssa. Tehdyt kokeet osoittivat, että mittausjärjestelmä kykenee mittaamaan työkalun kulumisen järjestelmän oikeassa ympäristössä. Mittausjärjestelmä pystyy myös kestämään häiriöitä, jotka ovat konenäköjärjestelmille yleisiä. Työkalun kulumista mallinnusta tutkittiin useilla eri menetelmillä. Näihin kuuluivat muiden muassa neuroverkot ja tukivektoriregressio. Kokeet osoittivat, että tutkitut mallit pystyivät ennustamaan työkalun kulumisasteen käytetyn ajan perusteella. Parhaan tuloksen antoivat neuroverkot Bayesiläisellä regularisoinnilla.

A new approach to segmentation based on fusing circumscribed contours, region growing and clustering

One of the major problems in machine vision is the segmentation of images of natural scenes. This paper presents a new proposal for the image segmentation problem which has been based on the integration of edge and region information. The main contours of the scene are detected and used to guide the posterior region growing process. The algorithm places a number of seeds at both sides of a contour allowing stating a set of concurrent growing processes. A previous analysis of the seeds permits to adjust the homogeneity criterion to the regions's characteristics. A new homogeneity criterion based on clustering analysis and convex hull construction is proposed

A concurrent region growing algorithm guided by circumscribed contours

Image segmentation of natural scenes constitutes a major problem in machine vision. This paper presents a new proposal for the image segmentation problem which has been based on the integration of edge and region information. This approach begins by detecting the main contours of the scene which are later used to guide a concurrent set of growing processes. A previous analysis of the seed pixels permits adjustment of the homogeneity criterion to the region's characteristics during the growing process. Since the high variability of regions representing outdoor scenes makes the classical homogeneity criteria useless, a new homogeneity criterion based on clustering analysis and convex hull construction is proposed. Experimental results have proven the reliability of the proposed approach

Unsupervised visual object categorization

The number of digital images has been increasing exponentially in the last few years. People have problems managing their image collections and finding a specific image. An automatic image categorization system could help them to manage images and find specific images. In this thesis, an unsupervised visual object categorization system was implemented to categorize a set of unknown images. The system is unsupervised, and hence, it does not need known images to train the system which needs to be manually obtained. Therefore, the number of possible categories and images can be huge. The system implemented in the thesis extracts local features from the images. These local features are used to build a codebook. The local features and the codebook are then used to generate a feature vector for an image. Images are categorized based on the feature vectors. The system is able to categorize any given set of images based on the visual appearance of the images. Images that have similar image regions are grouped together in the same category. Thus, for example, images which contain cars are assigned to the same cluster. The unsupervised visual object categorization system can be used in many situations, e.g., in an Internet search engine. The system can categorize images for a user, and the user can then easily find a specific type of image.

Kolmiulotteisen konenakojärjestelmän soveltuminen matkapuhelimen alikokoonpanojen testaukseen massatuotannossa

Tässä diplomityössä tutkitaan kolmiulotteisen konenak6järjestelmän soveltuvuutta matkapuhelimien alikokoonpanojen testaukseen massatuotannossa. Tavoitteena oli saada tietoa 3D järjestelmän käytettävyydestä suorituskyvyn ja kapasiteetin suhteen sekä selvittää järjestelmän joustavuutta testattavia tuotteita vaihdettaessa. Haluttiin myös selvittää, että ratkaiseeko 3D järjestelmä käytössä olevan 2D järjestelmän kanssa ilmenneitä ongelmia Järjestelmän suorituskykyä tutkittiin tekemällä testiajoja, joista saatuja tuloksia analysoitiin tilastollisella laadunvalvontaohjelmistolla. Varsinaisen kehitystyön teki konenäköjärjestelmiin erikoistunut alihankkija, jolla on kokemusta 3D testauksesta muilta teollisuuden aloilta. Matkapuhelimien alikokoonpanojen testauksessa laatukriteerit ja tarkkuusvaatimukset ovat kuitenkin liian kovia saavutettaviksi 3D lasertriangulaatioon perustuvaa testausjärjestelmää käytettäessä