Classificació i reconeixement de vídeo

El principal objectiu d’aquest projecte és aconseguir classificar diferents vídeos d’esports segons la seva categoria. Els cercadors de text creen un vocabulari segons el significat de les diferents paraules per tal de poder identificar un document. En aquest projecte es va fer el mateix però mitjançant paraules visuals. Per exemple, es van intentar englobar com a una única paraula les diferents rodes que apareixien en els cotxes de rally. A partir de la freqüència amb què apareixien les paraules dels diferents grups dins d’una imatge vàrem crear histogrames de vocabulari que ens permetien tenir una descripció de la imatge. Per classificar un vídeo es van utilitzar els histogrames que descrivien els seus fotogrames. Com que cada histograma es podia considerar un vector de valors enters vàrem optar per utilitzar una màquina classificadora de vectors: una Support vector machine o SVM

Scene representation for object monitoring

In robotics, having a 3D representation of the environment where a robot is working can be very useful. In real-life scenarios, this environment is constantly changing for example by human interaction, external agents or by the robot itself. Thus, the representation needs to be constantly updated and extended to account for these dynamic scene changes. In this work we face the problem of representing the scene where a robot is acting. Moreover, we ought to improve this representation by reusing the information obtained in previous scenes. Our goal is to build a method to represent a scene and to update it while changes are produced. In order to achieve that, different aspects of computer vision such as space representation or feature tracking are discussed

Real-time Imaging and Mosaicking of Planar Surfaces

Laajojen pintojen kuvaaminen rajoitetussa työskentelytilassa riittävällä kuvatarkkuudella voi olla vaikeaa. Kuvaaminen on suoritettava osissa ja osat koottava saumattomaksi kokonaisnäkymäksi eli mosaiikkikuvaksi. Kuvauslaitetta käsin siirtelevän käyttäjän on saatava välitöntä palautetta, jotta mosaiikkiin ei jäisi aukkoja ja työ olisi nopeaa. Työn tarkoituksena oli rakentaa pieni, kannettava ja tarkka kuvauslaite paperi- ja painoteollisuuden tarpeisiin sekä kehittää palautteen antamiseen menetelmä, joka koostaaja esittää karkeaa mosaiikkikuvaa tosiajassa. Työssä rakennettiin kaksi kuvauslaitetta: ensimmäinen kuluttajille ja toinen teollisuuteen tarkoitetuista osista. Kuvamateriaali käsiteltiin tavallisella pöytätietokoneella. Videokuvien välinen liike laskettiin yksinkertaisella seurantamenetelmällä ja mosaiikkikuvaa koottiin kameroiden kuvanopeudella. Laskennallista valaistuksenkorjausta tutkittiin ja kehitetty menetelmä otettiin käyttöön. Ensimmäisessä kuvauslaitteessa on ongelmia valaistuksen ja linssivääristymien kanssa tuottaen huonolaatuisia mosaiikkikuvia. Toisessa kuvauslaitteessa nämä ongelmat on korjattu. Seurantamenetelmä toimii hyvin ottaen huomioon sen yksinkertaisuuden ja siihen ehdotetaan monia parannuksia. Työn tulokset osoittavat, että tosiaikainen mosaiikkikuvan koostaminen megapikselin kuvamateriaalista on mahdollista kuluttajille tarkoitetulla tietokonelaitteistolla.

Optinen merkintunnistus satamaliikenteessä ja junavaunujen tunnistamisessa

Optisella merkintunnistuksella on tärkeä rooli nykypäivän automaatiossa. Optisen merkintunnistuksen eri sovellusalueet vaihtelevat dokumenttien tekstin tunnistamisesta ajoneuvojen tunnistamiseen ja erilaisten tuotanto- ja kokoonpanolinjojen automaatioon ja laadun tarkkailuun. Tässä työssä keskitytään optisen merkintunnistuksen käyttöön satamaliikenteessä. Työ jakaantuu kahteen osaan. Ensimmäisessä osassa esitellään satamien kannalta kaksi yleisintä ja samalla tärkeintä optisen merkintunnistuksen sovellusaluetta: rekisterikilpien tunnistus ja konttien tunnistus. Työn jälkimmäinen osa käsittelee junavaunujen tunnistamista optisen merkintunnistuksen avulla. Satamissa toimiva vaunukalusto ja niissä esiintyvät tunnisteet esitellään. Vaunujen tunnistamisen toteuttava konenäköjärjestelmä, sen vaativat laitteet sekä kuvankäsittelyn ja kuva-analyysin vaiheet käydään läpi. Kuva-analyysion jaettu työssä neljään päävaiheeseen: esikäsittely, segmentointi, piirreirrotus ja luokittelu. Kustakin vaiheesta esitetään useita eri menetelmiä, joiden käyttökelpoisuutta esitettyyn ongelmaan arvioidaan työn lopussa.

Multispectral image compression using the wavelet transform

Multispectral images contain information from several spectral wavelengths and currently multispectral images are widely used in remote sensing and they are becoming more common in the field of computer vision and in industrial applications. Typically, one multispectral image in remote sensing may occupy hundreds of megabytes of disk space and several this kind of images may be received from a single measurement. This study considers the compression of multispectral images. The lossy compression is based on the wavelet transform and we compare the suitability of different waveletfilters for the compression. A method for selecting a wavelet filter for the compression and reconstruction of multispectral images is developed. The performance of the multidimensional wavelet transform based compression is compared to other compression methods like PCA, ICA, SPIHT, and DCT/JPEG. The quality of the compression and reconstruction is measured by quantitative measures like signal-to-noise ratio. In addition, we have developed a qualitative measure, which combines the information from the spatial and spectral dimensions of a multispectral image and which also accounts for the visual quality of the bands from the multispectral images.

Supervised localimage feature detection

This thesis is about detection of local image features. The research topic belongs to the wider area of object detection, which is a machine vision and pattern recognition problem where an object must be detected (located) in an image. State-of-the-art object detection methods often divide the problem into separate interest point detection and local image description steps, but in this thesis a different technique is used, leading to higher quality image features which enable more precise localization. Instead of using interest point detection the landmark positions are marked manually. Therefore, the quality of the image features is not limited by the interest point detection phase and the learning of image features is simplified. The approach combines both interest point detection and local description into one phase for detection. Computational efficiency of the descriptor is therefore important, leaving out many of the commonly used descriptors as unsuitably heavy. Multiresolution Gabor features has been the main descriptor in this thesis and improving their efficiency is a significant part. Actual image features are formed from descriptors by using a classifierwhich can then recognize similar looking patches in new images. The main classifier is based on Gaussian mixture models. Classifiers are used in one-class classifier configuration where there are only positive training samples without explicit background class. The local image feature detection method has been tested with two freely available face detection databases and a proprietary license plate database. The localization performance was very good in these experiments. Other applications applying the same under-lying techniques are also presented, including object categorization and fault detection.

Local and Global Feature Extraction for Invariant Object Recognition

Perceiving the world visually is a basic act for humans, but for computers it is still an unsolved problem. The variability present innatural environments is an obstacle for effective computer vision. The goal of invariant object recognition is to recognise objects in a digital image despite variations in, for example, pose, lighting or occlusion. In this study, invariant object recognition is considered from the viewpoint of feature extraction. Thedifferences between local and global features are studied with emphasis on Hough transform and Gabor filtering based feature extraction. The methods are examined with respect to four capabilities: generality, invariance, stability, and efficiency. Invariant features are presented using both Hough transform and Gabor filtering. A modified Hough transform technique is also presented where the distortion tolerance is increased by incorporating local information. In addition, methods for decreasing the computational costs of the Hough transform employing parallel processing and local information are introduced.

Preferred Spatial Frequencies for Human Face Processing Are Associated with Optimal Class Discrimination in the Machine

Psychophysical studies suggest that humans preferentially use a narrow band of low spatial frequencies for face recognition. Here we asked whether artificial face recognition systems have an improved recognition performance at the same spatial frequencies as humans. To this end, we estimated recognition performance over a large database of face images by computing three discriminability measures: Fisher Linear Discriminant Analysis, Non-Parametric Discriminant Analysis, and Mutual Information. In order to address frequency dependence, discriminabilities were measured as a function of (filtered) image size. All three measures revealed a maximum at the same image sizes, where the spatial frequency content corresponds to the psychophysical found frequencies. Our results therefore support the notion that the critical band of spatial frequencies for face recognition in humans and machines follows from inherent properties of face images, and that the use of these frequencies is associated with optimal face recognition performance.

Level Set Methods in Image Processing

This thesis gives an overview of the use of the level set methods in the field of image science. The similar fast marching method is discussed for comparison, also the narrow band and the particle level set methods are introduced. The level set method is a numerical scheme for representing, deforming and recovering structures in an arbitrary dimensions. It approximates and tracks the moving interfaces, dynamic curves and surfaces. The level set method does not define how and why some boundary is advancing the way it is but simply represents and tracks the boundary. The principal idea of the level set method is to represent the N dimensional boundary in the N+l dimensions. This gives the generality to represent even the complex boundaries. The level set methods can be powerful tools to represent dynamic boundaries, but they can require lot of computing power. Specially the basic level set method have considerable computational burden. This burden can be alleviated with more sophisticated versions of the level set algorithm like the narrow band level set method or with the programmable hardware implementation. Also the parallel approach can be used in suitable applications. It is concluded that these methods can be used in a quite broad range of image applications, like computer vision and graphics, scientific visualization and also to solve problems in computational physics. Level set methods and methods derived and inspired by it will be in the front line of image processing also in the future.

SELLUTEHTAAN HÖYRYVERKON YLIJÄÄMÄENERGIAN HALLINNAN PARANTAMINEN

Tässä työssä on selvitetty sellutehtaan höyryverkosta tehtaan ulkopuolelle myytävän ylijäämähöyryn määrän ja paineen nopeaan vaihteluun vaikuttavia tekijöitä. Työssä on tarkasteltu höyryn kehityksen ja kulutuksen vaihtelun vaikutusta ylijäämähöyryyn. Lisäksi on tarkasteltu mahdollisuuksia edellä mainittujen häiriöiden tasaamiseksi. Työssä on selvitetty teoriaa, joka vaikuttaa sellutehtaan höyryn kehitykseen ja kulutukseen. Lisäksi on selvitetty energiataselaskennan ja höyryverkon hallintaa parantavien toimenpiteiden teoriaa. Omana kokonaisuutena on sellutehtaan höyryn kehityksen ja kulutuksen tarkastelu sekä selvitys tehtaan höyryverkon hallinnan nykytilasta. Höyryverkolle on muodostettu energiatase. Työn tuloksia varten on kerätty ja tallennettu mittapistetietoa tiedonkeräysjärjestelmän avulla eri höyryverkon mittapisteistä. Työn tuloksina on mainittu useita höyryverkon hallintaa parantavia toteutuskelpoisia asioita ja toimenpiteitä. Työllä on luotu pohjaa menetelmälle, joka ohjaa energian kehitystä vastaamaan sellun tuotannon tarvitsemaa energiamäärää. Samalla saataisiin paremmin hallittua ylijäämähöyryä ja sen määrän sekä paineen vaihtelu vähentyisi.

Keraamisten laattojen luokittelu väripiirteiden avulla

Vaikka keraamisten laattojen valmistusprosessi onkin täysin automatisoitu, viimeinen vaihe eli laaduntarkistus ja luokittelu tehdään yleensä ihmisvoimin. Automaattinen laaduntarkastus laattojen valmistuksessa voidaan perustella taloudellisuus- ja turvallisuusnäkökohtien avulla. Tämän työn tarkoituksena on kuvata tutkimusprojektia keraamisten laattojen luokittelusta erilaisten väripiirteiden avulla. Oleellisena osana tutkittiin RGB- ja spektrikuvien välistä eroa. Työn teoreettinen osuus käy läpi aiemmin aiheesta tehdyn tutkimuksen sekä antaa taustatietoa konenäöstä, hahmontunnistuksesta, luokittelijoista sekä väriteoriasta. Käytännön osan aineistona oli 25 keraamista laattaa, jotka olivat viidestä eri luokasta. Luokittelussa käytettiin apuna k:n lähimmän naapurin (k-NN) luokittelijaa sekä itseorganisoituvaa karttaa (SOM). Saatuja tuloksia verrattiin myös ihmisten tekemään luokitteluun. Neuraalilaskenta huomattiin tärkeäksi työkaluksi spektrianalyysissä. SOM:n ja spektraalisten piirteiden avulla saadut tulokset olivat lupaavia ja ainoastaan kromatisoidut RGB-piirteet olivat luokittelussa parempia kuin nämä.

Spektrikuvien tiivistäminen itseorganisoituvan kartan avulla.

Vuosi vuodelta kasvava tietokoneiden prosessointikyky on mahdollistanut harmaataso- ja RGB-värikuvia tarkempien spektrikuvien käsittelyn järjellisessä ajassa ilman suuria kustannuksia. Ongelmana on kuitenkin, ettei talletus- ja tiedonsiirtomedia ole kehittynyt prosessointikyvyn vauhdissa. Ratkaisu tähän ongelmaan on spektrikuvien tiivistäminen talletuksen ja tiedonsiirron ajaksi. Tässä työssä esitellään menetelmä, jossa spektrikuva tiivistetään kahdessa vaiheessa: ensin ryhmittelemällä itseorganisoituvan kartan (SOM) avulla ja toisessa vaiheessa jatketaan tiivistämistä perinteisin menetelmin. Saadut tiivistyssuhteet ovat merkittäviä vääristymän pysyessä siedettävänä. Työ on tehty Lappeenrannan teknillisen korkeakoulun Tietotekniikan osaston Tietojenkäsittelytekniikan tutkimuslaboratoriossa osana laajempaa kuvantiivistyksen tutkimushanketta.

Reconstruction of 3D Planar Objects with Partial Occlusion

Kolmiulotteisten kappaleiden rekonstruktio on yksi konenäön haastavimmista ongelmista, koska kappaleiden kolmiulotteisia etäisyyksiä ei voida selvittää yhdestä kaksiulotteisesta kuvasta. Ongelma voidaan ratkaista stereonäön avulla, jossa näkymän kolmiulotteinen rakenne päätellään usean kuvan perusteella. Tämä lähestymistapa mahdollistaa kuitenkin vain rekonstruktion niille kappaleiden osille, jotka näkyvät vähintään kahdessa kuvassa. Piilossa olevien osien rekonstruktio ei ole mahdollista pelkästään stereonäön avulla. Tässä työssä on kehitetty uusi menetelmä osittain piilossa olevien kolmiulotteisten tasomaisten kappaleiden rekonstruktioon. Menetelmän avulla voidaan selvittää hyvällä tarkkuudella tasomaisista pinnoista koostuvan kappaleen muoto ja paikka käyttäen kahta kuvaa kappaleesta. Menetelmä perustuu epipolaarigeometriaan, jonka avulla selvitetään molemmissa kuvissa näkyvät kappaleiden osat. Osittain piilossa olevien piirteiden rekonstruointi suoritetaan käyttämäen stereonäköä sekä tietoa kappaleen rakenteesta. Esitettyä ratkaisua voitaisiin käyttää esimerkiksi kolmiulotteisten kappaleiden visualisointiin, robotin navigointiin tai esineentunnistukseen.

Matkapuhelimen näytön testaus massatuotannossa

Tässä diplomityössä perehdytään matkapuhelimen näytön testaamiseen massatuotannon eri vaiheissa. Pääasialliset keskittymisen kohteet ovat näytön ohjaamiseen tarvittava tasonmuunnin, sen suunnittelu ja toteutus sekä erilaiset näytöntarkastustekniikat. Samalla käydään läpi myös näyttöjen historiaa ja tulevaisuutta, sekä erilaisia konenäköjärjestelmiä. Työssä oli tavoitteena kehittää joustava ratkaisu nykyisten ja tulevien näyttöjen testaukseen ja ohjaamiseen. Tuloksena saatiin tehtävään sopiva tasonmuunnin ja ohjelmisto. Kehitetyt ratkaisut ovat myös helposti muunnettavissa tulevaisuuden tarpeisiin.

Robots and robotic systems for the electronics and telecommunication industry

Tämä diplomityö tutkii elektroniikka- ja telekommunikaatioteollisuutta sekä siihen läheisesti liittyviä robotteja ja robottijärjestelmiä. Tavoitteena on määrittää E&T-teollisuuden prosesseihin soveltuvien robottien testausmenetelmä. Tavoitteena on myös selvittää kahden ABB:n robotin soveltuvuutta E&T-teollisuuden tarpeisiin. Muutamia systemaattisia valmistusjärjestelmien suunnitteluun soveltuvia menetelmiä ja apuvälineitä on myös käsitelty. Alussa työ keskittyy elektroniikka- ja telekommunikaatioteollisuuden nykytilan tutkimiseen sekä siellä vallitsevien ja ennustettujen trendien kartoitukseen. Kohdat “Collaborative manufacturing” ja E&T-teollisuuden valmistusjärjestelmille asettamat vaatimukset käydään yksityiskohtaisesti läpi. Tutkimuksen pääkohteina ovat robotit, erityisesti ABB:n IRB 140 ja IRB 340 sekä robottien testausmenetelmän määrittäminen. Työssä käydään läpi IRB 340:llä suoritetut testit, jotka tehtiin sekä konenäköjärjestelmää apuna käyttäen että ilman. Myös TTKK:lla suoritetut robottitestit on käyty läpi. Robottien testituloksia on analysoitu ja vertailtu muihin robotteihin. Testausmenetelmät perustuvat ISO 9283 standardiin. Viimeinen osa työstä esittelee robottijärjestelmien systemaattiseen suunnitteluun soveltuvia menetelmiä ja apuvälineitä. Esillä ovat mm. Modular function deployment (MFD) ja The system design method (SDM).