Hybrid coordination of reinforcement learning-based behaviors for AUV control

This paper proposes a hybrid coordination method for behavior-based control architectures. The hybrid method takes advantages of the robustness and modularity in competitive approaches as well as optimized trajectories in cooperative ones. This paper shows the feasibility of applying this hybrid method with a 3D-navigation to an autonomous underwater vehicle (AUV). The behaviors are learnt online by means of reinforcement learning. A continuous Q-learning implemented with a feed-forward neural network is employed. Realistic simulations were carried out. The results obtained show the good performance of the hybrid method on behavior coordination as well as the convergence of the behaviors

A behavior-based scheme using reinforcement learning for autonomous underwater vehicles

This paper presents a hybrid behavior-based scheme using reinforcement learning for high-level control of autonomous underwater vehicles (AUVs). Two main features of the presented approach are hybrid behavior coordination and semi on-line neural-Q_learning (SONQL). Hybrid behavior coordination takes advantages of robustness and modularity in the competitive approach as well as efficient trajectories in the cooperative approach. SONQL, a new continuous approach of the Q_learning algorithm with a multilayer neural network is used to learn behavior state/action mapping online. Experimental results show the feasibility of the presented approach for AUVs

Modulaarisen paisunta-astian kehittäminen compact -sarjan teollisuusvaihteeseen

Tämä insinöörityö tehtiin SEW Industrial Gears Oy:lle, joka valmistaa hammasvaihteita teollisuuden eri sovellutuksiin. Työn tavoitteena oli kehittää modulaarinen paisuntaastiasarja compact -sarjan teollisuusvaihteeseen. Työn alkuvaiheessa käytössä oli kahdenlaisia paisunta-astioita: kosteissa oloissa käytettävä suljettu astiamalli ja kuiviin olosuhteisiin soveltuva malli. Koska käytössä oleva suljettu astiamalli oli kallis ja kuivien olosuhteiden mallin käyttö oli rajoitettu, oli uudelle modulaariselle paisunta-astialle selkeä tarve. Uuden astiamallin tuli olla yhteensopiva vaihteen yleisimpien varusteiden ja asennusasentojen kanssa. Lisäksi tavoitteena oli puolittaa uuden konseptin hinta vanhaan verrattuna ja paikata vanhoissa konstruktioissa olleita puutteita. Työ aloitettiin analysoimalla olemassa olevat paisunta-astiatyypit, minkä jälkeen paisuntaastialle ideoitiin uusia ominaisuuksia. Toisessa vaiheessa perehdyttiin modulaariseen järjestelmään sekä öljynpaisunnan teoriaan teollisuusvaihteessa. Viimeisessä vaiheessa tehtiin konseptin varsinainen suunnittelutyö, valittiin astian valmistustapa ja materiaali sekä optimoitiin hinta. Uudesta mallista valmistettiin myös prototyyppi, jotta suunniteltua tuotetta päästiin kokeilemaan myös käytännössä. Näin voitiin varmistaa tuotteen toimivuus. Suunnittelutyön tuloksena saatiin uuden paisunta-astiasarjan piirustukset tarvittavista osista ja kokoonpanoista sekä komponenttistandardi ja myyntiä tukevaa materiaalia. Käytännön osuus antoi tietoa laskelmien oikeellisuudesta sekä öljyn täyttöön ja paisuntaan liittyvistä asioista.

Mycorrhizal ecology and evolution: the past, the present, and the future.

1406 I. 1407 II. 1408 III. 1410 IV. 1411 V. 1413 VI. 1416 VII. 1418 1418 References 1419 SUMMARY: Almost all land plants form symbiotic associations with mycorrhizal fungi. These below-ground fungi play a key role in terrestrial ecosystems as they regulate nutrient and carbon cycles, and influence soil structure and ecosystem multifunctionality. Up to 80% of plant N and P is provided by mycorrhizal fungi and many plant species depend on these symbionts for growth and survival. Estimates suggest that there are c. 50 000 fungal species that form mycorrhizal associations with c. 250 000 plant species. The development of high-throughput molecular tools has helped us to better understand the biology, evolution, and biodiversity of mycorrhizal associations. Nuclear genome assemblies and gene annotations of 33 mycorrhizal fungal species are now available providing fascinating opportunities to deepen our understanding of the mycorrhizal lifestyle, the metabolic capabilities of these plant symbionts, the molecular dialogue between symbionts, and evolutionary adaptations across a range of mycorrhizal associations. Large-scale molecular surveys have provided novel insights into the diversity, spatial and temporal dynamics of mycorrhizal fungal communities. At the ecological level, network theory makes it possible to analyze interactions between plant-fungal partners as complex underground multi-species networks. Our analysis suggests that nestedness, modularity and specificity of mycorrhizal networks vary and depend on mycorrhizal type. Mechanistic models explaining partner choice, resource exchange, and coevolution in mycorrhizal associations have been developed and are being tested. This review ends with major frontiers for further research.

The set of undominated imputations and the core: an axiomatic approach

This paper provides an axiomatic framework to compare the D-core (the set of undominatedimputations) and the core of a cooperative game with transferable utility. Theorem1 states that the D-core is the only solution satisfying projection consistency, reasonableness (from above), (*)-antimonotonicity, and modularity. Theorem 2 characterizes the core replacing (*)-antimonotonicity by antimonotonicity. Moreover, these axioms alsocharacterize the core on the domain of convex games, totally balanced games, balancedgames, and superadditive games

Impact of community structure on information transfer

The observation that real complex networks have internal structure has important implication for dynamic processes occurring on such topologies. Here we investigate the impact of community structure on a model of information transfer able to deal with both search and congestion simultaneously. We show that networks with fuzzy community structure are more efficient in terms of packet delivery than those with pronounced community structure. We also propose an alternative packet routing algorithm which takes advantage of the knowledge of communities to improve information transfer and show that in the context of the model an intermediate level of community structure is optimal. Finally, we show that in a hierarchical network setting, providing knowledge of communities at the level of highest modularity will improve network capacity by the largest amount.

The set of undominated imputations and the core: an axiomatic approach

This paper provides an axiomatic framework to compare the D-core (the set of undominatedimputations) and the core of a cooperative game with transferable utility. Theorem1 states that the D-core is the only solution satisfying projection consistency, reasonableness (from above), (*)-antimonotonicity, and modularity. Theorem 2 characterizes the core replacing (*)-antimonotonicity by antimonotonicity. Moreover, these axioms alsocharacterize the core on the domain of convex games, totally balanced games, balancedgames, and superadditive games

Comparative modular analysis of gene expression in vertebrate development

The focus of my PhD research was the concept of modularity. In the last 15 years, modularity has become a classic term in different fields of biology. On the conceptual level, a module is a set of interacting elements that remain mostly independent from the elements outside of the module. I used modular analysis techniques to study gene expression evolution in vertebrates. In particular, I identified ``natural'' modules of gene expression in mouse and human, and I showed that expression of organ-specific and system-specific genes tends to be conserved between such distance vertebrates as mammals and fishes. Also with a modular approach, I studied patterns of developmental constraints on transcriptome evolution. I showed that none of the two commonly accepted models of the evolution of embryonic development (``evo-devo'') are exclusively valid. In particular, I found that the conservation of the sequences of regulatory regions is highest during mid-development of zebrafish, and thus it supports the ``hourglass model''. In contrast, events of gene duplication and new gene introduction are most rare in early development, which supports the ``early conservation model''. In addition to the biological insights on transcriptome evolution, I have also discussed in detail the advantages of modular approaches in large-scale data analysis. Moreover, I re-analyzed several studies (published in high-ranking journals), and showed that their conclusions do not hold out under a detailed analysis. This demonstrates that complex analysis of high-throughput data requires a co-operation between biologists, bioinformaticians, and statisticians.

Gene-disease network analysis reveals functional modules in mendelian, complex and environmental diseases

AbstractBACKGROUND: Scientists have been trying to understand the molecular mechanisms of diseases to design preventive and therapeutic strategies for a long time. For some diseases, it has become evident that it is not enough to obtain a catalogue of the disease-related genes but to uncover how disruptions of molecular networks in the cell give rise to disease phenotypes. Moreover, with the unprecedented wealth of information available, even obtaining such catalogue is extremely difficult.PRINCIPAL FINDINGS: We developed a comprehensive gene-disease association database by integrating associations from several sources that cover different biomedical aspects of diseases. In particular, we focus on the current knowledge of human genetic diseases including mendelian, complex and environmental diseases. To assess the concept of modularity of human diseases, we performed a systematic study of the emergent properties of human gene-disease networks by means of network topology and functional annotation analysis. The results indicate a highly shared genetic origin of human diseases and show that for most diseases, including mendelian, complex and environmental diseases, functional modules exist. Moreover, a core set of biological pathways is found to be associated with most human diseases. We obtained similar results when studying clusters of diseases, suggesting that related diseases might arise due to dysfunction of common biological processes in the cell.CONCLUSIONS: For the first time, we include mendelian, complex and environmental diseases in an integrated gene-disease association database and show that the concept of modularity applies for all of them. We furthermore provide a functional analysis of disease-related modules providing important new biological insights, which might not be discovered when considering each of the gene-disease association repositories independently. Hence, we present a suitable framework for the study of how genetic and environmental factors, such as drugs, contribute to diseases.AVAILABILITY: The gene-disease networks used in this study and part of the analysis are available at http://ibi.imim.es/DisGeNET/DisGeNETweb.html#Download

EEG-based functional networks in schizophrenia.

Schizophrenia is often considered as a dysconnection syndrome in which, abnormal interactions between large-scale functional brain networks result in cognitive and perceptual deficits. In this article we apply the graph theoretic measures to brain functional networks based on the resting EEGs of fourteen schizophrenic patients in comparison with those of fourteen matched control subjects. The networks were extracted from common-average-referenced EEG time-series through partial and unpartial cross-correlation methods. Unpartial correlation detects functional connectivity based on direct and/or indirect links, while partial correlation allows one to ignore indirect links. We quantified the network properties with the graph metrics, including mall-worldness, vulnerability, modularity, assortativity, and synchronizability. The schizophrenic patients showed method-specific and frequency-specific changes especially pronounced for modularity, assortativity, and synchronizability measures. However, the differences between schizophrenia patients and normal controls in terms of graph theory metrics were stronger for the unpartial correlation method.

Maastoajoneuvon käyttöliittymän reaaliaikasimulaattori

Työn tavoitteena oli kehittää ja toteuttaa reaaliaikasimulaattori maastoajoneuvon käyttöliittymälle, jota ajoneuvon kuljettajakäyttää ajon aikana. Simulaattori oli tarkoitettu ensisijaisesti käyttöliittymän testaukseen, mutta sen pitää olla helposti laajennettavissa esimerkiksi koulutuskäyttöön. Mallinnustyökaluina oli tarkoitus käyttääpääsääntöisesti markkinoilta saatavia valmiita ohjelmistoja. Simulaattorin toteutuksessa käytettiin myös manuaalista ohjelmointia, koska valituilla ohjelmistoilla ei suoraan voinut saavuttaa reaaliaikaista visualisointia. Käsin kirjoitetut koodit hoitavat valmiilla ohjelmistoilla tehtyjen osien välisen tiedonsiirron. Varsinainen mallintaminen oli valituilla ohjelmistoilla helppoa ja nopeaa. Työn tuloksena saatiintoteutettua simulaattori, jonka vaikutelma oli reaaliaikainen. Käytettävyystestit onnistuivat hyvin simulaattorin avulla. Simulointimallin modulaarisuuden ansiosta mallia on helppo päivittää. Simulaattorin jatkokehityksessä oleelliset seikat ovat visualisoinnin parantaminen ja todellista ajoneuvoa vastaavan dynamiikan lisääminen.

Massaräätälöintija modulointi parkettiliiketoiminnassa

Tässä diplomityössä tarkastellaan massaräätälöintiä ja modulointia parkettiliiketoiminnassa yhden case-yrityksen näkökulmasta. Työn tavoitteena on kuvata nykyinen toiminta ja luoda massaräätälöintiin ja modulointiin perustuva toimintamalli sekä selvittää uudistetun toimintamallin taloudelliset ja toiminnalliset vaikutukset. Kirjallisuustutkimuksessa tarkastellaan massaräätälöinnin ja moduloinnin käsitettä sekä näihin käsitteisiin liittyviä ohjauksellisia menetelmiä. Tutkimuksessa kuvataan edellä mainittujen käsitteiden perusmallit ja siirtyminen näiden mallien käyttämiseen. Diplomityön empiirisessä osassa tutkitaan massaräätälöinnin ja moduloinnin taloudellisia vaikutuksia case-yrityksessä. Taloudellisia vaikutuksia tutkittiin kolmella eri tavalla. Ensimmäisenä selvitettiin toimintamallin muutoksen vaikutus tuotantoon ja valmisvarastoon sitoutuneenvaihto-omaisuuden määrään. Tämän jälkeen tutkittiin vaikutukset tuotannon läpimenoaikoihin sekä tehtiin laskelmat toimintamallin muuttamisen vaatimista investoinneista ja niistä saavutettavista hyödyistä. Empiiriset tulokset osoittavat, että case-yrityksen nykyisessä toiminnassa on puutteita. Tuotantoon sitoutuu liikaa pääomaa ja tuotannon läpäisyajat ovat liian pitkiä asiakasvaatimuksiin nähden. Tulosten mukaan massaräätälöinnin ja moduloinnin keinoilla voidaan saavuttaa merkittäviä parannuksia tuotannon läpimenoon, pääoman sitoutumiseen ja saadaan aikaan mittavia rahallisia säästöjä. Tulosten perusteella suositellaan, että yritys ottaa käyttöön massaräätälöinnin ja moduloinnin menetelmät kuvatun toimintamallin mukaisesti.

Item master management in the engineer-to-order supply chain

Diplomityöntavoitteena on tutkia, kuinka nimiketiedon hallinnalla voidaan parantaa kustannustehokkuutta projektiohjautuvassa toimitusketjussa. Työn kohdeyritys on Konecranes Oyj:n tytäryhtiö Konecranes Heavy Lifting Oy. Nimiketiedon hallinta liittyy läheisesti tuotetiedon hallintaan. Teoriaosassa käsitellään toimitusketjuympäristön tekijöitä, modulaarisuuden ja asiakaskohtaisuuden ongelmallisuutta sekä informaatiovirran vaikutuksia eri toiminnoissa. Yritysosassa vertaillaan konsernitason kahta liiketoiminta-aluetta strategiavalintojen, tuotteiden modulaarisuuden sekä tilaus-toimitusprosessissa liikkuvan nimikeinformaation perusteella. Diplomityön tuloksena annetaan suuntaviivat; nimikemassan eheytykseen, strategisten nimikkeiden tunnistamiseen ja määrittämiseen, nimikkeiden hallintaan sekä master-datan sijoittamiseen tietojärjestelmäympäristöön.

Konfiguroituvan tuotteen tuoterakennesystematiikan kehittäminen

Ponsse Oyj:n kaltainen konfiguroituvaa, monimutkaista tuotetta valmistava yhtiö tarvitsee ehdottomasti nykyaikaisen modulaarisuuteen perustuvan tuoterakennesystematiikan. Käyttämällä osioita eri modulaarisuusmalleista ja soveltamalla niitä Ponssen näkökulmasta kaikkein edullisimmalla tavalla, on kehitetty ensimmäinen case - tapaus ja sen myötä mahdollisimman yksinkertainen toimintamalli. Mallissa on otettu huomioon myös useat tuoterakenteen kanssa vuorovaikutuksessa olevat tekijät. Myyntitilanteen valinnat ovat listattu konfigurointimatriisiin ja ne voivat olla itsenäisiä tai sulkea pois joitakin toisia valintoja. Kun sopiva koneyksilö on muodostettu, saadaan matriisista samantien tulostettua valintojen mukainen tuoteyksilö. Tuoteyksilön moduulirakenne toimii kyseisen, yksittäisen koneen työmääräimenä sekä koneenvalmistuksen dokumenttina, sillä luettelon yksi moduuli on yhden valmistettavantyövaiheen moduulipiirustus alimoduuleineen ja osineen. Moduulipiirustusten on siis otettava huomioon tuotannon, oston, suunnittelun ja dokumentoinnin näkökulmat. Piirustuksen laatijan on tiedettävä kyseisen moduulin valmistus eli koottavan komponenttikokoelman laajuus sekä tuotantolinjan että osto-osaston intressien mukaisesti. Piirustuksen on nivouduttava sitä kutsuvaan matriisiin ja kyseisen moduulin valinnan kytköksiin muihin moduuleihin nähden. Kaiken lisäksi piirustuksen on toimittava kokoonpano-ohjeena sekä jälkimarkkinoinnin työkaluna. Tässä työssä muodostettiin metsätraktorin ohjaamosta esimerkkitapaus. Case tapauksessa käytettiin työssä esitettyä uutta tuoterakennesystematiikkaa uuden modulaarisuussäännöstön käytöstä, laskettu sen aiheuttamat muutokset ja sen tuotantoon otosta on kerätty ensimmäiset kommentit. Esimerkillä pyrittiin saavuttamaan modulaarisen tuoterakenteen mahdollistamat edut ja projektia on jatkettu Ponsse Oyj:llä käsittämään muitakin tuotekokonaisuuksia.

Development of Paperboard Forming Tools with a Focus on Intelligent Manufacturing

Tämä diplomityö käsittelee kartonginmuovaukseen käytettävien puristintyökalujen kehittämistä. Työntavoitteina oli kehittää työkalutekniikan suunnittelua ja valmistusta edullisemmaksi, nopeammaksi ja työkaluja toiminnoiltaan tehokkaammiksi. Työn tuli sisältää myös ohjeet työkalujen suunnittelemiseksi ja valmistamiseksi jatkoa ajatellen. Työn aikana selvitettiin mahdollisia työkalurakennevaihtoehtoja, valmistusmateriaaleja sekä niiden käsittelymenetelmiä ja lastuamista sekä sen tarjoamia mahdollisuuksia valmistusmenetelmänä. Työkalupari suunniteltiin modulaariseksi siten, että uusia työkaluja varten vain osa komponenteista täytyy valmistaa uudelleen, samalla työkalun osien lukumäärää pienennettiin merkittävästi. Valmistusmateriaaliksi valittiin hyvin lastuttava työkaluteräs ja sen koneistaminen tapahtui vaakakaraisessa koneistuskeskuksessa. Työn loppuvaiheessa työkalukokonaisuudelle tehtiin kustannuslaskelma jaoteltuna eri työvaiheille sekä komponenteittain. Työkalu asennettiin puristimeen ja sille suoritettiin käyttötestaus. Työn aikana karttuneen kokemuksen sekä koekäytön perusteella tehtiin jatkokehitysehdotuksia.