A domain-specific language for ETL patterns specification in Data Warehousing Systems

During the last few years many research efforts have been done to improve the design of ETL (Extract-Transform-Load) systems. ETL systems are considered very time-consuming, error-prone and complex involving several participants from different knowledge domains. ETL processes are one of the most important components of a data warehousing system that are strongly influenced by the complexity of business requirements, their changing and evolution. These aspects influence not only the structure of a data warehouse but also the structures of the data sources involved with. To minimize the negative impact of such variables, we propose the use of ETL patterns to build specific ETL packages. In this paper, we formalize this approach using BPMN (Business Process Modelling Language) for modelling more conceptual ETL workflows, mapping them to real execution primitives through the use of a domain-specific language that allows for the generation of specific instances that can be executed in an ETL commercial tool.

Logistics Development in Finnish and Swedish Companies with Respect of Russia and Four Asian Countries: Traffic Flow and Warehousing Analysis from Current Situation and Likely Development Trends

On selvää, että tänä päivänä maailmankaupan painopiste on hiljalleen siirtymässä Aasiaan ja varsinkin Kiina on ollut huomion keskipisteessä. Erityisesti valmistavien yritysten perspektiivistä muutos on ollut merkittävä ja tämä tosiasia kasvattaa yrityksissä paineita luoda kustannustehokkaita toimitusketjuratkaisuja,joiden vasteaika on mahdollisimman lyhyt. Samaan aikaan kun tarkastellaan kuljetusvirtoja, huomattaan että maanosien välillä on suuri epätasapaino. Tämä on enimmäkseen seurausta suurten globaalisti toimivien yritysten toimitusketjustrategioista. Useimmat näistä toimijoista optimoivat verkostonsa turvautumalla 'paikalliseen hankintaan', jotta he voisivat paremmin hallita toimitusketjujaan ja saada näitä reagointiherkimmiksi. Valmistusyksiköillä onkin monesti Euroopassa pakko käyttää kalliita raaka-aineita ja puolivalmisteita. Kriittisiksi tekijöiksi osoittautuvat kuljetus- ja varastointikustannukset sekä näiden seurauksena hukka-aika, joka aiheutuu viivästyksistä. Voidakseen saavuttaa optimiratkaisun, on tehtävä päätös miten tuotteet varastoidaan: keskitetysti tai hajautetusti ja integroida tämä valinta sopivien kuljetusmuotojen kanssa. Aasiasta Pohjois-Eurooppaan on halpaa käyttää merikuljetusta, mutta operaatio kestää hyvin pitkään - joissain tapauksessa jopa kahdeksan viikkoa. Toisaalta lentokuljetus on sekä kallis että rajoittaa siirrettävien tuotteiden eräkokoa.On olemassa kolmaskin vaihtoehto, josta voisi olla ratkaisuksi: rautatiekuljetus on halvempi kuin lentokuljetus ja vasteajat ovat lyhyemmät kuin merikuljetuksissa. Tässä tutkimuksessa tilannetta selvitetään kyselyllä, joka suunnattiin Suomessa ja Ruotsissa toimiville yrityksille. Tuloksien perusteella teemme johtopäätökset siitä, mitkä kuljetusmuotojen markkinaosuudet tulevat olemaan tulevaisuudessa sekä luomme kuvan kuljetusvirroista Euroopan, Venäjän, Etelä-Korea, Intian, Kiinan ja Japanin välillä. Samalla on tarkoitus ennakoida sitä, miten tarkastelun kohteena olevat yritykset aikovat kehittää kuljetuksiaan ja varastointiaan tulevien vuosien aikana. Tulosten perusteella näyttää siltä, että seuraavan viiden vuoden kuluessa kuljetuskustannukset eivät merkittävissä määrin tule muuttuman ja meri- sekä kumipyöräkuljetukset pysyvät suosituimpina vaihtoehtoina.Kuitenkin lentokuljetusten osuus laskee hiukan, kun taas rautatiekuljetusten painotus kasvaa. Tulokset paljastavat, että Kiinassa ja Venäjällä kuljetettava konttimäärä kasvaa; Intiassa tulos on saman suuntainen, joskaan ei niin voimakas. Analyysimme mukaan kuljetusvirtoihin liittyvä epätasapaino säilyy Venäjän kuljetusten suhteen: yritykset jatkavat tulevaisuudessakin vientiperusteista strategiaansa. Varastoinnin puolella tunnistamme pienemmän muutoksen, jonka mukaan pienikokoisten varastojen määrät todennäköisesti vähenevät tulevaisuudessa ja kiinnostus isoja varastoja kohtaan lisääntyy. Tässä kohtaa on mainittava, että suomalaisilla yrityksillä on enemmän varastoja Keski- ja Itä-Euroopassa verrattuna ruotsalaisiin toimijoihin, jotka keskittyvät selkeämmin Länsi-Euroopan maihin. Varastoja yrityksillä on molemmissa tapaukissa paljolti kotimaassaan. Valitessaan varastojensa sijoituskohteita yritykset painottavat seuraavia kriteereitä: alhaiset jakelukustannukset, kokoamispaikan/valmistustehtaan läheisyys, saapuvan logistiikan integroitavuus ja saatavilla olevat logistiikkapalvelut. Tutkimuksemme lopussa päädymme siihen, että varastojen sijoituspaikat eivät muutu satamien rakenteen ja liikenneyhteyksien takia kovinkaan nopeasti.

DATA WAREHOUSING IN A GLOBAL METAL INDUSTRIAL COMPANY

Työn tavoittena oli selvittää, miten tietovarastointi voi tukea yrityksessä tapahtuvaa päätöksentekoa. Tietovarastokomponenttien ja –prosessien kuvauksen jälkeen on käsitelty tietovarastoprojektin eri vaiheita. Esitettyä teoriaa sovellettiin käytäntöön globaalissa metalliteollisuusyrityksessä, jossa tietovarastointikonseptia testattiin. Testauksen perusteella arvioitiin olemassa olevan tiedon tilaa sekä kahden käytetyn ohjelmiston toimivuutta tietovarastoinnissa. Yrityksen operatiivisten järjestelmien tiedon laadun todettiin olevan tutkituilta osin epäyhtenäistä ja puutteellista. Siksi tiedon suora yrityslaajuinen hyödyntäminen luotettavien ja hyvälaatuisten raporttien luonnissa on vaikeaa. Lisäksi eri yksiköiden välillä havaittiin epäyhtenäisyyttä käytettyjen liiketoiminnan käsitteiden sekä järjestelmien käyttötapojen suhteen. Testauksessa käytetyt ohjelmistot suoriutuivat perustietovarastoinnista hyvin, vaikkakin joitain rajoituksia ja erikoisuuksia ilmenikin. Työtä voidaan pitää ennen varsinaista tietovarastoprojektia tehtävänä esitutkimuksena. Jatkotoimenpiteinä ehdotetaan testauksen jatkamista nykyisillä työkaluilla kohdistaen tavoitteet konkreettisiin tuloksiin. Tiedon laadun tärkeyttä tulee korostaa koko organisaatiossa ja olemassa olevan tiedon laatua pitää parantaa tulevaisuudessa.

Improving Transportation and Warehousing Efficiency with Simulation-Based Decision Support Systems

Transportation and warehousing are large and growing sectors in the society, and their efficiency is of high importance. Transportation also has a large share of global carbondioxide emissions, which are one the leading causes of anthropogenic climate warming. Various countries have agreed to decrease their carbon emissions according to the Kyoto protocol. Transportation is the only sector where emissions have steadily increased since the 1990s, which highlights the importance of transportation efficiency. The efficiency of transportation and warehousing can be improved with the help of simulations, but models alone are not sufficient. This research concentrates on the use of simulations in decision support systems. Three main simulation approaches are used in logistics: discrete-event simulation, systems dynamics, and agent-based modeling. However, individual simulation approaches have weaknesses of their own. Hybridization (combining two or more approaches) can improve the quality of the models, as it allows using a different method to overcome the weakness of one method. It is important to choose the correct approach (or a combination of approaches) when modeling transportation and warehousing issues. If an inappropriate method is chosen (this can occur if the modeler is proficient in only one approach or the model specification is not conducted thoroughly), the simulation model will have an inaccurate structure, which in turn will lead to misleading results. This issue can further escalate, as the decision-maker may assume that the presented simulation model gives the most useful results available, even though the whole model can be based on a poorly chosen structure. In this research it is argued that simulation- based decision support systems need to take various issues into account to make a functioning decision support system. The actual simulation model can be constructed using any (or multiple) approach, it can be combined with different optimization modules, and there needs to be a proper interface between the model and the user. These issues are presented in a framework, which simulation modelers can use when creating decision support systems. In order for decision-makers to fully benefit from the simulations, the user interface needs to clearly separate the model and the user, but at the same time, the user needs to be able to run the appropriate runs in order to analyze the problems correctly. This study recommends that simulation modelers should start to transfer their tacit knowledge to explicit knowledge. This would greatly benefit the whole simulation community and improve the quality of simulation-based decision support systems as well. More studies should also be conducted by using hybrid models and integrating simulations with Graphical Information Systems.

Towards data warehousing and mining of protein unfolding simulation data

OBJECTIVES: The prediction of protein structure and the precise understanding of protein folding and unfolding processes remains one of the greatest challenges in structural biology and bioinformatics. Computer simulations based on molecular dynamics (MD) are at the forefront of the effort to gain a deeper understanding of these complex processes. Currently, these MD simulations are usually on the order of tens of nanoseconds, generate a large amount of conformational data and are computationally expensive. More and more groups run such simulations and generate a myriad of data, which raises new challenges in managing and analyzing these data. Because the vast range of proteins researchers want to study and simulate, the computational effort needed to generate data, the large data volumes involved, and the different types of analyses scientists need to perform, it is desirable to provide a public repository allowing researchers to pool and share protein unfolding data. METHODS: To adequately organize, manage, and analyze the data generated by unfolding simulation studies, we designed a data warehouse system that is embedded in a grid environment to facilitate the seamless sharing of available computer resources and thus enable many groups to share complex molecular dynamics simulations on a more regular basis. RESULTS: To gain insight into the conformational fluctuations and stability of the monomeric forms of the amyloidogenic protein transthyretin (TTR), molecular dynamics unfolding simulations of the monomer of human TTR have been conducted. Trajectory data and meta-data of the wild-type (WT) protein and the highly amyloidogenic variant L55P-TTR represent the test case for the data warehouse. CONCLUSIONS: Web and grid services, especially pre-defined data mining services that can run on or 'near' the data repository of the data warehouse, are likely to play a pivotal role in the analysis of molecular dynamics unfolding data.

Grid warehousing of molecular dynamics protein unfolding data

With the increasing awareness of protein folding disorders, the explosion of genomic information, and the need for efficient ways to predict protein structure, protein folding and unfolding has become a central issue in molecular sciences research. Molecular dynamics computer simulations are increasingly employed to understand the folding and unfolding of proteins. Running protein unfolding simulations is computationally expensive and finding ways to enhance performance is a grid issue on its own. However, more and more groups run such simulations and generate a myriad of data, which raises new challenges in managing and analyzing these data. Because the vast range of proteins researchers want to study and simulate, the computational effort needed to generate data, the large data volumes involved, and the different types of analyses scientists need to perform, it is desirable to provide a public repository allowing researchers to pool and share protein unfolding data. This paper describes efforts to provide a grid-enabled data warehouse for protein unfolding data. We outline the challenge and present first results in the design and implementation of the data warehouse.

Justification of Data Warehousing Projects

Project justification is regarded as one of the major methodological deficits in Data Warehousing practice. As reasons for applying inappropriate methods, performing incomplete evaluations, or even entirely omitting justifications, the special nature of Data Warehousing benefits and the large portion of infrastructure-related activities are stated. In this paper, the economic justification of Data Warehousing projects is analyzed, and first results from a large academiaindustry collaboration project in the field of non-technical issues of Data Warehousing are presented. As conceptual foundations, the role of the Data Warehouse system in corporate application architectures is analyzed, and the specific properties of Data Warehousing projects are discussed. Based on an applicability analysis of traditional approaches to economic IT project justification, basic steps and responsibilities for the justification of Data Warehousing projects are derived.

Occupational employment survey booklet of definitions : trucking and warehousing.

"BLS-2877 142."

Automation in warehousing.

2d prize.