Mynodbcsv: Lightweight Zero-Config Database Solution for Handling Very Large CSV Files.

Volumes of data used in science and industry are growing rapidly. When researchers face the challenge of analyzing them, their format is often the first obstacle. Lack of standardized ways of exploring different data layouts requires an effort each time to solve the problem from scratch. Possibility to access data in a rich, uniform manner, e.g. using Structured Query Language (SQL) would offer expressiveness and user-friendliness. Comma-separated values (CSV) are one of the most common data storage formats. Despite its simplicity, with growing file size handling it becomes non-trivial. Importing CSVs into existing databases is time-consuming and troublesome, or even impossible if its horizontal dimension reaches thousands of columns. Most databases are optimized for handling large number of rows rather than columns, therefore, performance for datasets with non-typical layouts is often unacceptable. Other challenges include schema creation, updates and repeated data imports. To address the above-mentioned problems, I present a system for accessing very large CSV-based datasets by means of SQL. It's characterized by: "no copy" approach - data stay mostly in the CSV files; "zero configuration" - no need to specify database schema; written in C++, with boost [1], SQLite [2] and Qt [3], doesn't require installation and has very small size; query rewriting, dynamic creation of indices for appropriate columns and static data retrieval directly from CSV files ensure efficient plan execution; effortless support for millions of columns; due to per-value typing, using mixed text/numbers data is easy; very simple network protocol provides efficient interface for MATLAB and reduces implementation time for other languages. The software is available as freeware along with educational videos on its website [4]. It doesn't need any prerequisites to run, as all of the libraries are included in the distribution package. I test it against existing database solutions using a battery of benchmarks and discuss the results.

Oliorelaatiotietokannan käyttö energianhallintajärjestelmässä

Empower Oy on energia-alan palveluja tarjoava yritys. Energianhallintajärjestelmää käytetään energiatietojen hallintaan ja ylläpitoon sekä tietojen esittämiseen loppukäyttäjille. Palvelun näytöt ja raportit on toteutettu web-pohjaisen käyttöliittymän kautta. Yhtiössä käynnistyi suurprojekti vanhan energianhallintajärjestelmän korvaamiseksi. Vanha järjestelmä otettiin käyttöön vuonna 1995 ja EMS-projekti käynnistettiin vuonna 2001. Diplomityö tehtiin osana EMS-projektia ja työn tavoitteina oli selvittää perusjärjestelmän käyttämän tietokantaratkaisun toimivuutta ja soveltuvuutta tehtävään sekä tutkailla eri tietokantamalleja teoreettisesti. Lisäksi työhön kuului erillisten haku- ja muutoskomponenttien ja rajapintojen toteuttaminen. Näiden avulla voidaan hakea ja muuttaa tietoa perusjärjestelmän pohjalla toimivasta oliorelaatiotietokannasta. Perusjärjestelmän DOR-tietokannaksi (Domain Object Repository) kutsuttu kokonaisuus on olioläheinen tietovarasto, josta tietoa haetaan ilmoittamalla haettavan olion tyyppi ja siihen liitoksissa olevat tyypit. Hakutulokseen mukaan haluttavat ominaisuudet ilmoitetaan kultakin tyypiltä erikseen. Haettaessa ja muutettaessa oliopohjaista DOR-tietoa, tulee noudattaa järjestelmän käyttämiä tietomalleja. Haku- ja muutoskomponentit toteutettiin Microsoftin kehittämällä .NET-teknologialla. Tietokantamallien teoreettinen tarkastelu auttoi ymmärtämään järjestelmän pohjalla toimivaa tietokantaratkaisua. Työssä selvisi, että perusjärjestelmän hyödyntämä oliorelaatiotietokanta soveltuu varsin hyvin tarkoitukseensa. Haku- ja muutoskomponenttien toteutus onnistui ja ne toimivat helppokäyttöisenä rajapintana energianhallintajärjestelmän tietokantaan.

Toimintajärjestelmän hallintaohjelmiston suunnittelu ja toteutus yritysverkostojen käyttöön

Tässä diplomityössä kuvataan sähköisen toimintajärjestelmän hallintaohjelmiston toteuttaminen yritysverkostojen käyttöön. Jokainen toimintajärjestelmän osa on kuvattu erikseen ja sitä vastaamaan on toteutettu oma osio, joka vastaa nykyisten standardien ja spesifikaatioiden vaatimuksiin. Tämän työn standardit ja spesifikaatiot ovat ISO 9001:2000 (laatustandardi), ISO 14001 (ympäristöstandardi) ja OHSAS 18001 (turvallisuusjärjestelmäspesifikaatio). Hallintaohjelmistolla pystytään ylläpitämään toimintajärjestelmän perusosat, joita ovat prosessikuvaukset, asiakirjat, raportit ja mittarit. Ohjelma toteutetaan servlet-tekniikalla web-ympäristöön. Tietokantaratkaisuna käytetään SQL:ää, joka sopii hyvin yhteen Javan kanssa. Käyttöliittymänä on selain, mikä osaltaan helpottaa käyttöönottoa yrityksissä, koska erillisiä asennuksia käyttäjien koneisiin ei tarvita. Ohjelma on tarkoitettu asennettavaksi yrityksen sisäverkkoon.

Tietokantaratkaisuehdotus pientasajännitesähköverkoston mittausdatavarastoksi

Lappeenrannan teknillinen yliopisto tutkii pientasajännitesähkön käyttöä. Yliopisto on rakennuttanut Järvi-Suomen Energia Oy:n ja Suur-Savon Sähkö Oy:n kanssa yhteistyössä kokeellisen pientasajännitesähköverkon, jolla pystytään tarjoamaan kenttäolosuhteet pienjännitetutkimukselle todellisilla asiakkailla ja todentaa LVDC-teknologiaa ja muita älykkään sähköverkon toimintoja kenttäolosuhteissa. Verkon tasajänniteyhteys on rakennettu 20 kV sähkönjakeluverkon ja neljän kuluttajan välille. 20 kV keskijännite suunnataan tasamuuntamolla ±750 V pientasajännitteeksi ja uudestaan 400/230 V vaihtojännitteeksi kuluttajien läheisyydessä. Tämän kandidaatintyön tarkoituksena on luoda yliopistolle tietokanta pientasajännitesähköverkosta kertyvälle tiedolle ja mittaustuloksille. Tietokanta nähtiin tarpeelliseksi luoda, jotta pienjänniteverkon mittaustuloksia pystytään myöhemmin tarkastelemaan yhdessä ja yhtenäisessä muodossa. Yhdeksi tutkimuskysymykseksi muodostui, kuinka järjestää ja visualisoida kaikki verkosta palvelimille kertyvä mittausdata. Työssä on huomioitu myös kolme tietokantaa mahdollisesti hyödyntävää käyttäjäryhmää: kotitalousasiakkaat, sähköverkkoyhtiöt ja tutkimuslaboratorio, sekä pohdittu tietokannan hyötyä ja merkitystä näille käyttäjille. Toiseksi tutkimuskysymykseksi muodostuikin, mikä kaikesta tietokantaan talletetusta datasta olisi oleellisen tärkeää ottaa talteen näiden asiakkaiden kannalta, ja kuinka nämä voisivat hakea tietoa tietokannasta. Työn tutkimusmenetelmät perustuvat jo valmiiksi olemassa olevaan mittausdataan. Työtä varten on käytetty sekä painettua että sähköisessä muodossa olevaa kirjallisuutta. Työn tuloksena on saatu luotua tietokanta MySQL Workbench -ohjelmistolla, sekä mittausdatan keräys- ja käsittelyohjelmat Python-ohjelmointikielellä. Lisäksi on luotu erillinen MATLAB-rajapinta tiedon visualisoimista varten, jolla havainnollistetaan kolmen asiakasryhmän mittausdataa. Tietokanta ja sen tiedon visualisointi antavat kuluttajalle mahdollisuuden ymmärtää paremmin omaa sähkönkäyttöään, sekä sähköverkkoyhtiöille ja tutkimuslaboratorioille muun muassa tietoa sähkön laadusta ja verkon kuormituksesta.

MHCWeb: Converting a WWW database into a knowledge-based collaborative environment

The World Wide Web (WWW) is useful for distributing scientific data. Most existing web data resources organize their information either in structured flat files or relational databases with basic retrieval capabilities. For databases with one or a few simple relations, these approaches are successful, but they can be cumbersome when there is a data model involving multiple relations between complex data. We believe that knowledge-based resources offer a solution in these cases. Knowledge bases have explicit declarations of the concepts in the domain, along with the relations between them. They are usually organized hierarchically, and provide a global data model with a controlled vocabulary, We have created the OWEB architecture for building online scientific data resources using knowledge bases. OWEB provides a shell for structuring data, providing secure and shared access, and creating computational modules for processing and displaying data. In this paper, we describe the translation of the online immunological database MHCPEP into an OWEB system called MHCWeb. This effort involved building a conceptual model for the data, creating a controlled terminology for the legal values for different types of data, and then translating the original data into the new structure. The 0 WEB environment allows for flexible access to the data by both users and computer programs.

A solution for estimates in software development projects

The Corporate world is becoming more and more competitive. This leads organisations to adapt to this reality, by adopting more efficient processes, which result in a decrease in cost as well as an increase of product quality. One of these processes consists in making proposals to clients, which necessarily include a cost estimation of the project. This estimation is the main focus of this project. In particular, one of the goals is to evaluate which estimation models fit the Altran Portugal software factory the most, the organization where the fieldwork of this thesis will be carried out. There is no broad agreement about which is the type of estimation model more suitable to be used in software projects. Concerning contexts where there is plenty of objective information available to be used as input to an estimation model, model-based methods usually yield better results than the expert judgment. However, what happens more frequently is not having this volume and quality of information, which has a negative impact in the model-based methods performance, favouring the usage of expert judgement. In practice, most organisations use expert judgment, making themselves dependent on the expert. A common problem found is that the performance of the expert’s estimation depends on his previous experience with identical projects. This means that when new types of projects arrive, the estimation will have an unpredictable accuracy. Moreover, different experts will make different estimates, based on their individual experience. As a result, the company will not directly attain a continuous growing knowledge about how the estimate should be carried. Estimation models depend on the input information collected from previous projects, the size of the project database and the resources available. Altran currently does not store the input information from previous projects in a systematic way. It has a small project database and a team of experts. Our work is targeted to companies that operate in similar contexts. We start by gathering information from the organisation in order to identify which estimation approaches can be applied considering the organization’s context. A gap analysis is used to understand what type of information the company would have to collect so that other approaches would become available. Based on our assessment, in our opinion, expert judgment is the most adequate approach for Altran Portugal, in the current context. We analysed past development and evolution projects from Altran Portugal and assessed their estimates. This resulted in the identification of common estimation deviations, errors, and patterns, which lead to the proposal of metrics to help estimators produce estimates leveraging past projects quantitative and qualitative information in a convenient way. This dissertation aims to contribute to more realistic estimates, by identifying shortcomings in the current estimation process and supporting the self-improvement of the process, by gathering as much relevant information as possible from each finished project.

From a NoSQL data source to a business intelligence solution: An experiment

We are living in the era of Big Data. A time which is characterized by the continuous creation of vast amounts of data, originated from different sources, and with different formats. First, with the rise of the social networks and, more recently, with the advent of the Internet of Things (IoT), in which everyone and (eventually) everything is linked to the Internet, data with enormous potential for organizations is being continuously generated. In order to be more competitive, organizations want to access and explore all the richness that is present in those data. Indeed, Big Data is only as valuable as the insights organizations gather from it to make better decisions, which is the main goal of Business Intelligence. In this paper we describe an experiment in which data obtained from a NoSQL data source (database technology explicitly developed to deal with the specificities of Big Data) is used to feed a Business Intelligence solution.

A Bayesian network approach to the database serch problem in criminal proceedings

Background The 'database search problem', that is, the strengthening of a case - in terms of probative value - against an individual who is found as a result of a database search, has been approached during the last two decades with substantial mathematical analyses, accompanied by lively debate and centrally opposing conclusions. This represents a challenging obstacle in teaching but also hinders a balanced and coherent discussion of the topic within the wider scientific and legal community. This paper revisits and tracks the associated mathematical analyses in terms of Bayesian networks. Their derivation and discussion for capturing probabilistic arguments that explain the database search problem are outlined in detail. The resulting Bayesian networks offer a distinct view on the main debated issues, along with further clarity. Methods As a general framework for representing and analyzing formal arguments in probabilistic reasoning about uncertain target propositions (that is, whether or not a given individual is the source of a crime stain), this paper relies on graphical probability models, in particular, Bayesian networks. This graphical probability modeling approach is used to capture, within a single model, a series of key variables, such as the number of individuals in a database, the size of the population of potential crime stain sources, and the rarity of the corresponding analytical characteristics in a relevant population. Results This paper demonstrates the feasibility of deriving Bayesian network structures for analyzing, representing, and tracking the database search problem. The output of the proposed models can be shown to agree with existing but exclusively formulaic approaches. Conclusions The proposed Bayesian networks allow one to capture and analyze the currently most well-supported but reputedly counter-intuitive and difficult solution to the database search problem in a way that goes beyond the traditional, purely formulaic expressions. The method's graphical environment, along with its computational and probabilistic architectures, represents a rich package that offers analysts and discussants with additional modes of interaction, concise representation, and coherent communication.

An automatic correction tool for relational database schemas

A Web-based tool developed to automatically correct relational database schemas is presented. This tool has been integrated into a more general e-learning platform and is used to reinforce teaching and learning on database courses. This platform assigns to each student a set of database problems selected from a common repository. The student has to design a relational database schema and enter it into the system through a user friendly interface specifically designed for it. The correction tool corrects the design and shows detected errors. The student has the chance to correct them and send a new solution. These steps can be repeated as many times as required until a correct solution is obtained. Currently, this system is being used in different introductory database courses at the University of Girona with very promising results

Design and Testing of Database Libraries

Nokia Push To Talk järjestelmä tarjoaa uuden kommunikointimetodin tavallisen puhelun oheen. Yksi tärkeimmistä uuden järjestelmän ominaisuuksista on puhelunmuodostuksen nopeus. Lisäksi järjestelmän tulee olla telekommunikaatiojärjestelmien yleisten periaatteiden mukainen, mahdollisimman stabiili ja skaalautuva, jotta järjestelmä olisi mahdollisimman vikasietoinen ja laajennettavissa. Diplomityön päätavoite on esitellä "C++"-tietokantakirjastojen suunnittelua ja testausta. Aluksi tutkitaan tietokantajärjestelmien problematiikkaa alkaen tietokantajärjestelmän valinnasta ja huomioiden erityisesti nopeuskriteerit. Sitten esitellään kaksi teknistä toteutusta kahta "C++"-tietokantakirjastoa varten ja pohditaan joitakin vaihtoehtoisia toteutustapoja.

Railway Wagon Market Analysis and New Multi-Purpose Wagon Solution for Freight Transports - Finnish Manufacturing Perspective

Rautateillä käytettävät tavaravaunut ovat vanhenemassa hyvin nopeasti; tämä koskee niin Venäjää, Suomea, Ruotsia kuin laajemminkin Eurooppaa. Venäjällä ja Euroopassa on käytössä runsaasti vaunuja, jotka ovat jo ylittäneet niille suositeltavan käyttöiän. Silti niitä käytetään kuljetuksissa, kun näitä korvaavia uusia vaunuja ei ole tarpeeksi saatavilla. Uusimmat vaunut ovat yleensä vaunuja vuokraavien yritysten tai uusien rautatieoperaattorien hankkimia - tämä koskee erityisesti Venäjää, jossa vaunuvuokraus on noussut erittäin suosituksi vaihtoehdoksi. Ennusteissa kerrotaan vaunupulan kasvavan ainakin vuoteen 2010 saakka. Jos rautateiden suosio rahtikuljetusmuotona kasvaa, niin voimistuva vaunukysyntä jatkuu huomattavan paljon pidemmän aikaa. Euroopan ja Venäjän vaunukannan tilanne näkyy myös sitä palvelevan konepajateollisuuden ongelmina - yleisesti ottaen alan eurooppalaiset yritykset ovat heikosti kannattavia ja niiden liikevaihto ei juuri kasva, venäläiset ja ukrainalaiset yritykset ovat olleet samassa tilanteessa, joskin aivan viime vuosina tilanne on osassa kääntynyt paremmaksi. Kun näiden maanosien yritysten liikevaihtoa, voittoa ja omistaja-arvoa verrataan yhdysvaltalaisiin kilpailijoihin, huomataan että jälkimmäisten suoriutuminen on huomattavan paljon parempaa, ja näillä yrityksillä on myös kyky maksaa osinkoja omistajilleen. Tutkimuksen tarkoituksena oli kehittää uuden tyyppinen kuljetusvaunu Suomen, Venäjän sekä mahdollisesti myös Kiinan väliseen liikenteeseen. Vaunutyypin tarkoituksena olisi kyetä toimimaan monikäyttöisenä, niin raaka-aineiden kuin konttienkin kuljetuksessa, tasapainottaen kuljetusmuotojen aiheuttamaa kuljetuspaino-ongelmaa. Kehitystyön pohjana käytimme yli 1000 venäläisen vaunutyypin tietokantaa, josta valitsimme Data Envelopment Analysis -menetelmällä soveliaimmat vaunut kontinkuljetukseen (lähemmin tarkastelimme n. 40 vaunutyyppiä), jättäen mahdollisimman vähän tyhjää tilaa junaan, mutta silti kyeten kantamaan valitun konttilastin. Kun kantokykyongelmia venäläisissä vaunuissa ei useinkaan ole, on vertailu tehtävissä tavarajunan pituuden ja kokonaispainon perusteella. Simuloituamme yhdistettyihin kuljetuksiin soveliasta vaunutyyppiä käytännössä löytyvässä kuljetusverkostossa (esim. raakapuuta Suomeen tai Kiinaan ja kontteja takaisin Venäjän suuntaan), huomasimme lyhemmän vaunupituuden sisältävän kustannusetua, erityisesti raakaainekuljetuksissa, mutta myös rajanylityspaikkojen mahdollisesti vähentyessä. Lyhempi vaunutyyppi on myös joustavampi erilaisten konttipituuksien suhteen (40 jalan kontin käyttö on yleistynyt viime vuosina). Työn lopuksi ehdotamme uuden vaunutyypin tuotantotavaksi verkostomaista lähestymistapaa, jossa osa vaunusta tehtäisiin Suomessa ja osa Venäjällä ja/tai Ukrainassa. Vaunutyypin tulisi olla rekisteröity Venäjälle, sillä silloin sitä voi käyttää Suomen ja Venäjän, kuten myös soveltuvin osin Venäjän ja Kiinan välisessä liikenteessä.

Datenherrschaft – an Ethically Justified Solution to the Problem of Ownership of Patient Information

Patient information systems are crucial components for the modern healthcare and medicine. It is obvious that without them the healthcare cannot function properly – one can try to imagine how brain surgery could be done without using information systems to gather and show information needed for an operation. Thus, it can be stated that digital information is irremovable part of modern healthcare. However, the legal ownership of patient information lacks a coherent and justified basis. The whole issue itself is actually bypassed by controlling pa- tient information with different laws and regulations how patient information can be used and by whom. Nonetheless, the issue itself – who owns the patient in- formation – is commonly missed or bypassed. This dissertation show the problems if the legislation of patient information ownership is not clear. Without clear legislation, the outcome can be unexpected like it seems to be in Finland, Sweden and United Kingdom: the lack of clear regulation has come up with unwanted consequences because of problematic Eu- ropean Union database directive implementation in those countries. The legal ownership is actually granted to the creators of databases which contains the pa- tient information, and this is not a desirable situation. In healthcare and medicine, we are dealing with issues such as life, health and information which are very sensitive and in many cases very personal. Thus, this dissertation leans on four philosophical theories form Locke, Kant, Heidegger and Rawls to have an ethically justified basis for regulating the patient infor- mation in a proper way. Because of the problems of property and ownership in the context of information, a new concept is needed and presented to replace the concept of owning, that concept being Datenherrschaft (eng. mastery over in- formation). Datenherrschaft seems to be suitable for regulating patient infor- mation because its core is the protection of one’s right over information and this aligns with the work of the philosophers whose theories are used in the work. The philosophical argumentation of this study shows that Datenherrschaft granted to the patients is ethically acceptable. It supports the view that patient should be controlling the patient information about themselves unless there are such specific circumstance that justifies the authorities to use patient information to protect other people’s basic rights. Thus, if the patients would be legally grant- ed Datenherrschaft over patient information we would endorse patients as indi- viduals who have their own and personal experience of their own life and have a strong stance against any unjustified paternalism in healthcare. Keywords: patient information, ownership, Datenherrschaft, ethics, Locke, Kant, Heidegger, Rawls

An automatic correction tool for relational database schemas

A Web-based tool developed to automatically correct relational database schemas is presented. This tool has been integrated into a more general e-learning platform and is used to reinforce teaching and learning on database courses. This platform assigns to each student a set of database problems selected from a common repository. The student has to design a relational database schema and enter it into the system through a user friendly interface specifically designed for it. The correction tool corrects the design and shows detected errors. The student has the chance to correct them and send a new solution. These steps can be repeated as many times as required until a correct solution is obtained. Currently, this system is being used in different introductory database courses at the University of Girona with very promising results

A new universal, standardized implant database for product identification: a unique tool for arthroplasty registries.

INTRODUCTION Every joint registry aims to improve patient care by identifying implants that have an inferior performance. For this reason, each registry records the implant name that has been used in the individual patient. In most registries, a paper-based approach has been utilized for this purpose. However, in addition to being time-consuming, this approach does not account for the fact that failure patterns are not necessarily implant specific but can be associated with design features that are used in a number of implants. Therefore, we aimed to develop and evaluate an implant product library that allows both time saving barcode scanning on site in the hospital for the registration of the implant components and a detailed description of implant specifications. MATERIALS AND METHODS A task force consisting of representatives of the German Arthroplasty Registry, industry, and computer specialists agreed on a solution that allows barcode scanning of implant components and that also uses a detailed standardized classification describing arthroplasty components. The manufacturers classified all their components that are sold in Germany according to this classification. The implant database was analyzed regarding the completeness of components by algorithms and real-time data. RESULTS The implant library could be set up successfully. At this point, the implant database includes more than 38,000 items, of which all were classified by the manufacturers according to the predefined scheme. Using patient data from the German Arthroplasty Registry, several errors in the database were detected, all of which were corrected by the respective implant manufacturers. CONCLUSIONS The implant library that was developed for the German Arthroplasty Registry allows not only on-site barcode scanning for the registration of the implant components but also its classification tree allows a sophisticated analysis regarding implant characteristics, regardless of brand or manufacturer. The database is maintained by the implant manufacturers, thereby allowing registries to focus their resources on other areas of research. The database might represent a possible global model, which might encourage harmonization between joint replacement registries enabling comparisons between joint replacement registries.