972 resultados para Data Warehouse Hadoop Spark GMQL HDFS YARN MapReduce genomica bioinformatica dipendenze funzionali
Resumo:
Aquest document defineix la construcció i explotació d'un magatzem de dades per a la Fundació d'Estudis per a la Conducció Responsable. L'objectiu del projecte és homogeneïtzar la informació que rep la fundació, des de diverses fonts i en diferents formats, consolidar-la en un únic magatzem de dades i habilitar eines que facilitin la seva explotació i anàlisi. La consecució d'aquestes fites és determinant perquè la direcció conegui l'evolució del trànsit rodat de vehicles a Catalunya i minimitzi el riscos en cas de qualsevol presa de decisions.
Resumo:
Aquest treball de fi de carrera proposa la construcció i explotació d'un magatzem de dades o data warehouse amb l'objectiu d'analitzar la informació relativa a l'evolució del parc de vehicles a Catalunya.
Resumo:
Este trabajo consiste en la creación de un almacén de datos y su explotación por medio de un conjunto de informes. El almacén de datos registra información relativa al tránsito de vehículos, número de licencias, conductores, etc., la cual está organizada por municipios y años.
Resumo:
Construcción y explotación de un almacén de datos para el análisis de información sobre el tránsito de vehículos.
Resumo:
El caso práctico de este trabajo consiste, en esencia, en la creación de un almacén de datos para nuestro cliente ficticio ¿FECRES¿, así como la realización de varios informes. Algunos de estos informes serán estáticos y otros dinámicos (cubos OLAP).
Resumo:
Uudistunut ympäristölainsäädäntö vaatii energiantuotantolaitoksilta yhä enemmän järjestelmällistä ympäristötiedon hallintaa. LCP- ja jätteenpolttoasetuksen velvoitteet ovat asettaneet uusia vaatimuksia päästöjen valvontaan ja siihen käytettävien mittausjärjestelmien laadunvarmennukseen sekä päästötietojen raportointiin. Uudistukset ovat lisänneet huomattavasti laitoksilla ympäristötiedon käsittelyyn kuluvaa aikaa. Laitosten toimintaehdot määritellään ympäristöviranomaisen myöntämässä ympäristöluvassa, joka on tärkein yksittäinen laitoksen toimintaa ohjaava tekijä. Tämän lisäksi monet toimijat haluavat parantaa ympäristöasioiden tasoaan vapaaehtoisilla ympäristöjärjestelmillä. Tässä diplomityössä kuvataan energiantuotantolaitosten ympäristöasioiden tallentamiseen ja hallintaan kehitetty selainpohjainen Metso Automationin DNAecoDiary'sovellus. Työ on rajattu koskemaan Suomessa toimivia LCP- ja/tai jätteenpolttoasetuksen alaisia laitoksia. Sovelluksen avulla voidaan varmistaa energiantuotantolaitosten poikkeamien, häiriöilmoitusten, päästömittalaitteisiin liittyvien tapahtumien ja muun ympäristöasioiden valvontaan liittyvän informaation tehokas hallinta. Sovellukseen tallennetaan ympäristötapahtumiin liittyvät perustiedot sekä etenkin käyttäjien tapahtumiin liittyvä kokemustietämys. Valvontakirjaukseen voidaan liittää tapahtuman perustietojen lisäksi myös tiedostoja ja kuvia. Sovellusta ja sillä kerättyä tietoa voidaan hyödyntää laitoksella käsilläolevien ongelmien ratkaisuun, ympäristötapahtumien todentamiseen sekä ympäristöraporttien laadintaan. Kehitystyön tueksi järjestettiin asiakastarvekartoitus, jonka perusteella ideoitiin sovelluksen ominaisuuksia. Tässä työssä on esitetty ympäristötiedon hallinan perusteet, selvitetty DNAecoDiaryn toimintaperiaatteet ja annettu esimerkkejä sen hyödyntämisestä. Sovelluksen lopullinen sisältö määritellään kunkin asiakkaan ympäristöluvan ja oma-valvonnan tarpeiden mukaisesti. Sovellus toimii itsenäisesti tai osana laajempaa Metso Automationin päästöjenhallinta- ja raportointisovelluskokonaisuutta.
Resumo:
Tietokoneiden tallennuskapasiteetin ja sekä tietokoneiden että verkkojen nopeuden kasvaessa myös käyttäjien odotukset kasvavat. Tietoa talletetaan yhä enemmän ja näistä tiedoista laaditaan yhä monimutkaisempia raportteja. Raporttien monimutkaisuuden kasvaessa niiden tarvitseman tiedon keräämiseen kuluva aika ei kuitenkaan saisi oleellisesti kasvaa. Tämän työn tarkoituksena on tutkia ja parantaa kansainvälisen metsäteollisuusyrityksen myynnin ja logistiikan järjestelmän raportointitietokannan tehokkuutta etenkin raporttien tietojen keräämiseen kuluvalla ajalla mitattuna. Työssä keskitytään kartoittamaan nykyisen järjestelmän pullonkauloja ja pyritään parantamaan järjestelmän suorituskykyä. Tulevaisuudessa suorituskykyä tarvitaan kuitenkin lisää, joten työssä tarkastellaan myös nykyisen, yleiskäyttöisen tietokannan, korvaamista erityisesti raportointia varten suunnitellulla tietokannalla. Työn tuloksena järjestelmän raporttien tietojen keräämiseen kuluvaa aikaa pystyttiin pienentämään ja pahimmat pullonkaulat selvittämään. Käyttäjämäärän kasvaessa tietokannan suorituskyvyn rajat tulevat kuitenkin pian vastaan. Tietokanta joudutaan tulevaisuudessa vaihtamaan erityisesti raportointitietokannaksi suunniteltuun.
Resumo:
Tässä diplomityössä tarkastellaan käyttökokemustietojen ja erityisesti häiriötietojen analysoinnin käyttömahdollisuuksia käyttövarmuuden ja kunnossapidon kehittämisessä. Työn tavoitteena on löytää sopiva toimintamalli häiriötietojen kirjaamiseen ja analysointiin kohdeorganisaatiossa. Työn teoriaosassa tarkastellaan kunnossapitoon ja käyttövarmuuteen liittyviä tekijöitä yleisesti. Lisäksi tarkastellaankunnossapidon ja käyttövarmuuden kehittämiseen ja optimointiin liittyviä malleja. Erityisesti tarkastellaan käyttökokemustietojen kirjaamista ja analysointia. Esimerkkinä käydään lyhyesti läpi käyttökokemustietojen hyödyntäminen kaasu- ja öljyteollisuudessa. Työn empiriaosassa kartoitetaan ja arvioidaan kohdeorganisaation käyttökokemustietojen kirjausten ja analysoinnin nykytilaa. Tässä yhteydessä käydään läpi käytössä olevan toiminnanohjaus- ja raportointijärjestelmän ominaisuudet tietojen hyödyntämisen kannalta. Työn lopputuloksena suositellaan kehitystoimenpiteitä tietojen kirjaamisen ja analysoinnin käytäntöihin ja toiminnanohjausjärjestelmän työkaluihin liittyen.
Resumo:
Myllykoski Paper Oy:n hiokkeen laadussa ja prosessivesien ominaisuuksissa tapahtuu vaihtelua ajan suhteen. Tämä käy ilmi useiden vuosien aikana kerätyistä laatuseurantatiedoista. Diplomityön tavoitteena oli selvittää hiokkeen ja kierto-vesien laatuun vaikuttavat tekijät ja kehittää laadunvaihtelua hillitseviä toimenpi-teitä. Työn kirjallisuusosassa pyrittiin löytämään tekijöitä, jotka voivat aiheuttaa valmiin hiokkeen laatuun vaihtelua. Lähtökohtaisesti laatuvaihteluita aiheuttavat tekijät jaettiin raaka-aine- tai prosessivaihteluksi. Työn kokeellisessa osassa selvitettiin eri hioke- ja prosessivesiominaisuuksien kehittymistä tarkastelemalla eri mittaussuureista kerättyjä aineistoja erilaisin aika-välein. Aluksi tarkasteltiin hiokkeen ja vesien ominaisuuksia viiden vuoden ajan-jaksolla, josta siirryttiin tarkastelemaan lyhyempiä aikavälejä. Käytetty mittausaineisto oli peräisin DW-tietovarastosta ja PHD-reaaliaikatietokannasta. Työn tuloksista kävi muun muassa ilmi, että painehiokkeen lujuusominaisuudet ovat hienoisesti alentuneet viimeisen viiden vuoden aikana. Muutos selittyy hiokkeen pitkäkuituosuuden ja kuitupuun keskimääräisen läpimitan alenemisella. Lisäksi valkaisemattomien hiokkeiden vaaleudet ovat alentuneet samallakun prosessivedet ovat muuttuneet likaisemmiksi. Kehitykseen on vaikuttanut vesikiertojen kasvanut sulkemisaste ja uusi peroksidivalkaisulaitos. Jatkotoimenpide-ehdotukset painottuvat pääosin vesiajotilanteiden hallintaan. Vesiajoaiheuttaa aina suuria muutoksia niin hiokkeen kuin myös kiertovesien laatuun.
Resumo:
Usean nykypäivän yrityksen tietojärjestelmäinfrastruktuuri on muotoutunut heterogeeniseksi ympäristöksi, jossa eri käyttöjärjestelmä- ja laitealustoilla toimii usean eri valmistajan toimittamia järjestelmiä. Heterogeenisen ympäristön hallitsemiseksi yritykseltä vaaditaan keskitettyä tietovarastoa, johon on tallennettu tietoa käytetystä järjestelmäympäristöstä sekä sen komponenteista. Tähän tarkoitukseen Microsoft toi markkinoille vuonna 1999 Active Directory 2000 -hakemistopalvelun. Heterogeenisessa ympäristössä käyttäjien autentikointi ja auktorisointi on erittäin vaativaa. Pahimmassa tapauksessa käyttäjällä voi olla kymmeniä käyttäjätunnus-salasana-yhdistelmiä yrityksen eri tietojärjestelmiin. Lisäksi jokaisessa tietojärjestelmässäon ylläpidettävä käyttäjäkohtaisia toimintavaltuuksia. Niin käyttäjän kuin ylläpitäjänkin näkökulmasta tällainen skenaario on painajainen. Tässä diplomityössä kartoitetaan mahdollisuuksia Oracle-tietokantojen käyttäjien autentikoinnin sekä auktorisoinnin keskittämiseksi Active Directory -hakemistopalveluun. Työssä tarkastellaan tarkoitukseen soveltuvia valmiita kaupallisia ratkaisuja sekä tutkitaan mahdollisuuksia oman ratkaisumallin toteuttamiseksi umpäristöstä löytyvien ohjelmointirajapintojen avulla.
Resumo:
Työn tarkoituksena oli kartoittaa ja tehdä esiselvitys Business Intelligencen(BI) mahdollisuuksista tiedon hallinnassa. Tavoitteena oli selvittää, kuinka yritys voi tietotekniikan avulla paremmin hyödyntää operatiivisten järjestelmien tuottamia tietoja päätöksenteon tukena. Työssä sovellettiin konstruktiivista tutkimusotetta. Business Intelligence -teknologiaan tutustuttiin aluksi kirjallisuuden avulla. Ongelmaa lähestyttiin selvittämällä kohdeyrityksen tiedonhallinnan nykytila ja siihen liittyvät ongelmat. Käyttäjävaatimukset selvitettiin strukturoidulla kyselytutkimuksella. Lisäksi työn empiriaosuudessa tutustuttiin kahteen Business Intelligence -toteutukseen ja arvioitiin teknologian kypsyyttä suhteessa asiakasvaatimuksiin. Tiedonhallinnalta toivottiin joustavuutta ja helppokäyttöisyyttä.Erityisesti tutkimuksessa esiin nousi se, että tiedon jakeluun tarvitaan monipuolisempia vaihtoehtoja. Käyttäjät olivat valmiita hyödyntämään uusia BI-ominaisuuksia varsin laajalti. Haastavinta tutkimuksessa oli liiketoiminnan ymmärtäminen. Suurimmat BI-teknologian puutteet havaittiin loppukäyttäjän sovelluksissa. Tietovarastointiprosessiin liittyvä teknologia todettiin toimivaksi.
Resumo:
Vivim, cada cop més, en un món tecnològic, on la vida diària es comparteix a les xarxes socials quasi sense adonar-nos-en. En aquest context, es generen quantitats ingents d'informació que, un cop tractades, poden ésser útils en estudis ben diversos com són la detecció de terratrèmols o la detecció prematura d'una epidèmia. En relació a aquest últim, el virus de la grip és un greu problema de salut pública ja que es destinen part dels recursos sanitaris durant un període de temps considerable i disminueix la productivitat laboral dels afectats que la pateixen. Davant d'aquesta situació, es planteja la realització d'un sistema de Business Intelligence que analitzi les dades extretes dels tweets de la plataforma Twitter en relació a les hospitalitzacions produïdes a un hospital de Catalunya, per tal de tenir un anàlisi predictiu de l'aparició d'un brot d'aquestes característiques. El treball va més enllà al emprar una tecnologia no convencional per la implementació del sistema BI. S'escull la dupla Elasticsearch i Kibana per tal d'aconseguir un sistema robust, distribuït, escalable i, sobretot, totalment personalitzable. Després d'un estudi d'aquestes dos solucions, incloent els plugins de monitoratge i càrrega de dades, s'ha elaborat un data warehouse complet i un quadre de comandament introductori. Es deixa, per futures línies de treball, l'anàlisi profund de les dades i la conseqüent extracció d'uns resultats que ens ajudin a predir amb una major antelació l'aparició d'un nou brot del virus de la grip.
Resumo:
Realització d'un sistema de Business Intelligence que analitzi les dades extretes dels tweets de la plataforma Twitter en relació a les hospitalitzacions produïdes a un hospital de Catalunya, per tal de tenir una anàlisi predictiva de l'aparició d'un brot de grip. El treball va més enllà a l'emprar una tecnologia no convencional per la implementació del sistema BI. S'escull la dupla ElasticSearch i Kibana per tal d'aconseguir un sistema robust, distribuït, escalable i, sobretot, totalment personalitzable. Després d'un estudi d'aquestes dos solucions, incloent els plugins de monitoratge i càrrega de dades, s'ha elaborat un data warehouse complet i un quadre de comandament introductori.
Resumo:
Implementación de una base de datos transaccional para el control del consumo eléctrico mediante contadores inteligentes. La base de datos propuesta permite desarrollar los diferentes compromisos de gestión de las compañías suministradoras, consumidores, contadores, consumos y núcleos energéticos (smart cities), proporcionando los procedimientos almacenados necesarios para su gestión. También se desarrolla la implementación de una base de datos analítica, data warehouse, para la explotación de los datos almacenados en la primera parte del proyecto. El objetivo es la implementación de las entidades necesarias para la explotación analítica de los datos mediante consultas sencillas.
Resumo:
Implementación de un sistema de base de datos relacional que almacena la información relativa a ligas de fútbol en diferentes países, para diferentes temporadas, con el objetivo de tener disponible información de los diferentes equipos, jugadores y resultados a lo largo de las diferentes temporadas. Asimismo, el sistema debe almacenar información de apuestas deportivas de diferentes tipos y de los usuarios que las realizan.