Exploring distributed computing tools through data mining tasks

Harnessing idle PCs CPU cycles, storage space and other resources of networked computers to collaborative are mainly fixated on for all major grid computing research projects. Most of the university computers labs are occupied with the high puissant desktop PC nowadays. It is plausible to notice that most of the time machines are lying idle or wasting their computing power without utilizing in felicitous ways. However, for intricate quandaries and for analyzing astronomically immense amounts of data, sizably voluminous computational resources are required. For such quandaries, one may run the analysis algorithms in very puissant and expensive computers, which reduces the number of users that can afford such data analysis tasks. Instead of utilizing single expensive machines, distributed computing systems, offers the possibility of utilizing a set of much less expensive machines to do the same task. BOINC and Condor projects have been prosperously utilized for solving authentic scientific research works around the world at a low cost. In this work the main goal is to explore both distributed computing to implement, Condor and BOINC, and utilize their potency to harness the ideal PCs resources for the academic researchers to utilize in their research work. In this thesis, Data mining tasks have been performed in implementation of several machine learning algorithms on the distributed computing environment.

Investigating habitat association of breeding birds using public domain satellite imagery and land cover data.

Dissertation submitted in partial fulfilment of the requirements for the Degree of Master of Science in Geospatial Technologies

The role of complex chromosome translocations in leukemia

Resumo A tumorigénese é um processo de transformação celular que se desenrola tipicamente em várias etapas. Os diferentes níveis de evolução tumoral resultam da acumulação sucessiva de mutações genéticas numa célula normal que lhe conferem uma vantagem selectiva no respectivo meio tecidular. As mutações podem manifestar-se sob a forma de alterações nucleotídicas pontuais ao nível da sequência de DNA, levando a uma desregulação da função proteíca ou à formação de proteínas não-funcionais, ou através de alterações cromossómicas numéricas ou estruturais. Na leucemia, por exemplo, os genes híbridos que resultam de translocações cromossómicas desempenham um importante papel no processo tumorigénico. Estes genes são transcritos sob a forma de um RNA mensageiro de fusão, o qual é traduzido numa proteína híbrida com função oncogénica. Frequentemente, os subtipos de doença leucémica estão associados com translocações cromossómicas que envolvem 2 pontos de quebra recorrentes e específicos. É disto exemplo a leucemia mielóide crónica, em que uma translocação recíproca entre os cromossomas 9 e 22 conduz à formação de um gene de fusão BCR-ABL1. Em diferentes subtipos de doença, existe também uma pequena proporção de casos que apresenta translocações cromossómicas complexas, que envolvem um ou mais pontos de quebra adicionais em outras localizações genómicas além das que estão implicadas na formação dos genes de fusão. Por vezes, os pontos de quebra estão também associados a delecções extensas de material genético que se pensa terem uma função importante na tumorigénese. No entanto, o papel destas regiões genómicas no desenvolvimento tumoral não tem sido um motivo recorrente de estudo. Neste contexto, o objectivo desta dissertação foi o de determinar o potencial papel tumorigénico de alterações génicas adicionais ocorridas nos pontos de quebra de translocações cromossómicas complexas. Para a prossecução do objectivo proposto, foram estudados 5 rearranjos cromossómicos distintos associados com diferentes tipos de doença hematológica maligna, nomeadamente a leucemia linfoblástica aguda de células B (2 casos), leucemia mielóide aguda, neoplasma mieloproliferativo e síndrome mielodisplásico/neoplasma ieloproliferativo, não classificável. O mapeamento dos pontos de quebra foi efectuado utilizando a hibridação fluorescente in situ e diferentes metodologias de biologia molecular, tendo como base a informação inicial da análise citogenética. Em casos seleccionados, o papel dos novos genes candidatos foi avaliado in vitro utilizando modelos de linhas celulares, nomeadamente no que respeita às funções de controlo da proliferação celular e de regulação transcricional. De entre os 5 casos estudados, quatro deles evidenciaram translocações complexas envolvendo 3 cromossomas, nomeadamente t(12;21;5)(p13;q22;q13), t(12;6;15)(p13;p24~25;q22), t(9;11;19)(p22;q23;p13) e t(X;20;16)(p11;q13;q23). No caso remanescente, foi observada uma translocação dicêntrica dic(9;12)(p11;p11) acompanhada de delecções extensas em ambos os pontos de quebra. Nos casos com t(12;21;5) e t(9;11;19) as translocações estavam associadas com a presença de genes de fusão recorrentes, nomeadamente TV6(12p13)-RUNX1(21q22) e TLL(11q23)-MLLT3(9p22), indicando que se tratavam de rearranjos complexos das translocações t(12;21) e t(9;11) associadas com a leucemia linfoblástica aguda de células B e a leucemia mielóide aguda, respectivamente. O papel dos pontos de quebra adicionais foi estudado em detalhe no caso com t(9;11;19). Através da metodologia de long distance inverse-polymerase chain reaction, foram identificados os pontos de quebra na sequência de DNA dos 3 cromossomas envolvidos na translocação. Além dos pontos de quebra nos genes MLL e MLLT3, foi observado que o local de quebra no cromossoma 19 interrompeu a sequência de um novo gene, designado CCDC94,conduzindo à sua haplo-insuficiência nas células com t(9;11;19). Através de ensaios de reverse transcription-polymerase chain reaction verificámos que o gene CCDC94 é expresso ubiquitariamente em tecidos humanos normais. A análise informática da sequência prevista da proteína CCDC94 indicou uma elevada identidade de aminoácidos com a proteína cwf16, envolvida na regulação do ciclo celular da levedura Schizosaccharomyces pombe. Através da clonagem do DNA complementar de CCDC94 em vectores de expressão, e após a transfecção destes em culturas de linhas celulares in vitro, observámos que este gene codifica uma proteína de localização exclusivamente nuclear. A expressão ectópica da proteína CCDC94 diminuiu a progressão do ciclo celular e a proliferação das células em cultura. Inversamente, a supressão do transcrito do gene CCDC94 através de interferência de RNA conduziu a um aumento significativo da proliferação celular, confirmando que CCDC94 regula negativamente a proliferação e a progressão do ciclo celular. Estes resultados mostram que os pontos de quebra adicionais, presentes em translocações cromossómicas complexas em leucemia, podem resultar na haplo-insuficiência de genes controladores dos mecanismos proliferativos, cooperando desta forma com a acção das proteínas de fusão para proporcionar ao clone leucémico uma proliferação celular descontrolada. Nos restantes 3 casos estudados não foram identificados genes de fusão. Ao invés, todos aqueles apresentaram delecções de extensão variável associadas com os pontos de quebra cromossómicos. No caso com t(12;6;15), identificámos uma delecção de 1.2 megabases de DNA na banda 12p13 que resultou na eliminação de 9 genes incluindo ETV6 e CDKN1B. O gene ETV6 codifica um factor de transcrição que é essencial para a formação das diferentes linhagens hematopoiéticas na medula óssea, enquanto CDKN1B é traduzido numa proteína responsável por bloquear a entrada das células na fase G1 do ciclo celular e,consequentemente, por travar a proliferação celular. Neste contexto, os resultados obtidos indicam que a perda simultânea de ETV6 e de CDKN1B, através de uma translocação cromossómica complexa, constituiu uma acção cooperativa na leucemogénese. A mesma noção pode aplicar-se ao caso com dic(9;12), no qual pelo menos 2 genes que codificam para factores de transcrição importantes na linhagem hematopoiética, PAX5 no cromossoma 9 e ETV6 no cromossoma 12, estavam deleccionados como resultado do rearranjo cromossómico. Dado que o factor de transcrição PAX5 regula negativamente a expressão do gene FLT3, que desempenha uma função pró-proliferativa, é expectável que a haplo-insuficiência de PAX5 no caso com dic(9;12) terá tido como consequência uma elevação dos níveis de expressão de FLT3, contribuindo deste modo para uma proliferação celular aumentada. A t(X;20;16) foi identificada num doente com trombocitémia essencial (TE), uma doença que está intimamente relacionada com alterações de vias intracelulares reguladas por citocinas. Neste caso, através da utilização de um array genómico, identificámos a presença de pequenas delecções associadas com os pontos de quebra nos cromossomas 16 e 20. No cromossoma 16 apenas um gene, MAF, estava deleccionado, enquanto no cromossoma 20 a delecção tinha abrangido 3 genes. Dos genes deleccionados, dois deles, NFATC2 (20q13) e MAF (16q23), codificam proteínas que operam como reguladores transcricionais de citocinas hematopoiéticas. Dado que NFATC2 se localiza numa região que constitui um alvo frequente de delecções em neoplasmas ieloproliferativos, incluindo a trombocitémia essencial,efectuámos um estudo detalhado do papel deste gene na proliferação megacariocítica e na regulação da expressão de uma citocina hematopoiética (GM-CSF), implicada na maturação das diferentes linhagens mielóides. Utilizando um modelo de linha celular de trombocitémia essencial, verificámos que a supressão do transcrito do gene NFATC2 in vitro, por interferência de RNA, estava associada com um aumento da proliferação celular. Em concordância, o bloqueio da activação da proteína NFATC2 através de um inibidor específico da sua interacção com a calcineurina, conduziu a um aumento da proliferação celular in vitro. Utilizando a PCR quantitativa em tempo real, detectou-se um aumento da produção do RNA de GM-CSF em ambos os ensaios celulares, indicando que o factor de transcrição NFATC2 pode regular negativamente a expressão de GM-CSF em células de trombocitémia essencial. No geral, estes resultados mostram que a redução dos níveis fisiológicos do transcrito NFATC2, ou a redução da respectiva actividade proteica, estão relacionados com a proliferação de megacariocitos através do aumento da produção de GM-CSF. De acordo com estes resultados, verificámos que as células dos doentes com TE apresentam níveis mais baixos do transcrito NFATC2 do que a população normal. Dado que o factor de transcrição MAF desempenha igualmente um papel como regular transcricional de citocinas, é plausível que a haplo-insuficiência dos genes NFATC2 e MAF, resultante do rearranjo cromossómico complexo t(X;20;16), teve um efeito cooperativo importante na patogénese da trombocitémia essencial através da alteração do padrão normal de expressão das citocinas hematopoiéticas. Em síntese, efectuámos nesta dissertação um estudo citogenético de 4 translocações cromossómicas complexas incluindo t(12;21;5), t(12;6;15), t(9;11;19) e t(X;20;16), e de uma translocação dicêntrica dic(9;12), associadas com diferentes neoplasmas hematológicos. Em casos seleccionados efectuámos também um estudo molecular detalhado das regiões dos pontos de quebra. Esta análise permitiu-nos identificar 2 genes, CCDC94 no cromossoma 19 e NFATC2 no cromossoma 20, cuja haplo-insuficiência pode promover o aumento da proliferação celular das células leucémicas. A partir destes estudos podem ser retiradas 2 noções principais: (i) Os pontos de quebra adicionais, que ocorrem em translocações complexas associadas com a formação de genes de fusão, podem ter como consequência a desregulação de genes controladores da proliferação celular (e.g., CCDC94); (ii) As translocações complexas caracterizadas pela ausência de genes de fusão recorrentes poderão estar preferencialmente associadas com a presença de delecções, envolvendo um ou mais genes, nos pontos de quebra; nestas situações, serão necessários pelo menos 2 genes com funções celulares semelhantes (e.g., NFATC2 e MAF) ou complementares (e.g., ETV6 e CDKN1B) para, quando deleccionados, promoverem de forma cooperativa a leucemogénese. Nestes termos, o modelo de alterações genéticas sequenciais que caracteriza o desenvolvimento do cancro pode ser substituído por um modelo em que vários genes-alvo são simultaneamente desregulados pela formação de uma translocação cromossómica complexa, evitando deste modo a necessidade de ocorrência de alterações genéticas subsequentes.----------------------ABSTRACT: Tumourigenesis is a multistep process which results from the accumulation of successive genetic mutations in a normal cell. In leukemia for instance, recurrent translocations play a part in this process by generating fusion genes which lead to the production of hybrid proteins with an oncogenic role. However, a minor subset of chromosomal translocations referred to as complex or variant involves extra breakpoints at variable genome locations in addition to those implicated in the formation of fusion genes. We aimed to describe in this work the role, if any, of genes located at extra breakpoint locations or which are affected by breakpoint-adjacent deletions through the study of 5 leukemia patients.Two of the patients presented with TV6(12p13)-RUNX1(21q22) and MLL(11q23)- MLLT3(9p22) fusion genes as a result of a t(12;21;5) and a t(9;11;19), respectively. Detailed molecular characterization of the extra breakpoint at chromosome 19 in the latter case revealed that a novel ubiquitously expressed gene, CCDC94, with a potential role in cell cycle regulation, was disrupted by the breakpoint. We demonstrated using in vitro cellular assays that this gene codifies for a nuclear protein which negatively regulates cell cycle progression. These data shows that extra breakpoint locations of complex translocations may result in haplo-insufficiency of critical proliferation genes, thereby cooperating with the generation of hybrid proteins to provide unrestrained cell proliferation. In the other 3 patients there were reakpoint-associated deletions which precluded the formation of putative fusion genes. In a case with a t(12;6;15) we characterized a deletion at 12p13 which eliminated ETV6 and 8 other genes including CDKN1B. These findings indicate that concomitant loss of ETV6 and CDKN1B, which encodes a cyclin-dependent kinase inhibitor responsible for blocking entry of cells into the G1 phase of the cell cycle, acted cooperatively to promote leukemogenic proliferation. The same notion applied to a case with a dic(9;12) in which 2 genes encoding hematopoietic transcription factors - ETV6 and PAX5 (9p13)- were deleted as a result of breakpoint-adjacent deletions. Similarly, we found that 2 transcription factor genes involved in the regulation of cytokine expression, NFATC2 (20q13) and MAF (16q23), were involved in deletions contiguous to the breakpoints in a patient with a t(X;20;16). In vitro suppression of NFATC2 mRNA or inhibiton of NFATC2 protein activity enhanced cell proliferation as a result of an increase in the production of a myeloid-lineage stimulating hematopoietic cytokine, GM-CSF. These results suggest that haplo-insufficiency of NFATC2 and MAF genes had a cooperative effect in inducing cell proliferation as a result of a disregulation of cytokine production. Two main conclusions may be drawn from our studies: (i) In complex translocations associated with the production of fusion genes, additional breakpoints may cooperate in tumourigenesis by targeting genes that control cell proliferation; (ii) In complex translocations associated with small breakpoint-adjacent deletions, at least 2 genes with similar or complementary functions need to be deregulated to promote tumourigenesis.

Deteção e extinção de incêndio em Data Center

O presente trabalho enquadra-se na temática de segurança contra incêndio em edifícios e consiste num estudo de caso de projeto de deteção e extinção de incêndio num Data Center. Os objetivos deste trabalho resumem-se à realização de um estudo sobre o estado da arte da extinção e deteção automática de incêndio, ao desenvolvimento de uma ferramenta de software de apoio a projetos de extinção por agentes gasosos, como também à realização de um estudo e uma análise da proteção contra incêndios em Data Centers. Por último foi efetuado um estudo de caso. São abordados os conceitos de fogo e de incêndio, em que um estudo teórico à temática foi desenvolvido, descrevendo de que forma pode o fogo ser originado e respetivas consequências. Os regulamentos nacionais relativos à Segurança Contra Incêndios em Edifícios (SCIE) são igualmente abordados, com especial foco nos Sistemas Automáticos de Deteção de Incêndio (SADI) e nos Sistemas Automáticos de Extinção de Incêndio (SAEI), as normas nacionais e internacionais relativas a esta temática também são mencionadas. Pelo facto de serem muito relevantes para o desenvolvimento deste trabalho, os sistemas de deteção de incêndio são exaustivamente abordados, mencionando características de equipamentos de deteção, técnicas mais utilizadas como também quais os aspetos a ter em consideração no dimensionamento de um SADI. Quanto aos meios de extinção de incêndio foram mencionados quais os mais utilizados atualmente, as suas vantagens e a que tipo de fogo se aplicam, com especial destaque para os SAEI com utilização de gases inertes, em que foi descrito como deve ser dimensionado um sistema deste tipo. Foi também efetuada a caracterização dos Data Centers para que seja possível entender quais as suas funcionalidades, a importância da sua existência e os aspetos gerais de uma proteção contra incêndio nestas instalações. Por último, um estudo de caso foi desenvolvido, um SADI foi projetado juntamente com um SAEI que utiliza azoto como gás de extinção. As escolhas e os sistemas escolhidos foram devidamente justificados, tendo em conta os regulamentos e normas em vigor.

Deteção e extinção de incêndios em Data Centers

São muitas as organizações que por todo o mundo possuem instalações deste tipo, em Portugal temos o exemplo da Portugal Telecom que recentemente inaugurou o seu Data Center na Covilhã. O desenvolvimento de um Data Center exige assim um projeto muito cuidado, o qual entre outros aspetos deverá garantir a segurança da informação e das próprias instalações, nomeadamente no que se refere à segurança contra incêndio.

Replication vs erasure coding in data centric storage for wireless sensor networks

In-network storage of data in wireless sensor networks contributes to reduce the communications inside the network and to favor data aggregation. In this paper, we consider the use of n out of m codes and data dispersal in combination to in-network storage. In particular, we provide an abstract model of in-network storage to show how n out of m codes can be used, and we discuss how this can be achieved in five cases of study. We also define a model aimed at evaluating the probability of correct data encoding and decoding, we exploit this model and simulations to show how, in the cases of study, the parameters of the n out of m codes and the network should be configured in order to achieve correct data coding and decoding with high probability.

Mode-Controlled Data-Flow Modeling of Real-Time Memory Controllers

Accepted in 13th IEEE Symposium on Embedded Systems for Real-Time Multimedia (ESTIMedia 2015), Amsterdam, Netherlands.

A microscope for the data center

Nowadays, data centers are large energy consumers and the trend for next years is expected to increase further, considering the growth in the order of cloud services. A large portion of this power consumption is due to the control of physical parameters of the data center (such as temperature and humidity). However, these physical parameters are tightly coupled with computations, and even more so in upcoming data centers, where the location of workloads can vary substantially due, for example, to workloads being moved in the cloud infrastructure hosted in the data center. Therefore, managing the physical and compute infrastructure of a large data center is an embodiment of a Cyber-Physical System (CPS). In this paper, we describe a data collection and distribution architecture that enables gathering physical parameters of a large data center at a very high temporal and spatial resolution of the sensor measurements. We think this is an important characteristic to enable more accurate heat-flow models of the data center and with them, find opportunities to optimize energy consumptions. Having a high-resolution picture of the data center conditions, also enables minimizing local hot-spots, perform more accurate predictive maintenance (failures in all infrastructure equipments can be more promptly detected) and more accurate billing. We detail this architecture and define the structure of the underlying messaging system that is used to collect and distribute the data. Finally, we show the results of a preliminary study of a typical data center radio environment.

Integer and Fractional Order Entropy Analysis of Earthquake Data-series

This paper studies the statistical distributions of worldwide earthquakes from year 1963 up to year 2012. A Cartesian grid, dividing Earth into geographic regions, is considered. Entropy and the Jensen–Shannon divergence are used to analyze and compare real-world data. Hierarchical clustering and multi-dimensional scaling techniques are adopted for data visualization. Entropy-based indices have the advantage of leading to a single parameter expressing the relationships between the seismic data. Classical and generalized (fractional) entropy and Jensen–Shannon divergence are tested. The generalized measures lead to a clear identification of patterns embedded in the data and contribute to better understand earthquake distributions.

Entropy Analysis of Industrial Accident Data Series

Complex industrial plants exhibit multiple interactions among smaller parts and with human operators. Failure in one part can propagate across subsystem boundaries causing a serious disaster. This paper analyzes the industrial accident data series in the perspective of dynamical systems. First, we process real world data and show that the statistics of the number of fatalities reveal features that are well described by power law (PL) distributions. For early years, the data reveal double PL behavior, while, for more recent time periods, a single PL fits better into the experimental data. Second, we analyze the entropy of the data series statistics over time. Third, we use the Kullback–Leibler divergence to compare the empirical data and multidimensional scaling (MDS) techniques for data analysis and visualization. Entropy-based analysis is adopted to assess complexity, having the advantage of yielding a single parameter to express relationships between the data. The classical and the generalized (fractional) entropy and Kullback–Leibler divergence are used. The generalized measures allow a clear identification of patterns embedded in the data.

A framework for using real data with distributed low cost sensors

Currently, due to the widespread use of computers and the internet, students are trading libraries for the World Wide Web and laboratories with simulation programs. In most courses, simulators are made available to students and can be used to proof theoretical results or to test a developing hardware/product. Although this is an interesting solution: low cost, easy and fast way to perform some courses work, it has indeed major disadvantages. As everything is currently being done with/in a computer, the students are loosing the “feel” of the real values of the magnitudes. For instance in engineering studies, and mainly in the first years, students need to learn electronics, algorithmic, mathematics and physics. All of these areas can use numerical analysis software, simulation software or spreadsheets and in the majority of the cases data used is either simulated or random numbers, but real data could be used instead. For example, if a course uses numerical analysis software and needs a dataset, the students can learn to manipulate arrays. Also, when using the spreadsheets to build graphics, instead of using a random table, students could use a real dataset based, for instance, in the room temperature and its variation across the day. In this work we present a framework which uses a simple interface allowing it to be used by different courses where the computers are the teaching/learning process in order to give a more realistic feeling to students by using real data. A framework is proposed based on a set of low cost sensors for different physical magnitudes, e.g. temperature, light, wind speed, which are connected to a central server, that the students have access with an Ethernet protocol or are connected directly to the student computer/laptop. These sensors use the communication ports available such as: serial ports, parallel ports, Ethernet or Universal Serial Bus (USB). Since a central server is used, the students are encouraged to use sensor values results in their different courses and consequently in different types of software such as: numerical analysis tools, spreadsheets or simply inside any programming language when a dataset is needed. In order to do this, small pieces of hardware were developed containing at least one sensor using different types of computer communication. As long as the sensors are attached in a server connected to the internet, these tools can also be shared between different schools. This allows sensors that aren't available in a determined school to be used by getting the values from other places that are sharing them. Another remark is that students in the more advanced years and (theoretically) more know how, can use the courses that have some affinities with electronic development to build new sensor pieces and expand the framework further. The final solution provided is very interesting, low cost, simple to develop, allowing flexibility of resources by using the same materials in several courses bringing real world data into the students computer works.

A module for Data Centric Storage in ns-3

Demo in Workshop on ns-3 (WNS3 2015). 13 to 14, May, 2015. Castelldefels, Spain.

Using data mining with time series data in short-term stocks prediction

Data Mining (DM) methods are being increasingly used in prediction with time series data, in addition to traditional statistical approaches. This paper presents a literature review of the use of DM with time series data, focusing on short- time stocks prediction. This is an area that has been attracting a great deal of attention from researchers in the field. The main contribution of this paper is to provide an outline of the use of DM with time series data, using mainly examples related with short-term stocks prediction. This is important to a better understanding of the field. Some of the main trends and open issues will also be introduced.