NovaIntell - projecto de text-Mining para a língua portuguesa numa empresa de Gestão de Informação e Conhecimento

Dissertação apresentada como requisito parcial para obtenção do grau de Mestre em Estatística e Gestão de Informação

Using data mining with time series data in short-term stocks prediction

Data Mining (DM) methods are being increasingly used in prediction with time series data, in addition to traditional statistical approaches. This paper presents a literature review of the use of DM with time series data, focusing on short- time stocks prediction. This is an area that has been attracting a great deal of attention from researchers in the field. The main contribution of this paper is to provide an outline of the use of DM with time series data, using mainly examples related with short-term stocks prediction. This is important to a better understanding of the field. Some of the main trends and open issues will also be introduced.

SEROPREVALENCE OF T. cruzi INFECTION IN BLOOD DONORS AND CHAGAS CARDIOMYOPATHY IN PATIENTS FROM THE COAL MINING REGION OF COAHUILA, MEXICO

Context and Objective: Chagas disease is considered a worldwide emerging disease; it is endemic in Mexico and the state of Coahuila and is considered of little relevance. The objective of this study was to determine the seroprevalence of T. cruzi infection in blood donors and Chagas cardiomyopathy in patients from the coal mining region of Coahuila, Mexico.Design and Setting: Epidemiological, exploratory and prospective study in a general hospital during the period January to June 2011.Methods: We performed laboratory tests ELISA and indirect hemagglutination in three groups of individuals: 1) asymptomatic voluntary blood donors, 2) patients hospitalized in the cardiology department and 3) patients with dilated cardiomyopathy.Results: There were three levels of seroprevalence: 0.31% in asymptomatic individuals, 1.25% in cardiac patients and in patients with dilated cardiomyopathy in 21.14%.Conclusions: In spite of having detected autochthonous cases of Chagas disease, its importance to local public health remains to be established as well as the details of the dynamics of transmission so that the study is still in progress.

Classificação de sons urbanos usando motifs e MFCC

A classificação automática de sons urbanos é importante para o monitoramento ambiental. Este trabalho apresenta uma nova metodologia para classificar sons urbanos, que se baseia na descoberta de padrões frequentes (motifs) nos sinais sonoros e utiliza-los como atributos para a classificação. Para extrair os motifs é utilizado um método de descoberta multi-resolução baseada em SAX. Para a classificação são usadas árvores de decisão e SVMs. Esta nova metodologia é comparada com outra bastante utilizada baseada em MFCC. Para a realização de experiências foi utilizado o dataset UrbanSound disponível publicamente. Realizadas as experiências, foi possível concluir que os atributos motif são melhores que os MFCC a discriminar sons com timbres semelhantes e que os melhores resultados são conseguidos com ambos os tipos de atributos combinados. Neste trabalho foi também desenvolvida uma aplicação móvel para Android que permite utilizar os métodos de classificação desenvolvidos num contexto de vida real e expandir o dataset.

Text Mining: análise de sentimentos na classificação de notícias

Trabalho de Projeto apresentado como requisito parcial para obtenção do grau de Mestre em Estatística e Gestão de Informação

ArcelorMittal: Metals & Mining: Equity Investment Report

A Work Project, presented as part of the requirements for the Award of a Masters Degree in Finance from the NOVA – School of Business and Economics

ArcelorMittal: Metals & Mining – Europe: Equity Investment Report

A Work Project, presented as part of the requirements for the Award of a Masters Degree in Finance from the NOVA – School of Business and Economics

Expressiveness improvements of OutSystems DSL query primitives

Dissertação para obtenção do Grau de Mestre em Engenharia Informática

Environmental remediation project of Cunha Baixa mining area cost benefit analysis

A Work Project, presented as part of the requirements for the Award of a Masters Degree in Economics from the NOVA – School of Business and Economics

Automatic information retrieval through text-mining

The dissertation presented for obtaining the Master’s Degree in Electrical Engineering and Computer Science, at Universidade Nova de Lisboa, Faculdade de Ciências e Tecnologia

Exposição profissional ao chumbo : análise da indução de efeitos genotóxicos

RESUMO - A exposição contínua a substâncias químicas tem consequências para a saúde humana, algumas das quais não estão ainda totalmente estabelecidas. A toxicologia ocupacional é uma área interdisciplinar que envolve conhecimentos de higiene e de medicina ocupacional, de epidemiologia e de toxicologia e que tem por principal objectivo prevenir a ocorrência de efeitos adversos decorrentes do ambiente ocupacional sendo um dos seus principais papéis fornecer o máximo de dados que possam contribuir para o conhecimento dos potenciais efeitos na saúde. O chumbo é um tóxico de características cumulativas que provoca na saúde efeitos principalmente sistémicos, ou seja, o efeito tóxico manifesta-se em locais afastados do contacto inicial que resultam essencialmente de exposições crónicas, resultantes de períodos de exposição mais ou menos longos ao metal (entre meses e anos). Pode interagir com diferentes órgãos e tecidos, ligando-se a moléculas e constituintes celulares. Uma vez que não possui qualquer função fisiológica, a presença do chumbo no organismo humano resulta numa série de efeitos prejudiciais que afectam diversos órgãos e sistemas. A toxicidade do chumbo manifesta-se em diversos órgãos e tecidos, nomeadamente no sistema hematopoiético, no sistema nervoso, no rim, no aparelho reprodutor, no sistema cardiovascular, no sistema endócrino e no sistema imunitário. Da interferência do chumbo com o funcionamento de alguns sistemas biológicos resultam um conjunto de alterações fundamentais ao nível dos processos de transporte através das membranas, da integridade estrutural e funcional das enzimas e de várias vias metabólicas, em especial da fosforilação oxidativa e da síntese do heme sendo os primeiros efeitos bioquímicos do chumbo detectados a partir de valores de plumbémia inferiores a 10 μg/dL. As medidas de higiene e segurança actualmente em vigor nos países desenvolvidos asseguram que os casos de intoxicação grave são cada vez menos frequentes. No entanto, o risco de exposição a nível ocupacional existe em todas as actividades que envolvem materiais que o contenham como as explorações mineiras, as fundições primária e secundária, a produção de baterias de chumbo ácido, a produção de vidro com pigmentos de chumbo, as soldaduras de reparação automóvel e a instrução de tiro. Desde 2006 o chumbo é considerado pela International Agency for Research on Cancer (IARC) uma substância carcinogénica do grupo 2A (provável carcinogénio para o ser humano). Considera-se, assim, que o chumbo tem, inequivocamente, capacidade de induzir cancro em animais experimentais mas que, embora haja fortes indícios de que os mecanismos que medeiam a carcinogénese desses compostos ocorrem no ser humano, os dados disponíveis ainda não podem assegurar essa relação. Com este estudo pretendeu-se contribuir para o conhecimento da toxicidade do chumbo através do estudo da exposição ao chumbo e da influência da susceptibilidade individual (em industrias sem co-exposição significativa a outros agentes conhecidos ou suspeitos de serem carcinogénicos). Pretendeu-se estudar o caso através de uma abordagem múltipla que permitisse relacionar diferentes tipos de marcadores biológicos uma vez que a monitorização biológica integra todas as possíveis vias de entrada no organismo (para além da via respiratória), eventuais exposições fora do contexto estritamente profissional assim como uma série de factores intrínsecos individuais (relacionados com modos de via, de natureza fisiológica e comportamentais). Sendo a co-exposição a outros compostos com propriedades genotóxicas e carcinogénicas uma questão difícil de tornear quando se quer avaliar o potencial genotóxico do chumbo em populações expostas, ocupacional ou ambientalmente este estudo tem a vantagem de ter sido efectuado em populações sem co-exposição conhecida a outras substâncias deste tipo, permitindo concluir sobre os efeitos resultantes apenas da exposição a chumbo na população humana, contribuindo para explicar algumas das aparentes inconsistências e contradições entre diferentes estudos sobre este tema. Os indicadores de exposição usados foram: indicadores de dose interna (doseamento de chumbo e de PPZ no sangue), indicadores de efeitos adversos no heme e genotóxicos (actividade da ALAD, teste do cometa e mutação em TCR) e indicadores de susceptibilidade (polimorfismos genéticos de ALAD e VDR) através de uma abordagem estatística de comparação directa de sub-grupos previamente definidos na população e da aplicação de um modelo de regressão múltipla. Este estudo revelou que os níveis de plumbémia na população portuguesa baixaram significativamente nos últimos 10 anos, tanto na população ocupacionalmente exposta como na população em geral e que a presença do genótipo B-B (do gene VDR) é preditiva das variações de plumbémia, quando comparada com o genótipo mais frequente na população, B-b; ao contrário, o genótipo b-b não aparenta ter influência em nenhum dos marcadores estudados. No que diz respeito a efeitos genotóxicos concluiu-se que estes não se manifestaram na população estudada, levando a concluir que nos níveis de exposição estudados, o chumbo não tem capacidade de induzir este tipo de efeitos per si levando ao reforço da hipótese, já levantada por outros autores, de que o mecanismo de genotoxicidade do chumbo seja essencialmente de promoção de processos de genotoxicidade desencadeados por outros agentes. A realização de estudos de efeitos genotóxicos e de stress oxidativo desenhados de forma a comparar grupos de trabalhadores expostos apenas a chumbo com grupos de trabalhadores com o mesmo nível de exposição a chumbo, mas com co-exposição a outros agentes reconhecidamente carcinogénicos poderá ajudar a aumentar o conhecimento deste efeito do chumbo na saúde humana.

Complex networks and data mining: toward a new perspective for the understanding of complex systems

Complex systems, i.e. systems composed of a large set of elements interacting in a non-linear way, are constantly found all around us. In the last decades, different approaches have been proposed toward their understanding, one of the most interesting being the Complex Network perspective. This legacy of the 18th century mathematical concepts proposed by Leonhard Euler is still current, and more and more relevant in real-world problems. In recent years, it has been demonstrated that network-based representations can yield relevant knowledge about complex systems. In spite of that, several problems have been detected, mainly related to the degree of subjectivity involved in the creation and evaluation of such network structures. In this Thesis, we propose addressing these problems by means of different data mining techniques, thus obtaining a novel hybrid approximation intermingling complex networks and data mining. Results indicate that such techniques can be effectively used to i) enable the creation of novel network representations, ii) reduce the dimensionality of analyzed systems by pre-selecting the most important elements, iii) describe complex networks, and iv) assist in the analysis of different network topologies. The soundness of such approach is validated through different validation cases drawn from actual biomedical problems, e.g. the diagnosis of cancer from tissue analysis, or the study of the dynamics of the brain under different neurological disorders.

Automatic extraction of concepts from texts and applications

The extraction of relevant terms from texts is an extensively researched task in Text- Mining. Relevant terms have been applied in areas such as Information Retrieval or document clustering and classification. However, relevance has a rather fuzzy nature since the classification of some terms as relevant or not relevant is not consensual. For instance, while words such as "president" and "republic" are generally considered relevant by human evaluators, and words like "the" and "or" are not, terms such as "read" and "finish" gather no consensus about their semantic and informativeness. Concepts, on the other hand, have a less fuzzy nature. Therefore, instead of deciding on the relevance of a term during the extraction phase, as most extractors do, I propose to first extract, from texts, what I have called generic concepts (all concepts) and postpone the decision about relevance for downstream applications, accordingly to their needs. For instance, a keyword extractor may assume that the most relevant keywords are the most frequent concepts on the documents. Moreover, most statistical extractors are incapable of extracting single-word and multi-word expressions using the same methodology. These factors led to the development of the ConceptExtractor, a statistical and language-independent methodology which is explained in Part I of this thesis. In Part II, I will show that the automatic extraction of concepts has great applicability. For instance, for the extraction of keywords from documents, using the Tf-Idf metric only on concepts yields better results than using Tf-Idf without concepts, specially for multi-words. In addition, since concepts can be semantically related to other concepts, this allows us to build implicit document descriptors. These applications led to published work. Finally, I will present some work that, although not published yet, is briefly discussed in this document.

Text mining e twitter : o poder das redes sociais num mercado competitivo

Actualmente, com a massificação da utilização das redes sociais, as empresas passam a sua mensagem nos seus canais de comunicação, mas os consumidores dão a sua opinião sobre ela. Argumentam, opinam, criticam (Nardi, Schiano, Gumbrecht, & Swartz, 2004). Positiva ou negativamente. Neste contexto o Text Mining surge como uma abordagem interessante para a resposta à necessidade de obter conhecimento a partir dos dados existentes. Neste trabalho utilizámos um algoritmo de Clustering hierárquico com o objectivo de descobrir temas distintos num conjunto de tweets obtidos ao longo de um determinado período de tempo para as empresas Burger King e McDonald’s. Com o intuito de compreender o sentimento associado a estes temas foi feita uma análise de sentimentos a cada tema encontrado, utilizando um algoritmo Bag-of-Words. Concluiu-se que o algoritmo de Clustering foi capaz de encontrar temas através do tweets obtidos, essencialmente ligados a produtos e serviços comercializados pelas empresas. O algoritmo de Sentiment Analysis atribuiu um sentimento a esses temas, permitindo compreender de entre os produtos/serviços identificados quais os que obtiveram uma polaridade positiva ou negativa, e deste modo sinalizar potencias situações problemáticas na estratégia das empresas, e situações positivas passíveis de identificação de decisões operacionais bem-sucedidas.