An unsupervised approach to feature discretization and selection

Many learning problems require handling high dimensional datasets with a relatively small number of instances. Learning algorithms are thus confronted with the curse of dimensionality, and need to address it in order to be effective. Examples of these types of data include the bag-of-words representation in text classification problems and gene expression data for tumor detection/classification. Usually, among the high number of features characterizing the instances, many may be irrelevant (or even detrimental) for the learning tasks. It is thus clear that there is a need for adequate techniques for feature representation, reduction, and selection, to improve both the classification accuracy and the memory requirements. In this paper, we propose combined unsupervised feature discretization and feature selection techniques, suitable for medium and high-dimensional datasets. The experimental results on several standard datasets, with both sparse and dense features, show the efficiency of the proposed techniques as well as improvements over previous related techniques.

Share GFS – Games, Films & Series: sistema de recomendação

Esta dissertação incide sobre o estudo e análise de uma solução para a criação de um sistema de recomendação para uma comunidade de consumidores de media e no consequente desenvolvimento da mesma cujo âmbito inicial engloba consumidores de jogos, filmes e/ou séries, com o intuito de lhes proporcionar a oportunidade de partilharem experiências, bem como manterem um registo das mesmas. Com a informação adquirida, o sistema reúne condições para proceder a sugestões direcionadas a cada membro da comunidade. O sistema atualiza a sua informação mediante as ações e os dados fornecidos pelos membros, bem como pelo seu feedback às sugestões. Esta aprendizagem ao longo do tempo permite que as sugestões do sistema evoluam juntamente com a mudança de preferência dos membros ou se autocorrijam. O sistema toma iniciativa de sugerir mediante determinadas ações, mas também pode ser invocada uma sugestão diretamente pelo utilizador, na medida em que este não precisa de esperar por sugestões, podendo pedir ao sistema que as forneça num determinado momento. Nos testes realizados foi possível apurar que o sistema de recomendação desenvolvido forneceu sugestões adequadas a cada utilizador específico, tomando em linha de conta as suas ações prévias. Para além deste facto, o sistema não forneceu qualquer sugestão quando o histórico destas tinha provado incomodar o utilizador.

Análise probabilistica do desempenho de pontes existentes

Dissertação para Obtenção do Grau de Mestre em Engenharia Civil – Estruturas e Geotecnia pela Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa

Using data mining techniques to support breast cancer diagnosis

More than ever, there is an increase of the number of decision support methods and computer aided diagnostic systems applied to various areas of medicine. In breast cancer research, many works have been done in order to reduce false-positives when used as a double reading method. In this study, we aimed to present a set of data mining techniques that were applied to approach a decision support system in the area of breast cancer diagnosis. This method is geared to assist clinical practice in identifying mammographic findings such as microcalcifications, masses and even normal tissues, in order to avoid misdiagnosis. In this work a reliable database was used, with 410 images from about 115 patients, containing previous reviews performed by radiologists as microcalcifications, masses and also normal tissue findings. Throughout this work, two feature extraction techniques were used: the gray level co-occurrence matrix and the gray level run length matrix. For classification purposes, we considered various scenarios according to different distinct patterns of injuries and several classifiers in order to distinguish the best performance in each case described. The many classifiers used were Naïve Bayes, Support Vector Machines, k-nearest Neighbors and Decision Trees (J48 and Random Forests). The results in distinguishing mammographic findings revealed great percentages of PPV and very good accuracy values. Furthermore, it also presented other related results of classification of breast density and BI-RADS® scale. The best predictive method found for all tested groups was the Random Forest classifier, and the best performance has been achieved through the distinction of microcalcifications. The conclusions based on the several tested scenarios represent a new perspective in breast cancer diagnosis using data mining techniques.

Introdução à inferência bayesiana

Trata-se de uma simples introdução aos problemas da inferência Bayesiana em que se procura estabelecer o confronto com a inferência clássica. Depois de referir o princípio clássico da amostragem repetida passa a considerar-se do ponto de vista Bayesiano os principais processos inferenciais tais como: estimação, intervalos de credibilidade, predição e ensaio de hipóteses.

Uma introdução à regressão bayesiana

É apresentada uma introdução ao modelo de regressão linear do ponto de vista bayesiano. Para este feito, considera-se o modelo de regressão linear simples, introduzindo-se a hipótese simplificadora de que o parâmetro σ² (variância dos erros) é conhecido. São analisados os casos em que a distribuição a priori é não informativa e em que a distribuição a priori é conjugada (informativa). Por último, e com o objectivo de ilustrar os conceitos e as metodologias referidas, é apresentado um exemplo.

Análise preditiva: uma pequena introdução

Um dos problemas mais importantes da Estatística, pelo menos no que respeita às aplicações é sem dúvida o de predizer o futuro com base no resultado de experiência passada. Estranhamente no entanto, este problema não tem merecido, da parte dos Estatísticos, a atenção que se adivinharia da sua importância. Desenvolvimentos de metodologia Estatística têm-se centrado essencialmente em aspectos paramétricos e de modelação, sendo o problema da predição relegado para segundo plano, considerando talvez como mero “aparte”. O objectivo deste trabalho é precisamente o de fazer um pouco a história do problema da previsão estatística, apresentar a abordagem Bayesiana através de exemplos simples, fazendo um paralelo com soluções clássicas recentes.

Sistema de Recomendação: Share GFS Games, Films & Series

Esta dissertação incide sobre o estudo e análise de uma solução para a criação de um sistema de recomendação para uma comunidade de consumidores de media e no consequente desenvolvimento da mesma cujo âmbito inicial engloba consumidores de jogos, filmes e/ou séries, com o intuito de lhes proporcionar a oportunidade de partilharem experiências, bem como manterem um registo das mesmas. Com a informação adquirida, o sistema reúne condições para proceder a sugestões direccionadas a cada membro da comunidade. O sistema actualiza a sua informação mediante as acções e os dados fornecidos pelos membros, bem como pelo seu feedback às sugestões. Esta aprendizagem ao longo do tempo permite que as sugestões do sistema evoluam juntamente com a mudança de preferência dos membros ou se autocorrijam. O sistema toma iniciativa de sugerir mediante determinadas acções, mas também pode ser invocada uma sugestão directamente pelo utilizador, na medida em que este não precisa de esperar por sugestões, podendo pedir ao sistema que as forneça num determinado momento. Nos testes realizados foi possível apurar que o sistema de recomendação desenvolvido forneceu sugestões adequadas a cada utilizador específico, tomando em linha de conta as suas acções prévias. Para além deste facto, o sistema não forneceu qualquer sugestão quando o histórico destas tinha provado incomodar o utilizador.

Scalable Intelligence for Scheduling Systems

A personalização é um aspeto chave de uma interação homem-computador efetiva. Numa era em que existe uma abundância de informação e tantas pessoas a interagir com ela, de muitas maneiras, a capacidade de se ajustar aos seus utilizadores é crucial para qualquer sistema moderno. A criação de sistemas adaptáveis é um domínio bastante complexo que necessita de métodos muito específicos para ter sucesso. No entanto, nos dias de hoje ainda não existe um modelo ou arquitetura padrão para usar nos sistemas adaptativos modernos. A principal motivação desta tese é a proposta de uma arquitetura para modelação do utilizador que seja capaz de incorporar diferentes módulos necessários para criar um sistema com inteligência escalável com técnicas de modelação. Os módulos cooperam de forma a analisar os utilizadores e caracterizar o seu comportamento, usando essa informação para fornecer uma experiência de sistema customizada que irá aumentar não só a usabilidade do sistema mas também a produtividade e conhecimento do utilizador. A arquitetura proposta é constituída por três componentes: uma unidade de informação do utilizador, uma estrutura matemática capaz de classificar os utilizadores e a técnica a usar quando se adapta o conteúdo. A unidade de informação do utilizador é responsável por conhecer os vários tipos de indivíduos que podem usar o sistema, por capturar cada detalhe de interações relevantes entre si e os seus utilizadores e também contém a base de dados que guarda essa informação. A estrutura matemática é o classificador de utilizadores, e tem como tarefa a sua análise e classificação num de três perfis: iniciado, intermédio ou avançado. Tanto as redes de Bayes como as neuronais são utilizadas, e uma explicação de como as preparar e treinar para lidar com a informação do utilizador é apresentada. Com o perfil do utilizador definido torna-se necessária uma técnica para adaptar o conteúdo do sistema. Nesta proposta, uma abordagem de iniciativa mista é apresentada tendo como base a liberdade de tanto o utilizador como o sistema controlarem a comunicação entre si. A arquitetura proposta foi desenvolvida como parte integrante do projeto ADSyS - um sistema de escalonamento dinâmico - utilizado para resolver problemas de escalonamento sujeitos a eventos dinâmicos. Possui uma complexidade elevada mesmo para utilizadores frequentes, daí a necessidade de adaptar o seu conteúdo de forma a aumentar a sua usabilidade. Com o objetivo de avaliar as contribuições deste trabalho, um estudo computacional acerca do reconhecimento dos utilizadores foi desenvolvido, tendo por base duas sessões de avaliação de usabilidade com grupos de utilizadores distintos. Foi possível concluir acerca dos benefícios na utilização de técnicas de modelação do utilizador com a arquitetura proposta.

Cálculo do limite superior para a capacidade discriminante de modelos preditivos baseados na informação disponível – variáveis dependentes dicotómicas

Dissertação apresentada como requisito parcial para obtenção do grau de Mestre em Estatística e Gestão de Informação.

Urban land cover change detection analysis and modeling spatio-temporal Growth dynamics using Remote Sensing and GIS Techniques: A case study of Dhaka, Bangladesh

Dissertation submitted in partial fulfillment of the requirements for the Degree of Master of Science in Geospatial Technologies.

SYPEC: desenvolvimento de classificadores para identificação automática da postura de sentado

Dissertação para obtenção do Grau de Mestre em Engenharia Biomédica

Intelligent decision support to predict patient barotrauma risk in intensive care units

The occurrence of Barotrauma is identified as a major concern for health professionals, since it can be fatal for patients. In order to support the decision process and to predict the risk of occurring barotrauma Data Mining models were induced. Based on this principle, the present study addresses the Data Mining process aiming to provide hourly probability of a patient has Barotrauma. The process of discovering implicit knowledge in data collected from Intensive Care Units patientswas achieved through the standard process Cross Industry Standard Process for Data Mining. With the goal of making predictions according to the classification approach they several DM techniques were selected: Decision Trees, Naive Bayes and Support Vector Machine. The study was focused on identifying the validity and viability to predict a composite variable. To predict the Barotrauma two classes were created: “risk” and “no risk”. Such target come from combining two variables: Plateau Pressure and PCO2. The best models presented a sensitivity between 96.19% and 100%. In terms of accuracy the values varied between 87.5% and 100%. This study and the achieved results demonstrated the feasibility of predicting the risk of a patient having Barotrauma by presenting the probability associated.

Sistema de apoio à decisão clínica: quality of life system

Dissertação de mestrado integrado em Engenharia e Gestão de Sistemas de Informação