Contribuições a técnicas de agrupamento e visualização de dados multivariados utilizando mapas auto-organizáveis

Self-organizing maps (SOM) are artificial neural networks widely used in the data mining field, mainly because they constitute a dimensionality reduction technique given the fixed grid of neurons associated with the network. In order to properly the partition and visualize the SOM network, the various methods available in the literature must be applied in a post-processing stage, that consists of inferring, through its neurons, relevant characteristics of the data set. In general, such processing applied to the network neurons, instead of the entire database, reduces the computational costs due to vector quantization. This work proposes a post-processing of the SOM neurons in the input and output spaces, combining visualization techniques with algorithms based on gravitational forces and the search for the shortest path with the greatest reward. Such methods take into account the connection strength between neighbouring neurons and characteristics of pattern density and distances among neurons, both associated with the position that the neurons occupy in the data space after training the network. Thus, the goal consists of defining more clearly the arrangement of the clusters present in the data. Experiments were carried out so as to evaluate the proposed methods using various artificially generated data sets, as well as real world data sets. The results obtained were compared with those from a number of well-known methods existent in the literature

Detecção de eventos de segurança de redes por intermédio de técnicas estatísticas e associativas aplicadas a fluxos de dados

Pós-graduação em Ciência da Computação - IBILCE

Contribuições de modelagem de equações estruturais na análise de dados em modelos comportamentais de destino turístico

A fragilidade brasileira quanto à competitividade turística é um fato observável nos dados da Organização Mundial do Turismo. O Brasil caiu em 2011, da 45ª para a 52ª posição, apesar de liderar no atributo recursos naturais e estar colocado na 23° em recursos culturais. Assim, grandes interesses e esforços têm sido direcionados para o estudo da competitividade dos produtos e destinos turísticos. O destino turístico é caracterizado por um conjunto complexo e articulado de fatores tangíveis e intangíveis, apresentando alta complexidade, dados de elevada dimensionalidade, não linearidade e comportamento dinâmico, tornando-se difícil a modelagem desses processos por meio de abordagens baseadas em técnicas estatísticas clássicas. Esta tese investigou modelos de equações estruturais e seus algoritmos, aplicados nesta área, analisando o ciclo completo de análise de dados, em um processo confirmatório no desenvolvimento e avaliação de um modelo holístico da satisfação do turista; na validação da estrutura do modelo de medida e do modelo estrutural, por meio de testes de invariância de múltiplos grupos; na análise comparativa dos métodos de estimação MLE, GLS e ULS para a modelagem da satisfação e na realização de segmentação de mercado no setor de destino turístico utilizando mapas auto-organizáveis de Kohonen e sua validação com modelagem de equações estruturais. Aplicações foram feitas em análises de dados no setor de turismo, principal indústria de serviços do Estado do Rio Grande do Norte, tendo sido, teoricamente desenvolvidos e testados empiricamente, modelos de equações estruturais em padrões comportamentais de destino turístico. Os resultados do estudo empírico se basearam em pesquisas com a técnica de amostragem aleatória sistemática, efetuadas em Natal-RN, entre Janeiro e Março de 2013 e forneceram evidências sustentáveis de que o modelo teórico proposto é satisfatório, com elevada capacidade explicativa e preditiva, sendo a satisfação o antecedente mais importante da lealdade no destino. Além disso, a satisfação é mediadora entre a geração da motivação da viagem e a lealdade do destino e que os turistas buscam primeiro à satisfação com a qualidade dos serviços de turismo e, posteriormente, com os aspectos que influenciam a lealdade. Contribuições acadêmicas e gerenciais são mostradas e sugestões de estudo são dadas para trabalhos futuros.

Utilização de inteligência competitiva, da gestão de riscos e da computação aplicada para ganhos de competitividade em instituição organizadora de concursos

Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2015.

Exploração de dados de uma solução mobile wallet usando as técnicas de data mining

A descoberta de conhecimento em dados hoje em dia é um ponto forte para as empresas. Atualmente a CardMobili não dispõe de qualquer sistema de mineração de dados, sendo a existência deste uma mais-valia para as suas operações de marketing diárias, nomeadamente no lançamento de cupões a um grupo restrito de clientes com uma elevada probabilidade que os mesmos os utilizem. Para isso foi analisada a base de dados da aplicação tentando extrair o maior número de dados e aplicadas as transformações necessárias para posteriormente serem processados pelos algoritmos de mineração de dados. Durante a etapa de mineração de dados foram aplicadas as técnicas de associação e classificação, sendo que os melhores resultados foram obtidos com técnicas de associação. Desta maneira pretende-se que os resultados obtidos auxiliem o decisor na sua tomada de decisões.

Classificação de microáreas de risco com uso de mineraçãode dados

OBJETIVO: Identificar, com o auxílio de técnicas computacionais, regras referentes às condições do ambiente físico para a classificação de microáreas de risco. MÉTODOS: Pesquisa exploratória, desenvolvida na cidade de Curitiba, PR, em 2007, dividida em três etapas: identificação de atributos para classificar uma microárea; construção de uma base de dados; e aplicação do processo de descoberta de conhecimento em base de dados, por meio da aplicação de mineração de dados. O conjunto de atributos envolveu as condições de infra- estrutura, hidrografia, solo, área de lazer, características da comunidade e existência de vetores. A base de dados foi construída com dados obtidos em entrevistas com agentes comunitários de saúde, sendo utilizado um questionário com questões fechadas, elaborado com os atributos essenciais, selecionados por especialistas. RESULTADOS: Foram identificados 49 atributos, sendo 41 essenciais e oito irrelevantes. Foram obtidas 68 regras com a mineração de dados, as quais foram analisadas sob a perspectiva de desempenho e qualidade e divididas em dois conjuntos: as inconsistentes e as que confirmam o conhecimento de especialistas. A comparação entre os conjuntos mostrou que as regras que confirmavam o conhecimento, apesar de terem desempenho computacional inferior, foram consideradas mais interessantes. CONCLUSÕES: A mineração de dados ofereceu um conjunto de regras úteis e compreensíveis, capazes de caracterizar microáreas, classificando-as quanto ao grau do risco, com base em características do ambiente físico. A utilização das regras propostas permite que a classificação de uma microárea possa ser realizada de forma mais rápida, menos subjetiva, mantendo um padrão entre as equipes de saúde, superando a influência da percepção particular de cada componente da equipe.

Clustering de dados biomédicos com algoritmos baseados em critérios entrópicos

A procura de padrões nos dados de modo a formar grupos é conhecida como aglomeração de dados ou clustering, sendo uma das tarefas mais realizadas em mineração de dados e reconhecimento de padrões. Nesta dissertação é abordado o conceito de entropia e são usados algoritmos com critérios entrópicos para fazer clustering em dados biomédicos. O uso da entropia para efetuar clustering é relativamente recente e surge numa tentativa da utilização da capacidade que a entropia possui de extrair da distribuição dos dados informação de ordem superior, para usá-la como o critério na formação de grupos (clusters) ou então para complementar/melhorar algoritmos existentes, numa busca de obtenção de melhores resultados. Alguns trabalhos envolvendo o uso de algoritmos baseados em critérios entrópicos demonstraram resultados positivos na análise de dados reais. Neste trabalho, exploraram-se alguns algoritmos baseados em critérios entrópicos e a sua aplicabilidade a dados biomédicos, numa tentativa de avaliar a adequação destes algoritmos a este tipo de dados. Os resultados dos algoritmos testados são comparados com os obtidos por outros algoritmos mais “convencionais" como o k-médias, os algoritmos de spectral clustering e um algoritmo baseado em densidade.

Exploring distributed computing tools through data mining tasks

Harnessing idle PCs CPU cycles, storage space and other resources of networked computers to collaborative are mainly fixated on for all major grid computing research projects. Most of the university computers labs are occupied with the high puissant desktop PC nowadays. It is plausible to notice that most of the time machines are lying idle or wasting their computing power without utilizing in felicitous ways. However, for intricate quandaries and for analyzing astronomically immense amounts of data, sizably voluminous computational resources are required. For such quandaries, one may run the analysis algorithms in very puissant and expensive computers, which reduces the number of users that can afford such data analysis tasks. Instead of utilizing single expensive machines, distributed computing systems, offers the possibility of utilizing a set of much less expensive machines to do the same task. BOINC and Condor projects have been prosperously utilized for solving authentic scientific research works around the world at a low cost. In this work the main goal is to explore both distributed computing to implement, Condor and BOINC, and utilize their potency to harness the ideal PCs resources for the academic researchers to utilize in their research work. In this thesis, Data mining tasks have been performed in implementation of several machine learning algorithms on the distributed computing environment.

O Futuro dos Centros de Dados

Atualmente, as Tecnologias de Informação (TI) são cada vez mais vitais dentro das organizações. As TI são o motor de suporte do negócio. Para grande parte das organizações, o funcionamento e desenvolvimento das TI têm como base infraestruturas dedicadas (internas ou externas) denominadas por Centro de Dados (CD). Nestas infraestruturas estão concentrados os equipamentos de processamento e armazenamento de dados de uma organização, por isso, são e serão cada vez mais desafiadas relativamente a diversos fatores tais como a escalabilidade, disponibilidade, tolerância à falha, desempenho, recursos disponíveis ou disponibilizados, segurança, eficiência energética e inevitavelmente os custos associados. Com o aparecimento das tecnologias baseadas em computação em nuvem e virtualização, abrese todo um leque de novas formas de endereçar os desafios anteriormente descritos. Perante este novo paradigma, surgem novas oportunidades de consolidação dos CD que podem representar novos desafios para os gestores de CD. Por isso, é no mínimo irrealista para as organizações simplesmente eliminarem os CD ou transforma-los segundo os mais altos padrões de qualidade. As organizações devem otimizar os seus CD, contudo um projeto eficiente desta natureza, com capacidade para suportar as necessidades impostas pelo mercado, necessidades dos negócios e a velocidade da evolução tecnológica, exigem soluções complexas e dispendiosas tanto para a sua implementação como a sua gestão. É neste âmbito que surge o presente trabalho. Com o objetivo de estudar os CD inicia-se um estudo sobre esta temática, onde é detalhado o seu conceito, evolução histórica, a sua topologia, arquitetura e normas existentes que regem os mesmos. Posteriormente o estudo detalha algumas das principais tendências condicionadoras do futuro dos CD. Explorando o conhecimento teórico resultante do estudo anterior, desenvolve-se uma metodologia de avaliação dos CD baseado em critérios de decisão. O estudo culmina com uma análise sobre uma nova solução tecnológica e a avaliação de três possíveis cenários de implementação: a primeira baseada na manutenção do atual CD; a segunda baseada na implementação da nova solução em outro CD em regime de hosting externo; e finalmente a terceira baseada numa implementação em regime de IaaS.

Mineração de repositórios de software modelos de previsão de pedidos de evolução de software

Dissertação para obtenção do Grau de Mestre em Engenharia Informática

Mapeamento pedológico digital da folha Botucatu (SF-22-Z-B-VI-3): treinamento de dados em mapa tradicional e validação de campo

O mapeamento digital de solos permite prever padrões de ocorrência de solos com base em áreas de referência e no uso de técnicas de mineração de dados para modelar associações solo-paisagem. Os objetivos deste trabalho foram produzir um mapa pedológico digital por meio de técnicas de mineração de dados aplicadas a variáveis geomorfométricas e de geologia, com base em áreas de referência; e testar a confiabilidade desse mapa por meio de validação em campo com diferentes sistemas de amostragem. O mapeamento foi realizado na folha Botucatu (SF-22-Z-B-VI-3), utilizando-se as folhas 1:50.000, Dois Córregos e São Pedro, como áreas de referência. Variáveis descritoras do relevo e de geologia associadas às unidades de mapeamento pedológico das áreas de referência compuseram a matriz de dados de treinamento. A matriz foi analisada pelo algoritmo PART de árvore de decisão, do aplicativo Weka (Waikato Environment for Knowledge Analysis), que cria regras de classificação. Essas regras foram aplicadas aos dados geomorfométricos e geológicos da folha Botucatu, para predição de unidades de mapeamento pedológico. A validação de campo dos mapas digitais deu-se por meio de amostragem por transectos em uma unidade de mapeamento da folha São Pedro e de forma aleatório-estratificada na folha Botucatu. A avaliação da unidade de mapeamento na folha São Pedro verificou confiabilidade, respectivamente, de 83 e 66 %, para os mapas pedológicos digital e tradicional com legenda simplificada. Apesar de terem sido geradas regras para todas as unidades de mapeamento pedológico das áreas de treinamento, nem todas as unidades de mapeamento foram preditas na folha Botucatu, o que resultou das diferenças de relevo e geologia entre as áreas de treinamento e de mapeamento. A validação de campo do mapa digital da folha Botucatu verificou exatidão global de 52 %, compatível com levantamentos em nível de reconhecimento de baixa intensidade, e kappa de 0,41, indicando qualidade Boa. Unidades de mapeamento mais extensas geraram mais regras, resultando melhor reprodução dos padrões solo-relevo na área a ser mapeada. A validação por transectos na folha São Pedro indicou compatibilidade do mapa digital com o nível de reconhecimento de alta intensidade e compatibilidade do mapa tradicional, após simplificação de sua legenda, com o nível de reconhecimento de baixa intensidade. O treinamento do algoritmo em mapas e não em observações pontuais reduziu em 14 % a exatidão do mapa pedológico digital da folha Botucatu. A amostragem aleatório-estratificada pelo hipercubo latino é apropriada a mapeamentos com extensa base de dados, o que permite avaliar o mapa como um todo, tornando os trabalhos de campo mais eficientes. A amostragem em transectos é compatível com a avaliação da pureza de unidades de mapeamento individualmente, não necessitando de base de dados detalhada e permitindo estudos de associações solo-paisagem em pedossequências.

O Uso de ícones na visualização de informações

A visualização de informações congrega um conjunto de técnicas que têm por objetivo facilitar o entendimento de informações a partir de representações visuais. Nesta área, parte-se do pressuposto de que uma representação visual de dados ou informações proporciona uma forma mais simples e intuitiva de entendê-los e, com isso, inferir mais rapidamente e com maior precisão o seu significado. Normalmente, a tarefa de análise de dados é realizada com o auxílio de ferramentas de acordo com a natureza dos dados e do estudo sendo realizado. As técnicas de visualização de dados e informações não substituem ferramentas de análise específicas. Elas podem ser usadas como primeira aproximação do processo de análise, quando sintetizam de forma visual uma grande massa de dados, permitindo escolher partes do volume de dados para análise mais detalhada, ou como forma de apresentação de dados já reduzidos. Quando o subconjunto dos dados de interesse está disponível, a utilização de uma ferramenta de visualização proporciona maior agilidade nas análises e padrões na massa de dados podem ser descobertos visualmente. Uma das classes de técnicas de visualização utilizada nesta área é a icônica. Um ícone (ou glifo) é um objeto com geometria e aparência paramétricas, as quais podem ser arbitrariamente vinculadas a dados. A função de um ícone é agir como uma representação simbólica, que mostra as características essenciais de um domínio de dados ao qual o ícone se refere. Assim é possível obter uma visualização dos dados de uma forma mais clara e compacta. Em geral, ícones são utilizados para representar dados multidimensionais, ou seja, múltiplos atributos associados a uma posição num espaço qualquer, ou a entidades em estudo. O presente trabalho analisa o uso de ícones na visualização de informações. São discutidos os conceitos fundamentais de visualização de informações e sua relação com a área de mineração de dados. O uso de ícones em diversos trabalhos apontados na literatura é apresentado, sendo abordada a questão de geração automática de ícones, mais flexível do que os conjuntos fixos providos pelos sistemas de visualização estudados. Uma proposta para gerar ícones de forma automática baseada numa especificação paramétrica dos ícones é utilizada em um conjunto de dados característicos de espécimes animais estudados por biólogos do Departamento de Genética da UFRGS.

Access Miner : uma proposta para a extração de regras de associação aplicada à mineração do uso da web

Este trabalho é dedicado ao estudo e à aplicação da mineração de regras de associação a fim de descobrir padrões de navegação no ambiente Web. As regras de associação são padrões descritivos que representam a probabilidade de um conjunto de itens aparecer em uma transação visto que outro conjunto está presente. Dentre as possibilidades de aplicação da mineração de dados na Web, a mineração do seu uso consiste na extração de regras e padrões que descrevam o perfil dos visitantes aos sites e o seu comportamento navegacional. Neste contexto, alguns trabalhos já foram propostos, contudo diversos pontos foram deixados em aberto por seus autores. O objetivo principal deste trabalho é a apresentação de um modelo para a extração de regras de associação aplicado ao uso da Web. Este modelo, denominado Access Miner, caracteriza-se por enfocar as etapas do processo de descoberta do conhecimento desde a obtenção dos dados até a apresentação das regras obtidas ao analista. Características específicas do domínio foram consideradas, como a estrutura do site, para o pósprocessamento das regras mineradas a fim de selecionar as potencialmente mais interessantes e reduzir a quantidade de regras a serem apreciadas. O projeto possibilitou a implementação de uma ferramenta para a automação das diversas etapas do processo, sendo consideradas, na sua construção, as características de interatividade e iteratividade, necessárias para a descoberta e consolidação do conhecimento. Finalmente, alguns resultados foram obtidos a partir da aplicação desta ferramenta em dois casos, de forma que o modelo proposto pôde ser validado.

Pré-processamento no processo de descoberta de conhecimento em banco de dados

A Descoberta de Conhecimento em Banco de Dados (DCBD) é uma nova área de pesquisa que envolve o processo de extração de conhecimento útil implícito em grandes bases de dados. Existem várias metodologias para a realização de um processo de DCBD cuja essência consiste basicamente nas fases de entendimento do domínio do problema, pré-processamento, mineração de dados e pós-processamento. Na literatura sobre o assunto existem muitos trabalhos a respeito de mineração de dados, porém pouco se encontra sobre o processo de pré-processamento. Assim, o objetivo deste trabalho consiste no estudo do pré-processamento, já que é a fase que consome a maior parte do tempo e esforço de todo o processo de DCBD pois envolve operações de entendimento, seleção, limpeza e transformação de dados. Muitas vezes, essas operações precisam ser repetidas de modo a aprimorar a qualidade dos dados e, conseqüentemente, melhorar também a acurácia e eficiência do processo de mineração. A estrutura do trabalho abrange cinco capítulos. Inicialmente, apresenta-se a introdução e motivação para trabalho, juntamente com os objetivos e a metodologia utilizada. No segundo capítulo são abordadas metodologias para o processo de DCBD destacando-se CRISP-DM e a proposta por Fayyad, Piatetsky-Shapiro e Smyth. No terceiro capítulo são apresentadas as sub-fases da fase de pré-processamento contemplando-se entendimento, seleção, limpeza e transformação de dados, bem como os principais métodos e técnicas relacionados às mesmas. Já no quarto capítulo são descritos os experimentos realizados sobre uma base de dados real. Finalmente, no quinto capítulo são apresentadas as considerações finais sobre pré-processamento no processo de DCBD, apontando as dificuldades encontradas na prática, contribuições do presente trabalho e pretensões da continuidade do mesmo. Considera-se como principais contribuições deste trabalho a apresentação de métodos e técnicas de pré-processamento existentes, a comprovação da importância da interatividade com o especialista do domínio ao longo de todo o processo de DCBD, mas principalmente nas tomadas de decisões da fase de pré-processamento, bem como as sugestões de como realizar um pré-processamento sobre uma base de dados real.

O poder da generalização na modelagem de dados : um estudo empírico

Trata-se de uma pesquisa de campo que abrange 21 empresas, onde se procurou identificar estruturas de dados comuns nos modelos de dados das mesmas. A base teórica para o trabalho são os conceitos de abstração existentes na literatura de Projeto de Banco de Dados, agregação (é-parte-de) e generalização (é-um). Foram identificadas aplicações destes conceitos, mas a pesquisa também mostra que ainda há poucas ferramentas disponíveis para implementação dos mesmos e pouca familiaridade dos técnicos com os conceitos