Descoberta de conhecimento em Logs de tentativas de intrusão. Um estudo de caso em Instituições de Ensino Superior

Perante a evolução constante da Internet, a sua utilização é quase obrigatória. Através da web, é possível conferir extractos bancários, fazer compras em países longínquos, pagar serviços sem sair de casa, entre muitos outros. Há inúmeras alternativas de utilização desta rede. Ao se tornar tão útil e próxima das pessoas, estas começaram também a ganhar mais conhecimentos informáticos. Na Internet, estão também publicados vários guias para intrusão ilícita em sistemas, assim como manuais para outras práticas criminosas. Este tipo de informação, aliado à crescente capacidade informática do utilizador, teve como resultado uma alteração nos paradigmas de segurança informática actual. Actualmente, em segurança informática a preocupação com o hardware é menor, sendo o principal objectivo a salvaguarda dos dados e continuidade dos serviços. Isto deve-se fundamentalmente à dependência das organizações nos seus dados digitais e, cada vez mais, dos serviços que disponibilizam online. Dada a mudança dos perigos e do que se pretende proteger, também os mecanismos de segurança devem ser alterados. Torna-se necessário conhecer o atacante, podendo prever o que o motiva e o que pretende atacar. Neste contexto, propôs-se a implementação de sistemas de registo de tentativas de acesso ilícitas em cinco instituições de ensino superior e posterior análise da informação recolhida com auxílio de técnicas de data mining (mineração de dados). Esta solução é pouco utilizada com este intuito em investigação, pelo que foi necessário procurar analogias com outras áreas de aplicação para recolher documentação relevante para a sua implementação. A solução resultante revelou-se eficaz, tendo levado ao desenvolvimento de uma aplicação de fusão de logs das aplicações Honeyd e Snort (responsável também pelo seu tratamento, preparação e disponibilização num ficheiro Comma Separated Values (CSV), acrescentando conhecimento sobre o que se pode obter estatisticamente e revelando características úteis e previamente desconhecidas dos atacantes. Este conhecimento pode ser utilizado por um administrador de sistemas para melhorar o desempenho dos seus mecanismos de segurança, tais como firewalls e Intrusion Detection Systems (IDS).

Exploring distributed computing tools through data mining tasks

Harnessing idle PCs CPU cycles, storage space and other resources of networked computers to collaborative are mainly fixated on for all major grid computing research projects. Most of the university computers labs are occupied with the high puissant desktop PC nowadays. It is plausible to notice that most of the time machines are lying idle or wasting their computing power without utilizing in felicitous ways. However, for intricate quandaries and for analyzing astronomically immense amounts of data, sizably voluminous computational resources are required. For such quandaries, one may run the analysis algorithms in very puissant and expensive computers, which reduces the number of users that can afford such data analysis tasks. Instead of utilizing single expensive machines, distributed computing systems, offers the possibility of utilizing a set of much less expensive machines to do the same task. BOINC and Condor projects have been prosperously utilized for solving authentic scientific research works around the world at a low cost. In this work the main goal is to explore both distributed computing to implement, Condor and BOINC, and utilize their potency to harness the ideal PCs resources for the academic researchers to utilize in their research work. In this thesis, Data mining tasks have been performed in implementation of several machine learning algorithms on the distributed computing environment.

ViDi Stat

A tese desenvolvida tem como foco fornecer os meios necessários para extrair conhecimento contidos no histórico académico da instituição transformando a informação em algo simples e de fácil leitura para qualquer utilizador. Com o progresso da sociedade, as escolas recebem milhares de alunos todos os anos que terão de ser orientados e monitorizados pelos dirigentes das instituições académicas de forma a garantir programas eficientes e adequados para o progresso educacional de todos os alunos. Atribuir a um docente a responsabilidade de actuar segundo o historial académico dos seus alunos não é plausível uma vez que um aluno consegue produzir milhares de registos para análise. O paradigma de mineração de dados na educação surge com a necessidade de otimizar os recursos disponíveis expondo conclusões que não se encontram visiveis sem uma análise acentuada e cuidada. Este paradigma expõe de forma clara e sucinta os dados estatísticos analisados por computador oferecendo a possibilidade de melhorar as lacunas na qualidade de ensino das instituições. Esta dissertação detalha o desenvolvimento de uma ferramente de inteligência de negócio capaz de, através de mineração de dados, analisar e apresentar conclusões pertinentes de forma legível ao utilizador.

Classificação de sons urbanos usando motifs e MFCC

A classificação automática de sons urbanos é importante para o monitoramento ambiental. Este trabalho apresenta uma nova metodologia para classificar sons urbanos, que se baseia na descoberta de padrões frequentes (motifs) nos sinais sonoros e utiliza-los como atributos para a classificação. Para extrair os motifs é utilizado um método de descoberta multi-resolução baseada em SAX. Para a classificação são usadas árvores de decisão e SVMs. Esta nova metodologia é comparada com outra bastante utilizada baseada em MFCC. Para a realização de experiências foi utilizado o dataset UrbanSound disponível publicamente. Realizadas as experiências, foi possível concluir que os atributos motif são melhores que os MFCC a discriminar sons com timbres semelhantes e que os melhores resultados são conseguidos com ambos os tipos de atributos combinados. Neste trabalho foi também desenvolvida uma aplicação móvel para Android que permite utilizar os métodos de classificação desenvolvidos num contexto de vida real e expandir o dataset.

Descoberta de Conhecimento em Dádivas de Sangue

Atualmente, são geradas enormes quantidades de dados que, na maior parte das vezes, não são devidamente analisados. Como tal, existe um fosso cada vez mais significativo entre os dados existentes e a quantidade de dados que é realmente analisada. Esta situação verifica-se com grande frequência na área da saúde. De forma a combater este problema foram criadas técnicas que permitem efetuar uma análise de grandes massas de dados, retirando padrões e conhecimento intrínseco dos dados. A área da saúde é um exemplo de uma área que cria enormes quantidades de dados diariamente, mas que na maior parte das vezes não é retirado conhecimento proveitoso dos mesmos. Este novo conhecimento poderia ajudar os profissionais de saúde a obter resposta para vários problemas. Esta dissertação pretende apresentar todo o processo de descoberta de conhecimento: análise dos dados, preparação dos dados, escolha dos atributos e dos algoritmos, aplicação de técnicas de mineração de dados (classificação, segmentação e regras de associação), escolha dos algoritmos (C5.0, CHAID, Kohonen, TwoSteps, K-means, Apriori) e avaliação dos modelos criados. O projeto baseia-se na metodologia CRISP-DM e foi desenvolvido com a ferramenta Clementine 12.0. O principal intuito deste projeto é retirar padrões e perfis de dadores que possam vir a contrair determinadas doenças (anemia, doenças renais, hepatite, entre outras) ou quais as doenças ou valores anormais de componentes sanguíneos que podem ser comuns entre os dadores.

ViDi Stat

A tese desenvolvida tem como foco fornecer os meios necessários para extrair conhecimento contidos no histórico académico da instituição transformando a informação em algo simples e de fácil leitura para qualquer utilizador. Com o progresso da sociedade, as escolas recebem milhares de alunos todos os anos que terão de ser orientados e monitorizados pelos dirigentes das instituições académicas de forma a garantir programas eficientes e adequados para o progresso educacional de todos os alunos. Atribuir a um docente a responsabilidade de actuar segundo o historial académico dos seus alunos não é plausível uma vez que um aluno consegue produzir milhares de registos para análise. O paradigma de mineração de dados na educação surge com a necessidade de otimizar os recursos disponíveis expondo conclusões que não se encontram visiveis sem uma análise acentuada e cuidada. Este paradigma expõe de forma clara e sucinta os dados estatísticos analisados por computador oferecendo a possibilidade de melhorar as lacunas na qualidade de ensino das instituições. Esta dissertação detalha o desenvolvimento de uma ferramente de inteligência de negócio capaz de, através de mineração de dados, analisar e apresentar conclusões pertinentes de forma legível ao utilizador.

Relação entre as variáveis sociais, económicas e ambientais com o padrão da distribuição espaço-temporal dos casos de Dengue por munícipio no Brasil : de 2008 até 2012, utilizando o SOM

Atualmente, um dos principais desafios que afeta a saúde pública no Brasil é a crescente evolução no número de casos e epidemias provocados pelo vírus da dengue. Não existem estudos suficientes que consigam elucidar quais fatores contribuem para a evolução das epidemias de Dengue. Fatores como condições sanitárias, localização geográfica, investimentos financeiros em infraestrutura e qualidade de vida podem estar relacionados com a incidência de Dengue. Além disso, outra questão que merece um maior destaque é o estudo para se identificar o grau de impacto das variáveis determinantes da dengue e se existe um padrão que está correlacionado com a taxa de incidência. Desta forma, este trabalho tem como objetivo principal a correlação da taxa de incidência da dengue na população de cada município brasileiro, utilizando dados relativos aos aspectos sociais, econômicos, demográficos e ambientais. Outra contribuição relevante do trabalho, foi a análise dos padrões de distribuição espacial da taxa de incidência de Dengue e sua relação com os padrões encontrados utilizando as variáveis socioeconômicas e ambientais, sobretudo analisando a evolução temporal no período de 2008 até 2012. Para essa análises, utilizou-se o Sistema de Informação Geográfica (SIG) aliado com a mineração de dados, através da metodologia de rede neural mais especificamente o mapa auto organizável de Kohonen ou self-organizing maps (SOM). Tal metodologia foi empregada para a identificação de padrão de agrupamentos dessas variáveis e sua relação com as classes de incidência de dengue no Brasil (Alta, Média e Baixa). Assim, este projeto contribui de forma significativa para uma melhor compreensão dos fatores que estão associados à ocorrência de Dengue, e como essa doença está correlacionada com fatores como: meio ambiente, infraestrutura e localização no espaço geográfico.

Marcadores moleculares derivados de sequências expressas do genoma café potencialmente envolvidas na resistência à ferrugem

O objetivo deste trabalho foi identificar marcadores moleculares relacionados à resistência do cafeeiro (Coffea arabica) à ferrugem (Hemileia vastatrix). Foram identificadas sequências de DNA potencialmente envolvidas na resistência do cafeeiro a doenças, por meio de análise "in silico", a partir das informações geradas pelo Projeto Brasileiro do Genoma Café. A partir das sequências mineradas, foram desenhados 59 pares de iniciadores para amplificá-las. Os 59 iniciadores foram testados em 12 cafeeiros resistentes e 12 susceptíveis a H. vastatrix. Vinte e sete iniciadores resultaram em bandas únicas e bem definidas, enquanto um deles amplificou fragmento de DNA em todos os cafeeiros resistentes, mas não nos suscetíveis. Esse marcador molecular polimórfico amplificou uma região do DNA que corresponde a uma janela aberta de leitura parcial do genoma de C. arabica que codifica uma proteína de resistência a doenças. O marcador CARF 005 é capaz de diferenciar os cafeeiros analisados em resistentes e susceptíveis a H. vastatrix.

Árvore de decisão para classificação de ocorrências de ferrugem asiática em lavouras comerciais com base em variáveis meteorológicas

A ferrugem asiática é a mais importante doença da soja no Brasil. Apesar de sua epidemiologia ser conhecida, são escassos os estudos sobre os fatores que desencadeiam a doença com base em dados de campo. Este trabalho objetivou modelar a influência de variáveis meteorológicas a partir de um conjunto extenso de dados de ocorrência da ferrugem, por meio da técnica de indução de árvores de decisão. Os modelos foram desenvolvidos com dados de data de ocorrência da doença em quatro safras (2007/08 a 2010/11) e variáveis de temperatura e chuva em diferentes janelas de tempo prévias à data de detecção. Para cada registro de ocorrência, foi gerado um correspondente de "não ocorrência" como sendo o trigésimo dia anterior ao dia da detecção, assumindo-se a presença de inóculo, mas condições meteorológicas desfavoráveis à doença. O conjunto de treinamento para a modelagem foi composto de 45 variáveis de chuva e temperatura e 12.591 registros. O modelo preditivo escolhido resultou em uma árvore de decisão com, aproximadamente, 78% de taxa de acerto e 108 regras, determinadas por validação cruzada. O modelo interpretado, com 28 regras, considerou variáveis de temperatura como mais importantes, sendo que temperaturas abaixo de 15 °C e acima de 30 °C foram relacionadas com eventos de não ocorrência, enquanto temperaturas dentro da faixa favorável foram associadas com eventos de ocorrência, mostrando coerência com a literatura.

Mapeamento multitemporal da cobertura de terra, por meio de árvore de decisão, na bacia hidrográfica do rio Marombas-SC

RESUMO O conhecimento sobre a cobertura da terra é fundamental como informação para o planejamento e o estudo dos efeitos da substituição de paisagens naturais por paisagens antropizadas. Este estudo objetivou analisar a dinâmica da cobertura da terra entre os anos de 1989 e 2011, na bacia hidrográfica do rio Marombas (SC), empregando o classificador árvore de decisão (AD). Foram utilizadas bandas espectrais do satélite Landsat 5, índices de vegetação e atributos de terreno extraídos do modelo digital de elevação. Esses dados foram utilizados como atributos de classificação da cobertura da terra, nos anos de 1989, 1991, 1993, 1997, 2001, 2004 e 2011. A qualidade do classificador AD foi avaliada por um conjunto de 500 pontos aleatórios e independentes, gerados para cada ano, o que permitiu calcular os parâmetros índice Kappa e exatidão global a partir das matrizes de confusão. O algoritmo AD obteve desempenho médio próximo a 83% para o índice Kappa e exatidão global média de 86%. Esses valores permitem considerar a classificação como excelente, o que permitiu uma associação segura entre a influência antrópica e a dinâmica da cobertura da terra na bacia hidrográfica estudada. Foi diagnosticado o aumento das atividades agrícolas e silvicultoras em detrimento das coberturas naturais, além de uma fragmentação dos corredores ecológicos da Floresta Ombrófila Mista, no intervalo analisado de 22 anos.

Aprendizado relacional por um modelo neural

As técnicas que formam o campo da Descoberta de Conhecimento em Bases de Dados (DCBD) surgiram devido à necessidade de se tratar grandes volumes de dados. O processo completo de DCBD envolve um elevado grau de subjetividade e de trabalho não totalmente automatizado. Podemos dizer que a fase mais automatizada é a de Mineração de Dados (MD). Uma importante técnica para extração de conhecimentosa partir de dados é a Programação Lógica Indutiva (PLI), que se aplica a tarefas de classificação, induzindo conhecimento na forma da lógica de primeira ordem. A PLI tem demonstrado as vantagens de seu aparato de aprendizado em relação a outras abordagens, como por exemplo, aquelas baseadas em aprendizado proposicional Os seus algorítmos de aprendizado apresentam alta expressividade, porém sofrem com a grande complexidade de seus processos, principalmente o teste de corbertura das variáveis. Por outro lado, as Redes Neurais Artificiais (RNs) introduzem um ótimo desempenho devido à sua natureza paralela. às RNs é que geralmente são "caixas pretas", o que torna difícil a obtenção de um interpretação razoável da estrutura geral da rede na forma de construções lógicas de fácil compreensão Várias abordagens híbridas simbólico-conexionistas (por exemplo, o MNC MAC 890 , KBANN SHA 94 , TOW 94 e o sistema INSS OSO 98 têm sido apresentadas para lidar com este problema, permitindo o aprendizado de conhecimento simbólico através d euma RN. Entretanto, estas abordagens ainda lidam com representações atributo-valor. Neste trabalho é apresentado um modelo que combina a expressividade obtida pela PLI com o desempenho de uma rede neural: A FOLONET (First Order Neural Network).

O Uso de ícones na visualização de informações

A visualização de informações congrega um conjunto de técnicas que têm por objetivo facilitar o entendimento de informações a partir de representações visuais. Nesta área, parte-se do pressuposto de que uma representação visual de dados ou informações proporciona uma forma mais simples e intuitiva de entendê-los e, com isso, inferir mais rapidamente e com maior precisão o seu significado. Normalmente, a tarefa de análise de dados é realizada com o auxílio de ferramentas de acordo com a natureza dos dados e do estudo sendo realizado. As técnicas de visualização de dados e informações não substituem ferramentas de análise específicas. Elas podem ser usadas como primeira aproximação do processo de análise, quando sintetizam de forma visual uma grande massa de dados, permitindo escolher partes do volume de dados para análise mais detalhada, ou como forma de apresentação de dados já reduzidos. Quando o subconjunto dos dados de interesse está disponível, a utilização de uma ferramenta de visualização proporciona maior agilidade nas análises e padrões na massa de dados podem ser descobertos visualmente. Uma das classes de técnicas de visualização utilizada nesta área é a icônica. Um ícone (ou glifo) é um objeto com geometria e aparência paramétricas, as quais podem ser arbitrariamente vinculadas a dados. A função de um ícone é agir como uma representação simbólica, que mostra as características essenciais de um domínio de dados ao qual o ícone se refere. Assim é possível obter uma visualização dos dados de uma forma mais clara e compacta. Em geral, ícones são utilizados para representar dados multidimensionais, ou seja, múltiplos atributos associados a uma posição num espaço qualquer, ou a entidades em estudo. O presente trabalho analisa o uso de ícones na visualização de informações. São discutidos os conceitos fundamentais de visualização de informações e sua relação com a área de mineração de dados. O uso de ícones em diversos trabalhos apontados na literatura é apresentado, sendo abordada a questão de geração automática de ícones, mais flexível do que os conjuntos fixos providos pelos sistemas de visualização estudados. Uma proposta para gerar ícones de forma automática baseada numa especificação paramétrica dos ícones é utilizada em um conjunto de dados característicos de espécimes animais estudados por biólogos do Departamento de Genética da UFRGS.

Orpheo : uma estrutura de trabalho para integração dos paradigmas de aprendizado supervisionado e não-supervisionado

Esta tese apresenta contribuições ao processo de Descoberta de Conhecimento em Bases de Dados (DCBD). DCBD pode ser entendido como um conjunto de técnicas automatizadas – ou semi-automatizadas – otimizadas para extrair conhecimento a partir de grandes bases de dados. Assim, o já, de longa data, praticado processo de descoberta de conhecimento passa a contar com aprimoramentos que o tornam mais fácil de ser realizado. A partir dessa visão, bem conhecidos algoritmos de Estatística e de Aprendizado de Máquina passam a funcionar com desempenho aceitável sobre bases de dados cada vez maiores. Da mesma forma, tarefas como coleta, limpeza e transformação de dados e seleção de atributos, parâmetros e modelos recebem um suporte que facilita cada vez mais a sua execução. A contribuição principal desta tese consiste na aplicação dessa visão para a otimização da descoberta de conhecimento a partir de dados não-classificados. Adicionalmente, são apresentadas algumas contribuições sobre o Modelo Neural Combinatório (MNC), um sistema híbrido neurossimbólico para classificação que elegemos como foco de trabalho. Quanto à principal contribuição, percebeu-se que a descoberta de conhecimento a partir de dados não-classificados, em geral, é dividida em dois subprocessos: identificação de agrupamentos (aprendizado não-supervisionado) seguida de classificação (aprendizado supervisionado). Esses subprocessos correspondem às tarefas de rotulagem dos itens de dados e obtenção das correlações entre os atributos da entrada e os rótulos. Não encontramos outra razão para que haja essa separação que as limitações inerentes aos algoritmos específicos. Uma dessas limitações, por exemplo, é a necessidade de iteração de muitos deles buscando a convergência para um determinado modelo. Isto obriga a que o algoritmo realize várias leituras da base de dados, o que, para Mineração de Dados, é proibitivo. A partir dos avanços em DCBD, particularmente com o desenvolvimento de algoritmos de aprendizado que realizam sua tarefa em apenas uma leitura dos dados, fica evidente a possibilidade de se reduzir o número de acessos na realização do processo completo. Nossa contribuição, nesse caso, se materializa na proposta de uma estrutura de trabalho para integração dos dois paradigmas e a implementação de um protótipo dessa estrutura utilizando-se os algoritmos de aprendizado ART1, para identificação de agrupamentos, e MNC, para a tarefa de classificação. É também apresentada uma aplicação no mapeamento de áreas homogêneas de plantio de trigo no Brasil, de 1975 a 1999. Com relação às contribuições sobre o MNC são apresentados: (a) uma variante do algoritmo de treinamento que permite uma redução significativa do tamanho do modelo após o aprendizado; (b) um estudo sobre a redução da complexidade do modelo com o uso de máquinas de comitê; (c) uma técnica, usando o método do envoltório, para poda controlada do modelo final e (d) uma abordagem para tratamento de inconsistências e perda de conhecimento que podem ocorrer na construção do modelo.

Um Algoritmo para indução de árvores e regras de decisão

A classificação é uma das tarefas da Mineração de Dados. Esta consiste na aplicação de algoritmos específicos para produzir uma enumeração particular de padrões. Já a classificação é o processo de gerar uma descrição, ou um modelo, para cada classe a partir de um conjunto de exemplos dados. Os métodos adequados e mais utilizados para induzir estes modelos, ou classificadores, são as árvores de decisão e as regras de classificação. As regras e árvores de decisão são populares, principalmente, por sua simplicidade, flexibilidade e interpretabilidade. Entretanto, como a maioria dos algoritmos de indução particionam recursivamente os dados, o processamento pode tornar-se demorado, e a árvore construída pode ser muito grande e complexa, propensa ao overfitting dos dados, que ocorre quando o modelo aprende detalhadamente ao invés de generalizar. Os conjuntos de dados reais para aplicação em Mineração de Dados são, atualmente, muito grandes, e envolvem vários milhares de registros, sendo necessária, também, uma forma de generalizar estes dados. Este trabalho apresenta um novo modelo de indução de classificadores, em que o principal diferencial do algoritmo proposto é a única passada pelo conjunto de treinamento durante o processo de indução, bem como a sua inspiração proveniente de um Sistema Multiagente. Foi desenvolvido um protótipo, o Midas, que foi validado e avaliado com dados de repositórios. O protótipo também foi aplicado em bases de dados reais, com o objetivo de generalizar as mesmas. Inicialmente, foi estudado e revisado o tema de Descoberta de Conhecimento em Bases de Dados, com ênfase nas técnicas e métodos de Mineração de Dados. Neste trabalho, também são apresentadas, com detalhes, as árvores e regras de decisão, com suas técnicas e algoritmos mais conhecidos. Finalizando, o algoritmo proposto e o protótipo desenvolvido são apresentados, bem como os resultados provenientes da validação e aplicação do mesmo.

Data Mining no Varejo: estudo de caso para loja de materiais de construção

Este trabalho apresenta um estudo de caso de mineração de dados no varejo. O negócio em questão é a comercialização de móveis e materiais de construção. A mineração foi realizada sobre informações geradas das transações de vendas por um período de 8 meses. Informações cadastrais de clientes também foram usadas e cruzadas com informações de venda, visando obter resultados que possam ser convertidos em ações que, por conseqüência, gerem lucro para a empresa. Toda a modelagem, preparação e transformação dos dados, foi feita visando facilitar a aplicação das técnicas de mineração que as ferramentas de mineração de dados proporcionam para a descoberta de conhecimento. O processo foi detalhado para uma melhor compreensão dos resultados obtidos. A metodologia CRISP usada no trabalho também é discutida, levando-se em conta as dificuldades e facilidades que se apresentaram durante as fases do processo de obtenção dos resultados. Também são analisados os pontos positivos e negativos das ferramentas de mineração utilizadas, o IBM Intelligent Miner e o WEKA - Waikato Environment for Knowledge Analysis, bem como de todos os outros softwares necessários para a realização do trabalho. Ao final, os resultados obtidos são apresentados e discutidos, sendo também apresentada a opinião dos proprietários da empresa sobre tais resultados e qual valor cada um deles poderá agregar ao negócio.