New algorithms for automated phylogenetic reconstruction using artificial intelligence and data mining techniques

Academic and industrial research in the late 90s have brought about an exponential explosion of DNA sequence data. Automated expert systems are being created to help biologists to extract patterns, trends and links from this ever-deepening ocean of information. Two such systems aimed on retrieving and subsequently utilizing phylogenetically relevant information have been developed in this dissertation, the major objective of which was to automate the often difficult and confusing phylogenetic reconstruction process. ^ Popular phylogenetic reconstruction methods, such as distance-based methods, attempt to find an optimal tree topology (that reflects the relationships among related sequences and their evolutionary history) by searching through the topology space. Various compromises between the fast (but incomplete) and exhaustive (but computationally prohibitive) search heuristics have been suggested. An intelligent compromise algorithm that relies on a flexible “beam” search principle from the Artificial Intelligence domain and uses the pre-computed local topology reliability information to adjust the beam search space continuously is described in the second chapter of this dissertation. ^ However, sometimes even a (virtually) complete distance-based method is inferior to the significantly more elaborate (and computationally expensive) maximum likelihood (ML) method. In fact, depending on the nature of the sequence data in question either method might prove to be superior. Therefore, it is difficult (even for an expert) to tell a priori which phylogenetic reconstruction method—distance-based, ML or maybe maximum parsimony (MP)—should be chosen for any particular data set. ^ A number of factors, often hidden, influence the performance of a method. For example, it is generally understood that for a phylogenetically “difficult” data set more sophisticated methods (e.g., ML) tend to be more effective and thus should be chosen. However, it is the interplay of many factors that one needs to consider in order to avoid choosing an inferior method (potentially a costly mistake, both in terms of computational expenses and in terms of reconstruction accuracy.) ^ Chapter III of this dissertation details a phylogenetic reconstruction expert system that selects a superior proper method automatically. It uses a classifier (a Decision Tree-inducing algorithm) to map a new data set to the proper phylogenetic reconstruction method. ^

Actionable pattern analysis in computing and business intelligence systems

With advances in science and technology, computing and business intelligence (BI) systems are steadily becoming more complex with an increasing variety of heterogeneous software and hardware components. They are thus becoming progressively more difficult to monitor, manage and maintain. Traditional approaches to system management have largely relied on domain experts through a knowledge acquisition process that translates domain knowledge into operating rules and policies. It is widely acknowledged as a cumbersome, labor intensive, and error prone process, besides being difficult to keep up with the rapidly changing environments. In addition, many traditional business systems deliver primarily pre-defined historic metrics for a long-term strategic or mid-term tactical analysis, and lack the necessary flexibility to support evolving metrics or data collection for real-time operational analysis. There is thus a pressing need for automatic and efficient approaches to monitor and manage complex computing and BI systems. To realize the goal of autonomic management and enable self-management capabilities, we propose to mine system historical log data generated by computing and BI systems, and automatically extract actionable patterns from this data. This dissertation focuses on the development of different data mining techniques to extract actionable patterns from various types of log data in computing and BI systems. Four key problems—Log data categorization and event summarization, Leading indicator identification , Pattern prioritization by exploring the link structures , and Tensor model for three-way log data are studied. Case studies and comprehensive experiments on real application scenarios and datasets are conducted to show the effectiveness of our proposed approaches.

Knowledge discovery and data mining in biological databases

The new technologies for Knowledge Discovery from Databases (KDD) and data mining promise to bring new insights into a voluminous growing amount of biological data. KDD technology is complementary to laboratory experimentation and helps speed up biological research. This article contains an introduction to KDD, a review of data mining tools, and their biological applications. We discuss the domain concepts related to biological data and databases, as well as current KDD and data mining developments in biology.

A data-mining-based methodology for transmission expansion planning

In recent decades, all over the world, competition in the electric power sector has deeply changed the way this sector’s agents play their roles. In most countries, electric process deregulation was conducted in stages, beginning with the clients of higher voltage levels and with larger electricity consumption, and later extended to all electrical consumers. The sector liberalization and the operation of competitive electricity markets were expected to lower prices and improve quality of service, leading to greater consumer satisfaction. Transmission and distribution remain noncompetitive business areas, due to the large infrastructure investments required. However, the industry has yet to clearly establish the best business model for transmission in a competitive environment. After generation, the electricity needs to be delivered to the electrical system nodes where demand requires it, taking into consideration transmission constraints and electrical losses. If the amount of power flowing through a certain line is close to or surpasses the safety limits, then cheap but distant generation might have to be replaced by more expensive closer generation to reduce the exceeded power flows. In a congested area, the optimal price of electricity rises to the marginal cost of the local generation or to the level needed to ration demand to the amount of available electricity. Even without congestion, some power will be lost in the transmission system through heat dissipation, so prices reflect that it is more expensive to supply electricity at the far end of a heavily loaded line than close to an electric power generation. Locational marginal pricing (LMP), resulting from bidding competition, represents electrical and economical values at nodes or in areas that may provide economical indicator signals to the market agents. This article proposes a data-mining-based methodology that helps characterize zonal prices in real power transmission networks. To test our methodology, we used an LMP database from the California Independent System Operator for 2009 to identify economical zones. (CAISO is a nonprofit public benefit corporation charged with operating the majority of California’s high-voltage wholesale power grid.) To group the buses into typical classes that represent a set of buses with the approximate LMP value, we used two-step and k-means clustering algorithms. By analyzing the various LMP components, our goal was to extract knowledge to support the ISO in investment and network-expansion planning.

Business Intelligence – Aplicação prática no sector financeiro

Trabalho de Projecto apresentado como requisito parcial para obtenção do grau de Mestre em Estatística e Gestão de Informação

Business Intelligence para PME: a informação contabilística no suporte à decisão.

Dissertação apresentada como requisito parcial para obtenção do grau de Mestre em Estatística e Gestão de Informação.

Data Mining Approach to support the Generation of Realistic Scenarios for Multi-Agent simulation of Electricity Markets

This paper presents the Realistic Scenarios Generator (RealScen), a tool that processes data from real electricity markets to generate realistic scenarios that enable the modeling of electricity market players’ characteristics and strategic behavior. The proposed tool provides significant advantages to the decision making process in an electricity market environment, especially when coupled with a multi-agent electricity markets simulator. The generation of realistic scenarios is performed using mechanisms for intelligent data analysis, which are based on artificial intelligence and data mining algorithms. These techniques allow the study of realistic scenarios, adapted to the existing markets, and improve the representation of market entities as software agents, enabling a detailed modeling of their profiles and strategies. This work contributes significantly to the understanding of the interactions between the entities acting in electricity markets by increasing the capability and realism of market simulations.

Dados, informação, conhecimento, o business intelligence e as suas motivações

Dissertação para obtenção do Grau de Mestre em Engenharia Informática

Dados de reconhecimento facial em Business Intelligence

Vivemos cada vez mais numa era de crescentes avanços tecnológicos em diversas áreas. O que há uns anos atrás era considerado como praticamente impossível, em muitos dos casos, já se tornou realidade. Todos usamos tecnologias como, por exemplo, a Internet, Smartphones e GPSs de uma forma natural. Esta proliferação da tecnologia permitiu tanto ao cidadão comum como a organizações a sua utilização de uma forma cada vez mais criativa e simples de utilizar. Além disso, a cada dia que passa surgem novos negócios e startups, o que demonstra o dinamismo que este crescimento veio trazer para a indústria. A presente dissertação incide sobre duas áreas em forte crescimento: Reconhecimento Facial e Business Intelligence (BI), assim como a respetiva combinação das duas com o objetivo de ser criado um novo módulo para um produto já existente. Tratando-se de duas áreas distintas, é primeiramente feito um estudo sobre cada uma delas. A área de Business Intelligence é vocacionada para organizações e trata da recolha de informação sobre o negócio de determinada empresa, seguindo-se de uma posterior análise. A grande finalidade da área de Business Intelligence é servir como forma de apoio ao processo de tomada de decisão por parte dos analistas e gestores destas organizações. O Reconhecimento Facial, por sua vez, encontra-se mais presente na sociedade. Tendo surgido no passado através da ficção científica, cada vez mais empresas implementam esta tecnologia que tem evoluído ao longo dos anos, chegando mesmo a ser usada pelo consumidor final, como por exemplo em Smartphones. As suas aplicações são, portanto, bastante diversas, desde soluções de segurança até simples entretenimento. Para estas duas áreas será assim feito um estudo com base numa pesquisa de publicações de autores da respetiva área. Desde os cenários de utilização, até aspetos mais específicos de cada uma destas áreas, será assim transmitido este conhecimento para o leitor, o que permitirá uma maior compreensão por parte deste nos aspetos relativos ao desenvolvimento da solução. Com o estudo destas duas áreas efetuado, é então feita uma contextualização do problema em relação à área de atuação da empresa e quais as abordagens possíveis. É também descrito todo o processo de análise e conceção, assim como o próprio desenvolvimento numa vertente mais técnica da solução implementada. Por fim, são apresentados alguns exemplos de resultados obtidos já após a implementação da solução.

Estudo e Avaliação de Plataformas de Business Intelligence em contexto empresarial

O crescente interesse pela área de Business Intelligence (BI) tem origem no reconhecimento da sua importância pelas organizações, como poderoso aliado dos processos de tomada de decisão. O BI é um conceito dinâmico, que se amplia à medida que são integradas novas ferramentas, em resposta a necessidades emergentes dos mercados. O BI não constitui, ainda, uma realidade nas pequenas e médias empresas, sendo, até, desconhecido para muitas. São, essencialmente, as empresas de maior dimensão, com presença em diferentes mercados e/ou áreas de negócio mais abrangentes, que recorrem a estas soluções. A implementação de ferramentas BI nas organizações depende, pois, das especificidades destas, sendo fundamental que a informação sobre as plataformas disponíveis e suas funcionalidades seja objetiva e inequívoca. Só uma escolha correta, que responda às necessidades da área de negócio desenvolvida, permitirá obter dados que resultem em ganhos, potenciando a vantagem competitiva empresarial. Com este propósito, efectua-se, na presente dissertação, uma análise comparativa das funcionalidades existentes em diversas ferramentas BI, que se pretende que venha auxiliar os processos de seleção da plataforma BI mais adaptada a cada organização e/ou negócio. As plataformas BI enquadram-se em duas grandes vertentes, as que implicam custos de aquisição, de índole comercial, e as disponibilizadas de forma livre, ou em código aberto, designadas open source. Neste sentido, equaciona-se se estas últimas podem constituir uma opção válida para as empresas com recursos mais escassos. Num primeiro momento, procede-se à implementação de tecnologias BI numa organização concreta, a operar na indústria de componentes automóveis, a Yazaki Saltano de Ovar Produtos Eléctricos, Ltd., implantada em Portugal há mais de 25 anos. Para esta empresa, o desenvolvimento de soluções com recurso a ferramentas BI afigura-se como um meio adequado de melhorar o acompanhamento aos seus indicadores de performance. Este processo concretizou-se a partir da stack tecnológica pré-existente na organização, a plataforma BI comercial da Microsoft. Com o objetivo de, por um lado, reunir contributos que possibilitem elucidar as organizações na escolha da plataforma BI mais adequada e, por outro, compreender se as plataformas open source podem constituir uma alternativa credível às plataformas comerciais, procedeu-se a uma pesquisa comparativa das funcionalidades das várias plataformas BI open source. Em resultado desta análise, foram selecionadas duas plataformas, a SpagoBI e a PentahoBI, utilizadas na verificação do potencial alternativo das open source face às plataformas comerciais. Com base nessas plataformas, reproduziu-se os processos e procedimentos desenvolvidos no âmbito do projeto de implementação BI realizado na empresa Yazaki Saltano.

Sistema de business intelligence aplicado aos grupos de diagnóstico homogéneos

Dissertação apresentada como requisito parcial para obtenção do grau de Mestre em Estatística e Gestão de Informação

Business Intelligence para apoio à gestão das listas de inscritos para cirurgia em Portugal continental

Em Portugal Continental a problemática das listas de inscritos para cirurgia e os seus tempos de espera são matérias que preocupam a sociedade portuguesa desde o início da década de noventa, do século XX. Atualmente as ferramentas de business intelligence ganham cada vez maior importância nas organizações inseridas num contexto mais complexo, competitivo e que exige respostas rápidas, adequadas e em constante mudança. O projeto desenvolvido consiste na implementação de uma aplicação de business intelligence, na Unidade Central de Gestão de Inscritos para Cirurgia, sedeada na Administração Central do Sistema de Saúde, I.P., que apoie a gestão das listas de inscritos para cirurgia de forma mais atempada, com maior qualidade e rigor, e com benefícios inquestionáveis para os utentes. Este projeto visa a monitorização de indicadores basilares; melhoria do controlo do desempenho dos hospitais; comparação entre os valores estabelecidos para determinados indicadores e os desvios verificados; simulação do impacto de algumas medidas, na lista de inscritos para cirurgia, antes da sua implementação; e facultar informação que permita adequar, a todo o momento, a oferta à procura, em determinadas patologias cirúrgicas. Os objetivos do projeto, definidos à priori, foram concretizados na sua totalidade, tendo sido a aplicação concluída com sucesso. Sugere-se, como ações futuras, acrescer novos indicadores e mais dimensões de análise à aplicação desenvolvida no âmbito deste projeto, alargando a capacidade de análise da Unidade Central de Gestão de Inscritos para Cirurgia, com inerente aumento da sua competência de gestão da Lista de Inscritos para Cirurgia em Portugal Continental.

[An editorial to] Recent Advances on Knowledge Discovery and Business Intelligence

Special issue guest editorial, June, 2015.

Combining data mining and evolutionary computation for multi-criteria optimization of earthworks

Earthworks tasks aim at levelling the ground surface at a target construction area and precede any kind of structural construction (e.g., road and railway construction). It is comprised of sequential tasks, such as excavation, transportation, spreading and compaction, and it is strongly based on heavy mechanical equipment and repetitive processes. Under this context, it is essential to optimize the usage of all available resources under two key criteria: the costs and duration of earthwork projects. In this paper, we present an integrated system that uses two artificial intelligence based techniques: data mining and evolutionary multi-objective optimization. The former is used to build data-driven models capable of providing realistic estimates of resource productivity, while the latter is used to optimize resource allocation considering the two main earthwork objectives (duration and cost). Experiments held using real-world data, from a construction site, have shown that the proposed system is competitive when compared with current manual earthwork design.

Improving selective collection of urban waste using a business intelligence system

Today recovering urban waste requires effective management services, which usually imply sophisticated monitoring and analysis mechanisms. This is essential for the smooth running of the entire recycling process as well as for planning and control urban waste recovering. In this paper we present a business intelligence system especially designed and im- plemented to support regular decision-making tasks on urban waste management processes. The system provides a set of domain-oriented analytical tools for studying and characterizing poten- tial scenarios of collection processes of urban waste, as well as for supporting waste manage- ment in urban areas, allowing for the organization and optimization of collection services. In or- der to clarify the way the system was developed and the how it operates, particularly in process visualization and data analysis, we also present the organization model of the system, the ser- vices it disposes, and the interface platforms for exploring data.