Zonal prices analysis supported by a data mining based methodology

A methodology based on data mining techniques to support the analysis of zonal prices in real transmission networks is proposed in this paper. The mentioned methodology uses clustering algorithms to group the buses in typical classes that include a set of buses with similar LMP values. Two different clustering algorithms have been used to determine the LMP clusters: the two-step and K-means algorithms. In order to evaluate the quality of the partition as well as the best performance algorithm adequacy measurements indices are used. The paper includes a case study using a Locational Marginal Prices (LMP) data base from the California ISO (CAISO) in order to identify zonal prices.

Online versus postal questionnaires: a comparison between two data collection methods

Objectives : The purpose of this article is to find out differences between surveys using paper and online questionnaires. The author has deep knowledge in the case of questions concerning opinions in the development of survey based research, e.g. the limits of postal and online questionnaires. Methods : In the physician studies carried out in 1995 (doctors graduated in 1982-1991), 2000 (doctors graduated in 1982-1996), 2005 (doctors graduated in 1982-2001), 2011 (doctors graduated in 1977-2006) and 457 family doctors in 2000, were used paper and online questionnaires. The response rates were 64%, 68%, 64%, 49% and 73%, respectively. Results : The results of the physician studies showed that there were differences between methods. These differences were connected with using paper-based questionnaire and online questionnaire and response rate. The online-based survey gave a lower response rate than the postal survey. The major advantages of online survey were short response time; very low financial resource needs and data were directly loaded in the data analysis software, thus saved time and resources associated with the data entry process. Conclusions : The current article helps researchers with planning the study design and choosing of the right data collection method.

SmartClean: an incremental data cleaning tool

This paper presents the SmartClean tool. The purpose of this tool is to detect and correct the data quality problems (DQPs). Compared with existing tools, SmartClean has the following main advantage: the user does not need to specify the execution sequence of the data cleaning operations. For that, an execution sequence was developed. The problems are manipulated (i.e., detected and corrected) following that sequence. The sequence also supports the incremental execution of the operations. In this paper, the underlying architecture of the tool is presented and its components are described in detail. The tool's validity and, consequently, of the architecture is demonstrated through the presentation of a case study. Although SmartClean has cleaning capabilities in all other levels, in this paper are only described those related with the attribute value level.

Ontologies for reusing data cleaning knowledge

The emergence of new business models, namely, the establishment of partnerships between organizations, the chance that companies have of adding existing data on the web, especially in the semantic web, to their information, led to the emphasis on some problems existing in databases, particularly related to data quality. Poor data can result in loss of competitiveness of the organizations holding these data, and may even lead to their disappearance, since many of their decision-making processes are based on these data. For this reason, data cleaning is essential. Current approaches to solve these problems are closely linked to database schemas and specific domains. In order that data cleaning can be used in different repositories, it is necessary for computer systems to understand these data, i.e., an associated semantic is needed. The solution presented in this paper includes the use of ontologies: (i) for the specification of data cleaning operations and, (ii) as a way of solving the semantic heterogeneity problems of data stored in different sources. With data cleaning operations defined at a conceptual level and existing mappings between domain ontologies and an ontology that results from a database, they may be instantiated and proposed to the expert/specialist to be executed over that database, thus enabling their interoperability.

Videovigilância, compressão e criptografia

Mestrado em Engenharia Electrotécnica e de Computadores

Previsão de vento baseado em técnicas de Data Mining

Mestrado em Engenharia Electrotécnica – Sistemas Eléctricos de Energia

Data envelopment analysis: eficiência relativa das unidades de tomada de decisão

A avaliação das organizações e a deterntinação da performance obtida pelo exercício da gestão, tem sido uma preocupação constante de gestores e accionistas, embora com objectivos diversos. Nos dias de hoje, a questão coloca-se com maior acuidade quer pela competitividade acrescida quer pela dimensão e complexidade actual das empresas. Pretendemos com este trabalho fazer uma descrição da metodologia DEA - Data Envelopment Analysis - nas suas formulações iniciais mais simples. A metodologia do DEA, pretende obter uma medida única e simples de avaliação da eficiência, combinando um conjunto de outputs e de inputs relativos às diferentes unidades homogéneas que se pretendem avaliar. O método DEA é um método não paramétrico que pelas suas características é particularmente adequado à avaliação de unidades homogéneas não necessariamente lucrativas. Concluímos, em geral, que são úteis e constituem um avanço importante, as informações obtidas através do DEA mas que outros métodos, designadamente rácios e análises de regressão, podem dar um contributo importante para complementar aquela análise.

Avaliação e substituição de produtos químicos no sector BOF da Swedwood Portugal

A crescente preocupação com aspectos ambientais tornou-se uma questão incontornável para as empresas. Assim, a legislação aplicável obriga a maior controlo de qualquer tipo de perigo que ponha em causa a saúde humana ou o ambiente. Deste modo, a Swedwood Portugal é obrigada a implementar algumas medidas de controlo dos produtos químicos. Assim, os objectivos deste estágio curricular fundamentamse em identificar, avaliar e substituir ou minimizar os impactos dos produtos químicos (PQ’s) que, de acordo com especificações REACH (Regulamento da Comissão Europeia, relativo a Registo, Avaliação, Autorização e restrição de substâncias Químicas) e da Swedwood Internacional não podem ser utilizados. Como tal, o trabalho descrito nesta dissertação foi dividido em várias etapas. A primeira etapa consistiu em identificar todos os PQ’s utilizados no sector Board On Frame (BOF) da Swedwood Portugal. Feito este inventário, foi então criada uma base de dados em formato Microsoft Office Access que permitiu compilar a informação mais relevante dos PQ’s, para uma consulta mais simples e expedita, substituindo a já existente e desactualizada base de dados de PQ’s em formato Microsoft Office Excel. No total foram inventariados 243 PQ’s. Contudo, não foi possível obter as Fichas de Segurança de todos e, por isso, apenas 185 foram registados na base de dados. Estes 185 PQ’s existentes no sector BOF da Swedwood Portugal, foram submetidos a uma avaliação das substâncias que os compõem de acordo com uma ferramenta informática criada pela Swedwood Internacional – Substitution Evaluation Key (SEK). Esta ferramenta usa três listas europeias de substâncias químicas que permitem a avaliação de produtos químicos indirectos: Substances of Very High Concern (SVHC) da Agência Europeia de Produtos Químicos (ECHA), Substitute It Now (SIN) da ChemSec (Organização sueca dedicada ao ambiente) e PRIO da Agência Sueca de Produtos Químicos (Kemi). As três listas incluem substâncias de carácter de tal forma perigoso que a sua utilização deve ser restringida ou até eliminada. Logo, os PQ’s indirectos que contenham substâncias presentes em, pelo menos, uma destas listas devem ser imediatamente substituídos por outros cuja avaliação seja positiva. Por outro lado, para produtos químicos directos, as restrições encontram-se numa especificação imposta pela IKEA, IOS-MAT-0066. Concluída a avaliação, foi então necessário encontrar alternativas viáveis aos PQ’s avaliados negativamente. Como tal, a primeira abordagem consistiu em contactar os fabricantes dos PQ’s a substituir de modo a que estes pudessem apresentar as suas próprias alternativas. Caso estes não apresentassem alternativas viáveis, então contactarse- iam novos fornecedores. Dos 185 PQ’s registados na base de dados e avaliados, 30 produtos químicos indirectos existentes nas fábricas não obedeciam aos critérios impostos pela SEK, estando os produtos químicos directos todos de acordo com as imposições da IOS-MAT-0066. Os 30 PQ’s indirectos do Sector BOF da Swedwood Portugal que incluem as substâncias químicas com carácter perigoso apresentam características Cancerígenas, Mutagénicas e tóxicas para a Reprodução (CMR), irritantes e/ou sensibilizantes e perigosas, a longo prazo, para o ambiente. Para estes PQ’s foram apresentadas alternativas viáveis no que concerne a impactos para a saúde ou para o ambiente e os respectivos custos associados (admitindo quantidades mínimas vendidas). Contudo, não foi possível em tempo útil testar estas alternativas no funcionamento da empresa de modo a avaliar a sua eficiência técnica.

Aferição do desempenho operacional de parques eólicos (Referência: D0708-047)

A verificação das Características Garantidas associadas aos equipamentos, em especial dos aerogeradores, incluídos no fornecimento de Parques Eólicos, reveste-se de particular importância devido, principalmente, ao grande volume de investimento em jogo, ao longo período necessário ao retorno do mesmo, à incerteza quanto à manutenção futura das actuais condições de remuneração da energia eléctrica produzida e ainda à falta de dados históricos sobre o período de vida útil esperado para os aerogeradores. Em face do exposto, é usual serem exigidas aos fornecedores, garantias do bom desempenho dos equipamentos, associadas a eventuais penalidades, quer para o período de garantia, quer para o restante período de vida útil, de modo a minimizar o risco associado ao investimento. No fornecimento de Parques Eólicos existem usualmente três tipos de garantias, nomeadamente, garantia de Curva de Potência dos aerogeradores, garantia de Disponibilidade dos equipamentos ou garantia de Produção de Energia. Estas poderão existir isoladamente ou em combinação, dependendo das condições contratuais acordadas entre o Adjudicatário e o Fornecedor. O grau de complexidade e/ou trabalho na implementação das mesmas é variável, não sendo possível afirmar qual delas é a mais conveniente para o Adjudicatário, nem qual a mais exacta em termos de resultados. Estas dúvidas surgem em consequência das dificuldades inerentes à recolha dos próprios dados e também da relativamente ampla margem de rearranjo dos resultados permitido pelas normas existentes, possibilitando a introdução de certo tipo de manipulações nos dados (rejeições e correlações), as quais podem afectar de forma considerável as incertezas dos resultados finais dos ensaios. Este trabalho, consistiu no desenvolvimento, execução, ensaio e implementação de uma ferramenta informática capaz de detectar de uma forma simples e expedita eventuais desvios à capacidade de produção esperada para os aerogeradores, em função do recurso verificado num dado período. Pretende ser uma ferramenta manuseável por qualquer operador de supervisão, com utilização para efeitos de reparações e correcção de defeitos, não constituindo contudo uma alternativa a outros processos abrangidos por normas, no caso de aplicação de penalidades. Para o seu funcionamento, são utilizados os dados mensais recolhidos pela torre meteorológica permanente instalada no parque e os dados de funcionamento dos aerogeradores, recolhidos pelo sistema SCADA. Estes são recolhidos remotamente sob a forma de tabelas e colocados numa directoria própria, na qual serão posteriormente lidos pela ferramenta.

Descoberta de conhecimento em Logs de tentativas de intrusão. Um estudo de caso em Instituições de Ensino Superior

Perante a evolução constante da Internet, a sua utilização é quase obrigatória. Através da web, é possível conferir extractos bancários, fazer compras em países longínquos, pagar serviços sem sair de casa, entre muitos outros. Há inúmeras alternativas de utilização desta rede. Ao se tornar tão útil e próxima das pessoas, estas começaram também a ganhar mais conhecimentos informáticos. Na Internet, estão também publicados vários guias para intrusão ilícita em sistemas, assim como manuais para outras práticas criminosas. Este tipo de informação, aliado à crescente capacidade informática do utilizador, teve como resultado uma alteração nos paradigmas de segurança informática actual. Actualmente, em segurança informática a preocupação com o hardware é menor, sendo o principal objectivo a salvaguarda dos dados e continuidade dos serviços. Isto deve-se fundamentalmente à dependência das organizações nos seus dados digitais e, cada vez mais, dos serviços que disponibilizam online. Dada a mudança dos perigos e do que se pretende proteger, também os mecanismos de segurança devem ser alterados. Torna-se necessário conhecer o atacante, podendo prever o que o motiva e o que pretende atacar. Neste contexto, propôs-se a implementação de sistemas de registo de tentativas de acesso ilícitas em cinco instituições de ensino superior e posterior análise da informação recolhida com auxílio de técnicas de data mining (mineração de dados). Esta solução é pouco utilizada com este intuito em investigação, pelo que foi necessário procurar analogias com outras áreas de aplicação para recolher documentação relevante para a sua implementação. A solução resultante revelou-se eficaz, tendo levado ao desenvolvimento de uma aplicação de fusão de logs das aplicações Honeyd e Snort (responsável também pelo seu tratamento, preparação e disponibilização num ficheiro Comma Separated Values (CSV), acrescentando conhecimento sobre o que se pode obter estatisticamente e revelando características úteis e previamente desconhecidas dos atacantes. Este conhecimento pode ser utilizado por um administrador de sistemas para melhorar o desempenho dos seus mecanismos de segurança, tais como firewalls e Intrusion Detection Systems (IDS).

eTourism – Mobile Data Interface (Sistema de Apoio On-Line ao Turista em Dispositivos Móveis com Adaptação de Tours Personalizados)

O intuito principal desta Tese é criar um interface de Dados entre uma fonte de informação e fornecimento de Rotas para turistas e disponibilizar essa informação através de um sistema móvel interactivo de navegação e visualização desses mesmos dados. O formato tecnológico será portátil e orientado à mobilidade (PDA) e deverá ser prático, intuitivo e multi-facetado, permitindo boa usabilidade a públicos de várias faixas etárias. Haverá uma componente de IA (Inteligência Artificial), que irá usar a informação fornecida para tomar decisões ponderadas tendo em conta uma diversidade de aspectos. O Sistema a desenvolver deverá ser, assim, capaz de lidar com imponderáveis (alterações de rota, gestão de horários, cancelamento de pontos de visita, novos pontos de visita) e, finalmente, deverá ajudar o turista a gerir o seu tempo entre Pontos de Interesse (POI – Points os Interest). Deverá também permitir seguir ou não um dado percurso pré-definido, havendo possibilidade de cenários de exploração de POIs, sugeridos a partir de sugestões in loco, similares a Locais incluídos no trajecto, que se enquadravam no perfil dos Utilizadores. O âmbito geográfico de teste deste projecto será a zona ribeirinha do porto, por ser um ex-líbris da cidade e, simultaneamente, uma zona com muitos desafios ao nível geográfico (com a inclinação) e ao nível do grande número de Eventos e Locais a visitar.

Controlador Boundary-Scan

A crescente complexidade dos sistemas electrónicos associada a um desenvolvimento nas tecnologias de encapsulamento levou à miniaturização dos circuitos integrados, provocando dificuldades e limitações no diagnóstico e detecção de falhas, diminuindo drasticamente a aplicabilidade dos equipamentos ICT. Como forma de lidar com este problema surgiu a infra-estrutura Boundary Scan descrita na norma IEEE1149.1 “Test Access Port and Boundary-Scan Architecture”, aprovada em 1990. Sendo esta solução tecnicamente viável e interessante economicamente para o diagnóstico de defeitos, efectua também outras aplicações. O SVF surgiu do desejo de incutir e fazer com que os fornecedores independentes incluíssem a norma IEEE 1149.1, é desenvolvido num formato ASCII, com o objectivo de enviar sinais, aguardar pela sua resposta, segundo a máscara de dados baseada na norma IEEE1149.1. Actualmente a incorporação do Boundary Scan nos circuitos integrados está em grande expansão e consequentemente usufrui de uma forte implementação no mercado. Neste contexto o objectivo da dissertação é o desenvolvimento de um controlador boundary scan que implemente uma interface com o PC e possibilite o controlo e monitorização da aplicação de teste ao PCB. A arquitectura do controlador desenvolvido contém um módulo de Memória de entrada, um Controlador TAP e uma Memória de saída. A implementação do controlador foi feita através da utilização de uma FPGA, é um dispositivo lógico reconfiguráveis constituído por blocos lógicos e por uma rede de interligações, ambos configuráveis, que permitem ao utilizador implementar as mais variadas funções digitais. A utilização de uma FPGA tem a vantagem de permitir a versatilidade do controlador, facilidade na alteração do seu código e possibilidade de inserir mais controladores dentro da FPGA. Foi desenvolvido o protocolo de comunicação e sincronização entre os vários módulos, permitindo o controlo e monitorização dos estímulos enviados e recebidos ao PCB, executados automaticamente através do software do Controlador TAP e de acordo com a norma IEEE 1149.1. A solução proposta foi validada por simulação utilizando o simulador da Xilinx. Foram analisados todos os sinais que constituem o controlador e verificado o correcto funcionamento de todos os seus módulos. Esta solução executa todas as sequências pretendidas e necessárias (envio de estímulos) à realização dos testes ao PCB. Recebe e armazena os dados obtidos, enviando-os posteriormente para a memória de saída. A execução do trabalho permitiu concluir que os projectos de componentes electrónicos tenderão a ser descritos num nível de abstracção mais elevado, recorrendo cada vez mais ao uso de linguagens de hardware, no qual o VHDL é uma excelente ferramenta de programação. O controlador desenvolvido será uma ferramenta bastante útil e versátil para o teste de PCBs e outras funcionalidades disponibilizadas pelas infra-estruturas BS.

Exploração de dados de uma solução mobile wallet usando as técnicas de data mining

A descoberta de conhecimento em dados hoje em dia é um ponto forte para as empresas. Atualmente a CardMobili não dispõe de qualquer sistema de mineração de dados, sendo a existência deste uma mais-valia para as suas operações de marketing diárias, nomeadamente no lançamento de cupões a um grupo restrito de clientes com uma elevada probabilidade que os mesmos os utilizem. Para isso foi analisada a base de dados da aplicação tentando extrair o maior número de dados e aplicadas as transformações necessárias para posteriormente serem processados pelos algoritmos de mineração de dados. Durante a etapa de mineração de dados foram aplicadas as técnicas de associação e classificação, sendo que os melhores resultados foram obtidos com técnicas de associação. Desta maneira pretende-se que os resultados obtidos auxiliem o decisor na sua tomada de decisões.

Three-dimensional modeling of tongue during speech using MRI data

The tongue is the most important and dynamic articulator for speech formation, because of its anatomic aspects (particularly, the large volume of this muscular organ comparatively to the surrounding organs of the vocal tract) and also due to the wide range of movements and flexibility that are involved. In speech communication research, a variety of techniques have been used for measuring the three-dimensional vocal tract shapes. More recently, magnetic resonance imaging (MRI) becomes common; mainly, because this technique allows the collection of a set of static and dynamic images that can represent the entire vocal tract along any orientation. Over the years, different anatomical organs of the vocal tract have been modelled; namely, 2D and 3D tongue models, using parametric or statistical modelling procedures. Our aims are to present and describe some 3D reconstructed models from MRI data, for one subject uttering sustained articulations of some typical Portuguese sounds. Thus, we present a 3D database of the tongue obtained by stack combinations with the subject articulating Portuguese vowels. This 3D knowledge of the speech organs could be very important; especially, for clinical purposes (for example, for the assessment of articulatory impairments followed by tongue surgery in speech rehabilitation), and also for a better understanding of acoustic theory in speech formation.

Analysis and visualization of seismic data using mutual information

Seismic data is difficult to analyze and classical mathematical tools reveal strong limitations in exposing hidden relationships between earthquakes. In this paper, we study earthquake phenomena in the perspective of complex systems. Global seismic data, covering the period from 1962 up to 2011 is analyzed. The events, characterized by their magnitude, geographic location and time of occurrence, are divided into groups, either according to the Flinn-Engdahl (F-E) seismic regions of Earth or using a rectangular grid based in latitude and longitude coordinates. Two methods of analysis are considered and compared in this study. In a first method, the distributions of magnitudes are approximated by Gutenberg-Richter (G-R) distributions and the parameters used to reveal the relationships among regions. In the second method, the mutual information is calculated and adopted as a measure of similarity between regions. In both cases, using clustering analysis, visualization maps are generated, providing an intuitive and useful representation of the complex relationships that are present among seismic data. Such relationships might not be perceived on classical geographic maps. Therefore, the generated charts are a valid alternative to other visualization tools, for understanding the global behavior of earthquakes.