Entorn web per a l'administració d'un cluster de computació distribuïda

S'ha creat un entorn web que permet executar les tasques d'administració que comporta un cluster, de firma gràfica. Algunes d'aquestes tasques són la creació de còpies seguretat o la gestió d'usuaris i grups. A més, des d'aquest entorn es permet la monitorització del cluster, per veure els seus recursos i l'estat dels nodes.

CompP2P-GUI : interfície gràfica del Sistema de Computació Distribuïda Peer to Peer (CompP2P)

CompP2P és una interfície gràfica implementada amb Java Swing 1.5 del Sistema de Còmput Distribuït P2P CompP2P. És una interfície gràfica polivalent, és a dir, pot ésser usada en diferents sistemes operatius (Linux, Mac0sX, Windows) i per tant ha d'ésser una aplicació multiplataforma. S'ha aconseguit millorar la gestió de tots els recursos de CompP2P mitjançant una interfície gràfica molt usable i també amb modificacions efectuades en el sistema base CompP2P on s'han afegit i/o millorat aspectes com la comunciació remota, les comandes de gestió del sistema, etc.

Plataforma Computing@home

En este proyecto se han visto dos sistemas de computación distribuida diferentes entre ellos: Condor y BOINC. Se exploran las posibilidades para poder conseguir que ambos sistemas logren trabajar conjuntamente, escogiendo la parte más efectiva de cada uno de los sistemas con el fin de complementarse.

Evaluación de la disponibilidad de los servicios desplegados sobre Volunteer Computing

Implementación y evaluación de un algoritmo híbrido que selecciona el conjunto de nodos de menor coste que permite desplegar un servicio, con una disponibilidad determinada, en un entorno de computación voluntaria.

Atac al problema del logaritme discret mitjançant la paral·lelització de l'algorisme Rho de Pollard emprant la plataforma CoDiP2P

Aquest treball final de carrera té com a objectiu l'estudi del problema del logaritme discret i les variants d'un dels possibles i millors atacs que existeixen fins ara: la Rho de Pollard. La implementació d'aquest algorisme s'ha paral·lelitzat sobre un sistema de computació distribuïda peer-to-peer anomenat CoDiP2P. Centrant l'atenció en la seva aplicació sobre el grup multiplicatiu F*p.

Statistical mechanics of multi-edge networks

Statistical properties of binary complex networks are well understood and recently many attempts have been made to extend this knowledge to weighted ones. There are, however, subtle yet important considerations to be made regarding the nature of the weights used in this generalization. Weights can be either continuous or discrete magnitudes, and in the latter case, they can additionally have undistinguishable or distinguishable nature. This fact has not been addressed in the literature insofar and has deep implications on the network statistics. In this work we face this problem introducing multiedge networks as graphs where multiple (distinguishable) connections between nodes are considered. We develop a statistical mechanics framework where it is possible to get information about the most relevant observables given a large spectrum of linear and nonlinear constraints including those depending both on the number of multiedges per link and their binary projection. The latter case is particularly interesting as we show that binary projections can be understood from multiedge processes. The implications of these results are important as many real-agent-based problems mapped onto graphs require this treatment for a proper characterization of their collective behavior.

A Framework for Building Hypercubes Using MapReduce

The European Space Agency's Gaia mission will create the largest and most precise three dimensional chart of our galaxy (the Milky Way), by providing unprecedented position, parallax, proper motion, and radial velocity measurements for about one billion stars. The resulting catalogue will be made available to the scientific community and will be analyzed in many different ways, including the production of a variety of statistics. The latter will often entail the generation of multidimensional histograms and hypercubes as part of the precomputed statistics for each data release, or for scientific analysis involving either the final data products or the raw data coming from the satellite instruments. In this paper we present and analyze a generic framework that allows the hypercube generation to be easily done within a MapReduce infrastructure, providing all the advantages of the new Big Data analysis paradigmbut without dealing with any specific interface to the lower level distributed system implementation (Hadoop). Furthermore, we show how executing the framework for different data storage model configurations (i.e. row or column oriented) and compression techniques can considerably improve the response time of this type of workload for the currently available simulated data of the mission. In addition, we put forward the advantages and shortcomings of the deployment of the framework on a public cloud provider, benchmark against other popular solutions available (that are not always the best for such ad-hoc applications), and describe some user experiences with the framework, which was employed for a number of dedicated astronomical data analysis techniques workshops.

A Framework for Building Hypercubes Using MapReduce

The European Space Agency's Gaia mission will create the largest and most precise three dimensional chart of our galaxy (the Milky Way), by providing unprecedented position, parallax, proper motion, and radial velocity measurements for about one billion stars. The resulting catalogue will be made available to the scientific community and will be analyzed in many different ways, including the production of a variety of statistics. The latter will often entail the generation of multidimensional histograms and hypercubes as part of the precomputed statistics for each data release, or for scientific analysis involving either the final data products or the raw data coming from the satellite instruments. In this paper we present and analyze a generic framework that allows the hypercube generation to be easily done within a MapReduce infrastructure, providing all the advantages of the new Big Data analysis paradigmbut without dealing with any specific interface to the lower level distributed system implementation (Hadoop). Furthermore, we show how executing the framework for different data storage model configurations (i.e. row or column oriented) and compression techniques can considerably improve the response time of this type of workload for the currently available simulated data of the mission. In addition, we put forward the advantages and shortcomings of the deployment of the framework on a public cloud provider, benchmark against other popular solutions available (that are not always the best for such ad-hoc applications), and describe some user experiences with the framework, which was employed for a number of dedicated astronomical data analysis techniques workshops.

Statistical mechanics of multi-edge networks

Statistical properties of binary complex networks are well understood and recently many attempts have been made to extend this knowledge to weighted ones. There are, however, subtle yet important considerations to be made regarding the nature of the weights used in this generalization. Weights can be either continuous or discrete magnitudes, and in the latter case, they can additionally have undistinguishable or distinguishable nature. This fact has not been addressed in the literature insofar and has deep implications on the network statistics. In this work we face this problem introducing multiedge networks as graphs where multiple (distinguishable) connections between nodes are considered. We develop a statistical mechanics framework where it is possible to get information about the most relevant observables given a large spectrum of linear and nonlinear constraints including those depending both on the number of multiedges per link and their binary projection. The latter case is particularly interesting as we show that binary projections can be understood from multiedge processes. The implications of these results are important as many real-agent-based problems mapped onto graphs require this treatment for a proper characterization of their collective behavior.

Molecular Physics of Elementary Processes relevant to Hypersonics: atom-molecule, molecule-molecule and atom-surface processes.

In the present chapter some prototype gas and gas-surface processes occurring within the hypersonic flow layer surrounding spacecrafts at planetary entry are discussed. The discussion is based on microscopic dynamical calculations of the detailed cross sections and rate coefficients performed using classical mechanics treatments for atoms, molecules and surfaces. Such treatment allows the evaluation of the efficiency of thermal processes (both at equilibrium and nonequilibrium distributions) based on state-to-state and state specific calculations properly averaged over the population of the initial states. The dependence of the efficiency of the considered processes on the initial partitioning of energy among the various degrees of freedom is discussed.

Procura distribuída de soluções com restrições locais e globais

Esta dissertação aborda a procura distribuída de soluções baseando-se em cenários cuja informação não esteja totalmente disponível, por não ser possível ou mesmo porque não é desejável. Os dois tipos de problemas abordados neste trabalho são: i) o problema de atribuição de tarefas, e ii) o problema de agendamento de eventos. O problema de atribuição de tarefas é ilustrado num cenário de catástrofe (atribuição de incêndios a bombeiros) cujos agentes tentam encontrar a melhor solução global de acordo com as capacidades de cada um. O problema do agendamento de eventos com múltiplos recursos, ocorre numa organiza- ção que pretende maximizar o valor do tempo dos seus empregados, enquanto preserva o valor individual (privacidade) atribuído ao evento (valor da importância relativa do evento). Estes problemas são explorados para confrontar os dois tipos de abordagem na sua resolução: centralizada e distribuída. Os problemas são formulados para resolução de maneira distribuída e centralizada, de modo a evidenciar as suas características e as situações em que fará mais sentido a utilização de cada abordagem. O desempenho a nível de tempo de execução e consumo de memória, bem como o conceito de privacidade são os pontos considerados no comparativo das abordagens centralizada e distribuída. Para analisar o problema de atribuição de tarefas e o problema de agendamento de eventos, é proposto um modelo que integra dois tipos de formulação de problemas distribuídos, e que utiliza um algoritmo distribuído para a resolução dos mesmos.

Suporte à computação paralela e distribuída em Java: API e comunicação entre nós cooperantes

Este trabalho é uma parte do tema global “Suporte à Computação Paralela e Distribuída em Java”, também tema da tese de Daniel Barciela no mestrado de Engenharia Informática do Instituto Superior de Engenharia do Porto. O seu objetivo principal consiste na definição/criação da interface com o programador, assim como também abrange a forma como os nós comunicam e cooperam entre si para a execução de determinadas tarefas, de modo a atingirem um único objetivo global. No âmbito desta dissertação foi realizado um estudo prévio relativamente aos modelos teóricos referentes à computação paralela, assim como também foram analisadas linguagens e frameworks que fornecem suporte a este mesmo tipo de computação. Este estudo teve como principal objetivo a análise da forma como estes modelos e linguagens permitem ao programador expressar o processamento paralelo no desenvolvimento das aplicações. Como resultado desta dissertação surgiu a framework denominada Distributed Parallel Framework for Java (DPF4j), cujo objetivo principal é fornecer aos programadores o suporte para o desenvolvimento de aplicações paralelas e distribuídas. Esta framework foi desenvolvida na linguagem Java. Esta dissertação contempla a parte referente à interface de programação e a toda a comunicação entre nós cooperantes da framework DPF4j. Por fim, foi demonstrado através dos testes realizados que a DPF4j, apesar de ser ainda um protótipo, já demonstra ter uma performance superior a outras frameworks e linguagens que possuem os mesmos objetivos.

Suporte à computação paralela e distribuída em Java: distribuição e execução de trabalho

Nos últimos anos começaram a ser vulgares os computadores dotados de multiprocessadores e multi-cores. De modo a aproveitar eficientemente as novas características desse hardware começaram a surgir ferramentas para facilitar o desenvolvimento de software paralelo, através de linguagens e frameworks, adaptadas a diferentes linguagens. Com a grande difusão de redes de alta velocidade, tal como Gigabit Ethernet e a última geração de redes Wi-Fi, abre-se a oportunidade de, além de paralelizar o processamento entre processadores e cores, poder em simultâneo paralelizá-lo entre máquinas diferentes. Ao modelo que permite paralelizar processamento localmente e em simultâneo distribuí-lo para máquinas que também têm capacidade de o paralelizar, chamou-se “modelo paralelo distribuído”. Nesta dissertação foram analisadas técnicas e ferramentas utilizadas para fazer programação paralela e o trabalho que está feito dentro da área de programação paralela e distribuída. Tendo estes dois factores em consideração foi proposta uma framework que tenta aplicar a simplicidade da programação paralela ao conceito paralelo distribuído. A proposta baseia-se na disponibilização de uma framework em Java com uma interface de programação simples, de fácil aprendizagem e legibilidade que, de forma transparente, é capaz de paralelizar e distribuir o processamento. Apesar de simples, existiu um esforço para a tornar configurável de forma a adaptar-se ao máximo de situações possível. Nesta dissertação serão exploradas especialmente as questões relativas à execução e distribuição de trabalho, e a forma como o código é enviado de forma automática pela rede, para outros nós cooperantes, evitando assim a instalação manual das aplicações em todos os nós da rede. Para confirmar a validade deste conceito e das ideias defendidas nesta dissertação foi implementada esta framework à qual se chamou DPF4j (Distributed Parallel Framework for JAVA) e foram feitos testes e retiradas métricas para verificar a existência de ganhos de performance em relação às soluções já existentes.

Desenvolvimento de apoio à decisão operacional – previsão de curto prazo de geração distribuída de tecnologia eólica ligada à RND

No contexto da penetração de energias renováveis no sistema elétrico, Portugal ocupa uma posição de destaque a nível mundial, muito devido à produção de eólica. Com um sistema elétrico com forte presença de fontes de energia renováveis, novos desafios surgem, nomeadamente no caso da energia eólica pela sua imprevisibilidade e volatilidade. O recurso eólico embora seja ilimitado não é armazenável, surgindo assim a necessidade da procura de modelos de previsão de produção de energia elétrica dos parques eólicos de modo a permitir uma boa gestão do sistema. Nesta dissertação apresentam-se as contribuições resultantes de um trabalho de pesquisa e investigação sobre modelos de previsão da potência elétrica com base em valores de previsões meteorológicas, nomeadamente, valores previstos da intensidade e direção do vento. Consideraram-se dois tipos de modelos: paramétricos e não paramétricos. Os primeiros são funções polinomiais de vários graus e a função sigmoide, os segundos são redes neuronais artificiais. Para a estimação dos modelos e respetiva validação, são usados dados recolhidos ao longo de dois anos e três meses no parque eólico do Pico Alto de potência instalada de 6 MW. De forma a otimizar os resultados da previsão, consideram-se diferentes classes de perfis de produção, definidas com base em quatro e oito direções do vento, e ajustam-se os modelos propostos em cada uma das classes. São apresentados e discutidos resultados de uma análise comparativa do desempenho dos diferentes modelos propostos para a previsão da potência.

CrowdProcess: design numa startup de computação distribuída

Este estágio, realizado na CrowdProcess, consistiu em integrar a equipa da empresa, trabalhando na área do Design de Comunicação, Web e Gráfico, integrado no Departamento de Comunicação da empresa. A CrowdProcess é uma plataforma de computação distribuída que utiliza o poder de processamento dos browsers ligados para correr tarefas de computação distribuída. Uma vez que se trata de um produto online, a maioria do trabalho desenvolvido diz respeito a design e desenvolvimento web e apenas uma pequena parte dedicada a design gráfico. O trabalho foi desenvolvido com as linguagens HTML, CSS e JavaScript. Foram tidos em consideração os princípios de Design, Usabilidade e Arquitectura de Informação, com principal foco na prototipagem dos vários objectos desenvolvidos.