Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI

The last years have presented an increase in the acceptance and adoption of the parallel processing, as much for scientific computation of high performance as for applications of general intention. This acceptance has been favored mainly for the development of environments with massive parallel processing (MPP - Massively Parallel Processing) and of the distributed computation. A common point between distributed systems and MPPs architectures is the notion of message exchange, that allows the communication between processes. An environment of message exchange consists basically of a communication library that, acting as an extension of the programming languages that allow to the elaboration of applications parallel, such as C, C++ and Fortran. In the development of applications parallel, a basic aspect is on to the analysis of performance of the same ones. Several can be the metric ones used in this analysis: time of execution, efficiency in the use of the processing elements, scalability of the application with respect to the increase in the number of processors or to the increase of the instance of the treat problem. The establishment of models or mechanisms that allow this analysis can be a task sufficiently complicated considering parameters and involved degrees of freedom in the implementation of the parallel application. An joined alternative has been the use of collection tools and visualization of performance data, that allow the user to identify to points of strangulation and sources of inefficiency in an application. For an efficient visualization one becomes necessary to identify and to collect given relative to the execution of the application, stage this called instrumentation. In this work it is presented, initially, a study of the main techniques used in the collection of the performance data, and after that a detailed analysis of the main available tools is made that can be used in architectures parallel of the type to cluster Beowulf with Linux on X86 platform being used libraries of communication based in applications MPI - Message Passing Interface, such as LAM and MPICH. This analysis is validated on applications parallel bars that deal with the problems of the training of neural nets of the type perceptrons using retro-propagation. The gotten conclusions show to the potentiality and easinesses of the analyzed tools.

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior

Os últimos anos têm apresentado um aumento na aceitação e adoção do processamento paralelo, tanto para computação científica de alto desempenho como para aplicações de propósito geral. Essa aceitação tem sido favorecida principalmente pelo desenvolvimento dos ambientes com processamento maciçamente paralelo (MPP - Massively Parallel Processing) e da computação distribuída. Um ponto comum entre sistemas distribuídos e arquiteturas MPPs é a noção de troca de mensagem, que permite a comunicação entre processos. Um ambiente de troca de mensagem consiste basicamente de uma biblioteca de comunicação que, atuando como uma extensão das linguagens de programação, permite a elaboração de aplicações paralelas, tais como C, C++ e Fortran. No desenvolvimento de aplicações paralelas, um aspecto fundamental esta ligado à análise de desempenho das mesmas. Várias podem ser as métricas utilizadas nesta análise: tempo de execução, eficiência na utilização dos elementos de processamento, escalabilidade da aplicação com respeito ao aumento no número de processadores ou ao aumento da instância do problema tratado. O estabelecimento de modelos ou mecanismos que permitam esta análise pode ser uma tarefa bastante complicada considerando-se parâmetros e graus de liberdade envolvidos na implementação da aplicação paralela. Uma alternativa encontrada tem sido a utilização de ferramentas de coleta e visualização de dados de desempenho, que permitem ao usuário identificar pontos de estrangulamento e fontes de ineficiência em uma aplicação. Para uma visualização eficiente torna-se necessário identificar e coletar dados relativos à execução da aplicação, etapa esta denominada instrumentação. Neste trabalho é apresentado, inicialmente, um estudo das principais técnicas utilizadas na coleta dos dados de desempenho, e em seguida é feita uma análise detalhada das principais ferramentas disponíveis que podem ser utilizadas em arquiteturas paralelas do tipo Cluster Beowulf com Linux sobre plataforma X86 utilizando bibliotecas de comunicação baseadas em aplicações MPI - Message Passing Interface, tais como LAM e MPICH . Esta análise é validada sobre aplicações paralelas que tratam do problema do treinamento de redes neurais do tipo perceptrons usando retropropagação. As conclusões obtidas mostram as potencialidade e facilidades das ferramentas analisadas.