Processing XML with Java – a performance benchmark

Over time, XML markup language has acquired a considerable importance in applications development, standards definition and in the representation of large volumes of data, such as databases. Today, processing XML documents in a short period of time is a critical activity in a large range of applications, which imposes choosing the most appropriate mechanism to parse XML documents quickly and efficiently. When using a programming language for XML processing, such as Java, it becomes necessary to use effective mechanisms, e.g. APIs, which allow reading and processing of large documents in appropriated manners. This paper presents a performance study of the main existing Java APIs that deal with XML documents, in order to identify the most suitable one for processing large XML files

Performance analysis of Java APIS for XML processing

Over time, XML markup language has acquired a considerable importance in applications development, standards definition and in the representation of large volumes of data, such as databases. Today, processing XML documents in a short period of time is a critical activity in a large range of applications, which imposes choosing the most appropriate mechanism to parse XML documents quickly and efficiently. When using a programming language for XML processing, such as Java, it becomes necessary to use effective mechanisms, e.g. APIs, which allow reading and processing of large documents in appropriated manners. This paper presents a performance study of the main existing Java APIs that deal with XML documents, in order to identify the most suitable one for processing large XML files.

Suporte à computação paralela e distribuída em Java: API e comunicação entre nós cooperantes

Este trabalho é uma parte do tema global “Suporte à Computação Paralela e Distribuída em Java”, também tema da tese de Daniel Barciela no mestrado de Engenharia Informática do Instituto Superior de Engenharia do Porto. O seu objetivo principal consiste na definição/criação da interface com o programador, assim como também abrange a forma como os nós comunicam e cooperam entre si para a execução de determinadas tarefas, de modo a atingirem um único objetivo global. No âmbito desta dissertação foi realizado um estudo prévio relativamente aos modelos teóricos referentes à computação paralela, assim como também foram analisadas linguagens e frameworks que fornecem suporte a este mesmo tipo de computação. Este estudo teve como principal objetivo a análise da forma como estes modelos e linguagens permitem ao programador expressar o processamento paralelo no desenvolvimento das aplicações. Como resultado desta dissertação surgiu a framework denominada Distributed Parallel Framework for Java (DPF4j), cujo objetivo principal é fornecer aos programadores o suporte para o desenvolvimento de aplicações paralelas e distribuídas. Esta framework foi desenvolvida na linguagem Java. Esta dissertação contempla a parte referente à interface de programação e a toda a comunicação entre nós cooperantes da framework DPF4j. Por fim, foi demonstrado através dos testes realizados que a DPF4j, apesar de ser ainda um protótipo, já demonstra ter uma performance superior a outras frameworks e linguagens que possuem os mesmos objetivos.

A Java expression evaluator for nonlinear programming

Finding the optimal value for a problem is usual in many areas of knowledge where in many cases it is needed to solve Nonlinear Optimization Problems. For some of those problems it is not possible to determine the expression for its objective function and/or its constraints, they are the result of experimental procedures, might be non-smooth, among other reasons. To solve such problems it was implemented an API contained methods to solve both constrained and unconstrained problems. This API was developed to be used either locally on the computer where the application is being executed or remotely on a server. To obtain the maximum flexibility both from the programmers’ and users’ points of view, problems can be defined as a Java class (because this API was developed in Java) or as a simple text input that is sent to the API. For this last one to be possible it was also implemented on the API an expression evaluator. One of the drawbacks of this expression evaluator is that it is slower than the Java native code. In this paper it is presented a solution that combines both options: the problem can be expressed at run-time as a string of chars that are converted to Java code, compiled and loaded dynamically. To wide the target audience of the API, this new expression evaluator is also compatible with the AMPL format.

A Qualidade na administração pública e a CAF – Common assessment framework

Apresentação no âmbito da Dissertação de Mestrado Orientador: Doutora Alcina Dias

Suporte à computação paralela e distribuída em Java: distribuição e execução de trabalho

Nos últimos anos começaram a ser vulgares os computadores dotados de multiprocessadores e multi-cores. De modo a aproveitar eficientemente as novas características desse hardware começaram a surgir ferramentas para facilitar o desenvolvimento de software paralelo, através de linguagens e frameworks, adaptadas a diferentes linguagens. Com a grande difusão de redes de alta velocidade, tal como Gigabit Ethernet e a última geração de redes Wi-Fi, abre-se a oportunidade de, além de paralelizar o processamento entre processadores e cores, poder em simultâneo paralelizá-lo entre máquinas diferentes. Ao modelo que permite paralelizar processamento localmente e em simultâneo distribuí-lo para máquinas que também têm capacidade de o paralelizar, chamou-se “modelo paralelo distribuído”. Nesta dissertação foram analisadas técnicas e ferramentas utilizadas para fazer programação paralela e o trabalho que está feito dentro da área de programação paralela e distribuída. Tendo estes dois factores em consideração foi proposta uma framework que tenta aplicar a simplicidade da programação paralela ao conceito paralelo distribuído. A proposta baseia-se na disponibilização de uma framework em Java com uma interface de programação simples, de fácil aprendizagem e legibilidade que, de forma transparente, é capaz de paralelizar e distribuir o processamento. Apesar de simples, existiu um esforço para a tornar configurável de forma a adaptar-se ao máximo de situações possível. Nesta dissertação serão exploradas especialmente as questões relativas à execução e distribuição de trabalho, e a forma como o código é enviado de forma automática pela rede, para outros nós cooperantes, evitando assim a instalação manual das aplicações em todos os nós da rede. Para confirmar a validade deste conceito e das ideias defendidas nesta dissertação foi implementada esta framework à qual se chamou DPF4j (Distributed Parallel Framework for JAVA) e foram feitos testes e retiradas métricas para verificar a existência de ganhos de performance em relação às soluções já existentes.

Valorização de Cápsulas de Café e Produção de Biocombustíveis

Ao longo de décadas, as questões afectas à saúde e ambiente não fizeram parte da nossa consciência. E, com um estilo de vida cada vez mais consumista, tem-se observado um aumento significativo da produção de diversos bens e, consequentemente do seus resíduos. O café é um deles. E os resíduos de café são gerados em grandes quantidades,quer no seu estado puro, quer em invólucros metálicos, de papel ou combinações plástico/metal, quando resultantes de doses individuais. Deste modo, no âmbito da promoção de valores ecológicos e do cumprimento da legislação ambiental, cada vez mais exigente, medidas de intervenção para a gestão de resíduos de café têm sido estudadas, enquadrando-as com a realidade e com a viabilidade da sua aplicação. com base no estudo da viabilidade de produção de biocombustíveis a partir da matéria orgânica residual proveniente de diferentes cápsulas de café, que este trabalho visa contribuir para a resolução deste problema. Assim, após recuperação dos constituintes das cápsulas de café (invólucros metálicos e a borra de café), foi efectuada a extracção do óleo extraído e da borra de café (antes e após extracção). Numa fase seguinte, avaliou-se a potencialidade da utilização do óleo na produção do biodiesel, e da borra de café, na produção de bioetanol. Por fim, foi avaliada a composição metálica dos invólucros, tendo em vista a sua valorização. Para efectuar a caracterização da borra de café, foram avaliados diversos parâmetros de entre os quais se pode destacar, a razão carbono: azoto (C/N = 5) e o seu poder calorífico (PCS, entre 4619,2 e 4941 kcal/kg), o teor de celulose (13,5 - 14,8%) e o teor de lenhina total (33,6 e 32,5%). Relativamente ao óleo da borra de café, a sua extracção foi testada usando diversos solventes (hexano, etanol, isopropanol, octano, heptano, mistura de hexano e isopropanol nas proporções 5:5; 6:4; 7:3; 8:2 (v/v), respectivamente). Dos 31 ensaios efectuados, a mistura de hexano e isopropanol, nas proporções de 5:5; foi aquela que permitiu obter os melhores resultados (21,54%) de óleo em 3h de tempo de contacto).

Avaliação dos mecanismos de concorrência na API do Java 8

As plataformas com múltiplos núcleos tornaram a programação paralela/concorrente num tópico de interesse geral. Diversos modelos de programação têm vindo a ser propostos, facilitando aos programadores a identificação de regiões de código potencialmente paralelizáveis, deixando ao sistema operativo a tarefa de as escalonar dinamicamente em tempo de execução, explorando o maior grau possível de paralelismo. O Java não foge a esta tendência, disponibilizando ao programador um número crescente de bibliotecas de mecanismos de sincronização e paralelização de código. Neste contexto, esta tese apresenta e discute um conjunto de resultados obtidos através de testes intensivos à eficiência de algoritmos de ordenação implementados com recurso aos mecanismos de concorrência da API do Java 8 (Threads, Threadpools, ExecutorService, CountdownLach, ExecutorCompletionService e ForkJoinPools) em sistemas com um número de núcleos variável. Para cada um dos mecanismos, são apresentadas conclusões sobre o seu funcionamento e discutidos os cenários em que o seu uso pode ser rentabilizado de modo a serem obtidos melhores tempos de execução.

Valorização da Borra de Café: Otimização da Produção de Biodiesel por Catálise Enzimática

O decréscimo das reservas de petróleo e as consequências ambientais resultantes do recurso a combustíveis fósseis nos motores a diesel têm levado à procura de combustíveis alternativos. Esta pesquisa alicerçada nas fontes de energia renovável tornou-se essencial, face à crescente procura de energia e ao limitado fornecimento de combustíveis fósseis . Resíduos de óleo de cozinha, gordura animal, entre outros resíduos de origem biológica, tais como a borra de café, são exemplos de matérias-primas para a produção de biodiesel. A sua valorização tem interesse quer pela perspetiva ambiental, quer pela económica, pois aumenta não só a flexibilidade e diversificação das matérias-primas, mas também contribui para uma estabilidade de custos e alteração nas políticas agrícolas e de uso do solo. É neste contexto que se enquadra o biodiesel e a borra de café, pretendendo-se aqui efetuar o estudo da produção, à escala laboratorial, de biodiesel a partir da borra de café, por transesterificação enzimática, visando a procura das melhores condições reacionais. Iniciando-se com a caracterização da borra de café, foram avaliados antes e após a extração do óleo da borra de café, diversos parâmetros, de entre os quais se destacam: o teor de humidade (16,97% e 6,79%), teor de cinzas (1,91 e 1,57%), teor de azoto (1,71 e 2,30%), teor de proteínas (10,7 e 14,4%), teor de carbono (70,2 e 71,7%), teor de celulose bruta (14,77 e 18,48%), teor de lenhina (31,03% e 30,97%) e poder calorifico superior (19,5 MJ/kg e 19,9 MJ/kg). Sumariamente, constatou-se que os valores da maioria dos parâmetros não difere substancialmente dos valores encontrados na literatura, tendo sido evidenciado o potencial da utilização desta biomassa, como fonte calorifica para queima e geração de energia. Sendo a caracterização do óleo extraído da borra de café um dos objetivos antecedentes à produção do biodiesel, pretendeu-se avaliar os diferentes parâmetros mais significativos. No que diz respeito à caracterização do óleo extraído, distingue-se a sua viscosidade cinemática (38,04 mm2/s), densidade 0,9032 g/cm3, poder calorífico de 37,9 kcal/kg, índice de iodo igual a 63,0 gI2/ 100 g óleo, o teor de água do óleo foi de 0,15 %, o índice de acidez igual a 44,8 mg KOH/g óleo, ponto de inflamação superior a 120 ºC e teor em ácidos gordos de 82,8%. Inicialmente foram efetuados ensaios preliminares, a fim de selecionar a lipase (Lipase RMIM, TL 100L e CALB L) e álcool (metanol ou etanol puros) mais adequados à produção de biodiesel, pelo que o rendimento de 83,5% foi obtido através da transesterificação mediada pela lipase RMIM, utilizando como álcool o etanol. Sendo outro dos objetivos a otimização do processo de transesterificação enzimática, através de um desenho composto central a três variáveis (razão molar etanol: óleo, concentração de enzima e temperatura), recorrendo ao software JMP 8.0, determinou-se como melhores condições, uma razão molar etanol: óleo 5:1, adição de 4,5% (m/m) de enzima e uma temperatura de 45 ºC, que conduziram a um rendimento experimental equivalente a 96,7 % e teor de ésteres 87,6%. Nestas condições, o rendimento teórico foi de 99,98%. Procurou-se ainda estudar o efeito da adição de água ao etanol, isto é, o efeito da variação da concentração do etanol pela adição de água, para teores de etanol de 92%, 85% e 75%. Verificou-se que até 92% decorreu um aumento da transesterificação (97,2%) para um teor de ésteres de (92,2%), pelo que para teores superiores de água adicionada (75% e 85%) ocorreu um decréscimo no teor final em ésteres (77,2% e 89,9%) e no rendimento da reação (84,3% e 91,9%). Isto indica a ocorrência da reação de hidrólise em maior extensão, que leva ao desvio do equilíbrio no sentido contrário à reação de formação dos produtos, isto é, dos ésteres. Finalmente, relativamente aos custos associados ao processo de produção de biodiesel, foram estimados para o conjunto de 27 ensaios realizados neste trabalho, e que corresponderam a 767,4 g de biodiesel produzido, sendo o custo dos reagentes superior ao custo energético, de 156,16 € e 126,02 €, respetivamente. Naturalmente que não esperamos que, a nível industrial os custos sejam desta ordem de grandeza, tanto mais que há economia de escala e que as enzimas utilizadas no processo deveriam ser reutilizadas diversas vezes.