Deployment of a data analysis workflow of the ATLAS experiment on HPC systems

LHC experiments produce an enormous amount of data, estimated of the order of a few PetaBytes per year. Data management takes place using the Worldwide LHC Computing Grid (WLCG) grid infrastructure, both for storage and processing operations. However, in recent years, many more resources are available on High Performance Computing (HPC) farms, which generally have many computing nodes with a high number of processors. Large collaborations are working to use these resources in the most efficient way, compatibly with the constraints imposed by computing models (data distributed on the Grid, authentication, software dependencies, etc.). The aim of this thesis project is to develop a software framework that allows users to process a typical data analysis workflow of the ATLAS experiment on HPC systems. The developed analysis framework shall be deployed on the computing resources of the Open Physics Hub project and on the CINECA Marconi100 cluster, in view of the switch-on of the Leonardo supercomputer, foreseen in 2023.

PLUME preliminary study and first Van der Meer scan data analysis

Il rilevatore Probe for LUminosity MEasurement (PLUME) è un luminometro per l’esperimento LHCb al CERN. Fornirà misurazioni istantanee della luminosità per LHCb durante la Run 3 a LHC. L’obiettivo di questa tesi è di valutare, con dati simulati, le prestazioni attese di PLUME, come l’occupanza dei PMT che compongono il rivelatore, e riportare l’analisi dei primi dati ottenuti da PLUME durante uno scan di Van der Meer. In particolare, sono state ottenuti tre misure del valore della sezione d’urto, necessarie per tarare il rivelatore, ovvero σ1Da = (1.14 ± 0.11) mb, σ1Db = (1.13 ± 0.10) mb, σ2D = (1.20 ± 0.02) mb, dove i pedici 1D e 2D corrispondono a uno scan di Van der Meer unidimensionale e bidimensionale. Tutti i risultati sono in accordo tra loro.

Smart Data Analysis on Lamborghini Connected Vehicles

The thesis is the result of work conducted during a period of six months at the Strategy department of Automobili Lamborghini S.p.A. in Sant'Agata Bolognese (BO) and concerns the study and analysis of Big Data relating to Lamborghini's connected cars. The Big Data is a project of Connected Car Project House, that is an inter-departmental team which works toward the definition of the Lamborghini corporate connectivity strategy and its implementation in the product portfolio. The Data of the connected cars is one of the hottest topics right now in the automotive industry; in fact, all the largest automotive companies are investi,ng a lot in this direction, in order to derive the greatest advantages both from a purely economic point of view, because from these data you can understand a lot the behaviors and habits of each driver, and from a technological point of view because it will increasingly promote the development of 5G that will be an important enabler for the future of connectivity. The main purpose of the work by Lamborghini prospective is to analyze the data of the connected cars, in particular a data-set referred to connected Huracans that had been already placed on the market, and, starting from that point, derive valuable Key Performance Indicators (KPIs) on which the company could partly base the decisions to be made in the near future. The key result that we have obtained at the end of this period was the creation of a Dashboard, in which is possible to visualize many parameters and indicators both related to driving habits and the use of the vehicle itself, which has brought great insights on the huge potential and value that is present behind the study of these data. The final Demo of the project has received great interest, not only from the whole strategy department but also from all the other business areas of Lamborghini, making mostly a great awareness that this will be the road to follow in the coming years.

Applicazione della Metodologia Agile e di tecniche di Data Analysis nello sviluppo di un sistema di e-grocery

I principi Agile, pubblicati nell’omonimo Manifesto più di 20 anni fa, al giorno d’oggi sono declinati in una moltitudine di framework: Scrum, XP, Kanban, Lean, Adaptive, Crystal, etc. Nella prima parte della tesi (Capitoli 1 e 2) sono stati descritti alcuni di questi framework e si è analizzato come un approccio Agile è utilizzato nella pratica in uno specifico caso d’uso: lo sviluppo di una piattaforma software a supporto di un sistema di e-grocery da parte di un team di lab51. Si sono verificate le differenze e le similitudini rispetto alcuni metodi Agile formalizzati in letteratura spiegando le motivazioni che hanno portato a differenziarsi da questi framework illustrando i vantaggi per il team. Nella seconda parte della tesi (Capitoli 3 e 4) è stata effettuata un’analisi dei dati raccolti dal supermercato online negli ultimi anni con l’obiettivo di migliorare l’algoritmo di riordino. In particolare, per prevedere le vendite dei singoli prodotti al fine di avere degli ordini più adeguati in quantità e frequenza, sono stati studiati vari approcci: dai modelli statistici di time series forecasting, alle reti neurali, fino ad una metodologia sviluppata ad hoc.

Data analysis and hydrological modelling of rainfall and discharge extremes along the Tione River: implications for the design of water structures

There are many natural events that can negatively affect the urban ecosystem, but weather-climate variations are certainly among the most significant. The history of settlements has been characterized by extreme events like earthquakes and floods, which repeat themselves at different times, causing extensive damage to the built heritage on a structural and urban scale. Changes in climate also alter various climatic subsystems, changing rainfall regimes and hydrological cycles, increasing the frequency and intensity of extreme precipitation events (heavy rainfall).  From an hydrological risk perspective, it is crucial to understand future events that could occur and their magnitude in order to design safer infrastructures. Unfortunately, it is not easy to understand future scenarios as the complexity of climate is enormous.  For this thesis, precipitation and discharge extremes were primarily used as data sources. It is important to underline that the two data sets are not separated: changes in rainfall regime, due to climate change, could significantly affect overflows into receiving water bodies. It is imperative that we understand and model climate change effects on water structures to support the development of adaptation strategies.   The main purpose of this thesis is to search for suitable water structures for a road located along the Tione River. Therefore, through the analysis of the area from a hydrological point of view, we aim to guarantee the safety of the infrastructure over time.   The observations made have the purpose to underline how models such as a stochastic one can improve the quality of an analysis for design purposes, and influence choices.

Aglomeração econômica e disparidade salarial no Espírito Santo : teoria e evidência a partir de um enfoque da Nova Geografia Econômica

O trabalho buscou analisar questões de desigualdade regional no Espírito Santo através da linha de pesquisa denominada Nova Geografia Econômica (NGE). Uma forma de realizar essa análise é através do estudo da relação entre diferenciais de salário e mercado potencial. Mais precisamente, o trabalho procurou verificar o impacto de fatores geográficos de segunda natureza – mercado potencial – nos salário médios municipais. Inicialmente, por meio de uma Análise Exploratória de Dados Espaciais, verificou-se que os salários são maiores próximos às regiões com alto mercado potencial (litoral/RMGV). Por meio da utilização de técnicas de estatística e econometria espacial foi possível observar para os anos de 2000 e 2010 a existência de uma estrutura espacial de salários no Espírito Santo. O coeficiente de erro autorregressivo foi positivo e estatisticamente significativo, indicando o modelo SEM (spatial error model) como o mais apropriado para modelar os efeitos espaciais. Os resultados indicam ainda que não só fatores educacionais afetam os salários, fatores geográficos de segunda natureza possuem um efeito até maior quando comparados aos primeiros. Conclui-se, como demonstra o modelo central da NGE que, forças exclusivamente de mercado nem sempre levam ao equilíbrio equalizador dos rendimentos, pelo contrário, levam à conformação de uma estrutura do tipo centro-periferia com diferença persistente de rendimentos entre as regiões. Adicionalmente, verifica-se que os municípios que apresentam maior salário, maior mercado potencial e melhores indicadores sociais são àqueles localizados no litoral do estado, mais precisamente os municípios próximos à RMGV. Sendo assim, o trabalho reforça a necessidade de que se pense estratégias que fomentem a criação de novas centralidades no Espírito Santo, a fim de atuar na redução das desigualdades regionais. O trabalho se insere num grupo de vários outros estudos que analisaram questões de desigualdade e concentração produtiva no Espírito Santo. A contribuição está na utilização do referencial teórico da NGE, que ainda não havia sido empregada para o estado, e na utilização de técnicas de estatística espacial e econometria espacial.

Learning wind fields with multiple kernels

This paper presents multiple kernel learning (MKL) regression as an exploratory spatial data analysis and modelling tool. The MKL approach is introduced as an extension of support vector regression, where MKL uses dedicated kernels to divide a given task into sub-problems and to treat them separately in an effective way. It provides better interpretability to non-linear robust kernel regression at the cost of a more complex numerical optimization. In particular, we investigate the use of MKL as a tool that allows us to avoid using ad-hoc topographic indices as covariables in statistical models in complex terrains. Instead, MKL learns these relationships from the data in a non-parametric fashion. A study on data simulated from real terrain features confirms the ability of MKL to enhance the interpretability of data-driven models and to aid feature selection without degrading predictive performances. Here we examine the stability of the MKL algorithm with respect to the number of training data samples and to the presence of noise. The results of a real case study are also presented, where MKL is able to exploit a large set of terrain features computed at multiple spatial scales, when predicting mean wind speed in an Alpine region.

Robust Nonlinear Mapping of Soil Contamination Using Support Regression

Spatial data analysis mapping and visualization is of great importance in various fields: environment, pollution, natural hazards and risks, epidemiology, spatial econometrics, etc. A basic task of spatial mapping is to make predictions based on some empirical data (measurements). A number of state-of-the-art methods can be used for the task: deterministic interpolations, methods of geostatistics: the family of kriging estimators (Deutsch and Journel, 1997), machine learning algorithms such as artificial neural networks (ANN) of different architectures, hybrid ANN-geostatistics models (Kanevski and Maignan, 2004; Kanevski et al., 1996), etc. All the methods mentioned above can be used for solving the problem of spatial data mapping. Environmental empirical data are always contaminated/corrupted by noise, and often with noise of unknown nature. That's one of the reasons why deterministic models can be inconsistent, since they treat the measurements as values of some unknown function that should be interpolated. Kriging estimators treat the measurements as the realization of some spatial randomn process. To obtain the estimation with kriging one has to model the spatial structure of the data: spatial correlation function or (semi-)variogram. This task can be complicated if there is not sufficient number of measurements and variogram is sensitive to outliers and extremes. ANN is a powerful tool, but it also suffers from the number of reasons. of a special type ? multiplayer perceptrons ? are often used as a detrending tool in hybrid (ANN+geostatistics) models (Kanevski and Maignank, 2004). Therefore, development and adaptation of the method that would be nonlinear and robust to noise in measurements, would deal with the small empirical datasets and which has solid mathematical background is of great importance. The present paper deals with such model, based on Statistical Learning Theory (SLT) - Support Vector Regression. SLT is a general mathematical framework devoted to the problem of estimation of the dependencies from empirical data (Hastie et al, 2004; Vapnik, 1998). SLT models for classification - Support Vector Machines - have shown good results on different machine learning tasks. The results of SVM classification of spatial data are also promising (Kanevski et al, 2002). The properties of SVM for regression - Support Vector Regression (SVR) are less studied. First results of the application of SVR for spatial mapping of physical quantities were obtained by the authorsin for mapping of medium porosity (Kanevski et al, 1999), and for mapping of radioactively contaminated territories (Kanevski and Canu, 2000). The present paper is devoted to further understanding of the properties of SVR model for spatial data analysis and mapping. Detailed description of the SVR theory can be found in (Cristianini and Shawe-Taylor, 2000; Smola, 1996) and basic equations for the nonlinear modeling are given in section 2. Section 3 discusses the application of SVR for spatial data mapping on the real case study - soil pollution by Cs137 radionuclide. Section 4 discusses the properties of the modelapplied to noised data or data with outliers.

A metodologia de análise de dados espaciais aplicada a plantas forrageiras

Dois experimentos e um levantamento por amostragem foram analisados no contexto de dados espaciais. Os experimentos foram delineados em blocos completos casualizados sendo que no experimento um (EXP 1) foram avaliados oito cultivares de trevo branco, sendo estudadas as variáveis Matéria Seca Total (MST) e Matéria Seca de Gramíneas (MSGRAM) e no experimento dois (EXP 2) 20 cultivares de espécies forrageiras, onde foi estudada a variável Percentagem de Implantação (%IMPL). As variáveis foram analisadas no contexto de modelos mistos, sendo modelada a variabilidade espacial através de semivariogramas exponencias, esféricos e gaussianos. Verificou-se uma diminuição em média de 19% e 14% do Coeficiente de Variação (CV) das medias dos cultivares, e uma diminuição em média de 24,6% e 33,3% nos erros padrões dos contrastes ortogonais propostos em MST e MSGRAM. No levantamento por amostragem, estudou-se a associação espacial em Aristida laevis (Nees) Kunth , Paspalum notatum Fl e Demodium incanum DC, amostrados em uma transecção fixa de quadros contiguos, a quatro tamanhos de unidades amostrais (0,1x0,1m; 0,1x0,3m; 0,1x0,5m; e 0,1x1,0m). Nas espécies Aristida laevis (Nees) Kunth e Paspalum notatum Fl, existiu um bom ajuste dos semivariogramas a tamanhos menores das unidades amostrais, diminuíndo quando a unidade amostral foi maior. Desmodium incanum DC apresentou comportamento contrario, ajustando melhor os semivariogramas a tamanhos maiores das unidades amostrais.

Abordagem para identificação, análise e caracterização dos estágios de desenvolvimento dos clusters: um estudo em regiões metropolitanas

O estudo do fenômeno cluster, nos últimos 30 anos, sob inúmeras qualificações, tem atraído atenção crescente tanto do meio acadêmico quanto dos responsáveis pelo desenvolvimento de políticas públicas. No entanto, seu ciclo de desenvolvimento ainda é um aspecto pouco explorado. A necessidade em se investigar e compreender o ciclo de desenvolvimento dos clusters é destacada por vários autores. Do ponto de vista das políticas públicas, a importância em se identificar o ciclo de evolução dos clusters, bem como cada um de seus estágios, reside na assertividade das ações por elas proporcionada. A tese é apresentada na forma de três artigos científicos. O primeiro busca determinar a natureza e as dimensões da noção de cluster pela exploração das bases teórico-conceituais de três áreas de conhecimento em que o conceito é mais comumente empregado: a geografia econômica, a administração estratégica e a administração de operações. Além de outras descobertas, os resultados proporcionam uma classificação dos temas de pesquisa ao redor do conceito, bem como das linhas teórico-conceituais que os sustentam. O segundo lida com a questão de como os clusters são identificados. Partindo de algumas limitações das estatísticas da economia regional, em especial do Quociente Locacional (QL), o autor propõe uma abordagem de aplicação conjunta dessas estatísticas com aquelas apresentadas pela Análise Exploratória de Dados Espaciais (AEDE). Os resultados mostram a complementariedade das abordagens, pois parte das limitações da primeira consegue ser resolvida pela segunda, mas, mais importante, conseguem revelar o valor proporcionado pelas estatísticas da AEDE acerca da dinâmica regional. Por fim, o terceiro e último artigo propõe um instrumento de avaliação do ciclo de desenvolvimento dos clusters envolvendo 6 dimensões e 11 elementos de avaliação. A partir dos potenciais clusters identificados no segundo artigo, o instrumento é aplicado sobre três deles. O resultado é a obtenção de uma abordagem simples, conceitualmente coerente, prática e de baixo custo de aplicação.

Integração de modelos espaciais e temporais para predições de níveis freáticos extremos

O objetivo deste trabalho foi avaliar cenários de níveis freáticos extremos, em bacia hidrográfica, por meio de métodos de análise espacial de dados geográficos. Avaliou-se a dinâmica espaço‑temporal dos recursos hídricos subterrâneos em área de afloramento do Sistema Aquífero Guarani. As alturas do lençol freático foram estimadas por meio do monitoramento de níveis em 23 piezômetros e da modelagem das séries temporais disponíveis de abril de 2004 a abril de 2011. Para a geração de cenários espaciais, foram utilizadas técnicas geoestatísticas que incorporaram informações auxiliares relativas a padrões geomorfológicos da bacia, por meio de modelo digital de terreno. Esse procedimento melhorou as estimativas, em razão da alta correlação entre altura do lençol e elevação, e agregou sentido físico às predições. Os cenários apresentaram diferenças quanto aos níveis considerados extremos - muito profundos ou muito superficiais - e podem subsidiar o planejamento, o uso eficiente da água e a gestão sustentável dos recursos hídricos na bacia.

Sistemas de informação geográfica e análise espacial de dados como ferramentas para determinação de agregação espacial de doenças: a hanseníase como modelo

This work demonstrates the importance of using tools used in geographic information systems (GIS) and spatial data analysis (SDA) for the study of infectious diseases. Analysis methods were used to describe more fully the spatial distribution of a particular disease by incorporating the geographical element in the analysis. In Chapter 1, we report the historical evolution of these techniques in the field of human health and use Hansen s disease (leprosy) in Rio Grande do Norte as an example. In Chapter 2, we introduced a few basic theoretical concepts on the methodology and classified the types of spatial data commonly treated. Chapters 3 and 4 defined and demonstrated the use of the two most important techniques for analysis of health data, which are data point processes and data area. We modelled the case distribution of Hansen s disease in the city of Mossoró - RN. In the analysis, we used R scripts and made available routines and analitical procedures developed by the author. This approach can be easily used by researchers in several areas. As practical results, major risk areas in Mossoró leprosy were detected, and its association with the socioeconomic profile of the population at risk was found. Moreover, it is clearly shown that his approach could be of great help to be used continuously in data analysis and processing, allowing the development of new strategies to work might increase the use of such techniques in data analysis in health care

Novas ferramentas para monitoramento ambiental usando SIG Web

The use of Geographic Information Systems (GIS) has becoming very important in fields where detailed and precise study of earth surface features is required. Applications in environmental protection are such an example that requires the use of GIS tools for analysis and decision by managers and enrolled community of protected areas. In this specific field, a challenge that remains is to build a GIS that can be dynamically fed with data, allowing researchers and other agents to recover actual and up to date information. In some cases, data is acquired in several ways and come from different sources. To solve this problem, some tools were implemented that includes a model for spatial data treatment on the Web. The research issues involved start with the feeding and processing of environmental control data collected in-loco as biotic and geological variables and finishes with the presentation of all information on theWeb. For this dynamic processing, it was developed some tools that make MapServer more flexible and dynamic, allowing data uploading by the proper users. Furthermore, it was also developed a module that uses interpolation to aiming spatial data analysis. A complex application that has validated this research is to feed the system with data coming from coral reef regions located in northeast of Brazil. The system was implemented using the best interactivity concept provided by the AJAX model and resulted in a substantial contribution for efficiently accessing information, being an essential mechanism for controlling events in the environmental monitoring

Amazônia Legal e o estado de Mato Grosso: dois ensaios sobre o processo de convergência espacial para o desmatamento

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Objetivos normativos e resultados práticos: um estudo empírico da renúncia fiscal concedida a firmas da agroindústria de palmito no Pará

O trabalho analisa a consistência entre os objetivos normativos, expressos na legislação que possibilita a concessão de incentivos fiscais no estado do Pará, e os resultados da aplicação desta prática de exceção fiscal a firmas da agroindústria de palmito. Inicialmente, a partir da elaboração de indicadores, por meio de análise espacial de dados e da avaliação dos níveis de correlação estatística entre eles, o trabalho concluiu que não há evidências empíricas de que o crescimento da agroindústria do palmito se articule com os objetivos normativos da política de incentivos fiscais. Em seguida, foi feita uma avaliação microeconômica, por meio de 18 indicadores, dos efeitos do incentivo fiscal sobre o desempenho das firmas, que apontou melhoras em todos os indicadores. O trabalho conclui, adicionalmente, que as taxas de rentabilidade e as de retorno interno da agroindústria do palmito, mesmo antes da concessão de incentivo fiscal, eram superiores a outras possibilidades de alocação de capital, contrariando também justificativas normativas subjacentes à concessão de incentivos fiscais. Por fim, indica-se que a concessão de benefícios analisada não se coaduna com o que a literatura considera como uma política de incentivos fiscais, já que os resultados dela, nas firmas analisadas, aproximam-lhe de uma política de regularização fiscal.