Supporting Scientific Research Through Machine and Deep Learning: Fluorescence Microscopy and Operational Intelligence Use Cases

Although the debate of what data science is has a long history and has not reached a complete consensus yet, Data Science can be summarized as the process of learning from data. Guided by the above vision, this thesis presents two independent data science projects developed in the scope of multidisciplinary applied research. The first part analyzes fluorescence microscopy images typically produced in life science experiments, where the objective is to count how many marked neuronal cells are present in each image. Aiming to automate the task for supporting research in the area, we propose a neural network architecture tuned specifically for this use case, cell ResUnet (c-ResUnet), and discuss the impact of alternative training strategies in overcoming particular challenges of our data. The approach provides good results in terms of both detection and counting, showing performance comparable to the interpretation of human operators. As a meaningful addition, we release the pre-trained model and the Fluorescent Neuronal Cells dataset collecting pixel-level annotations of where neuronal cells are located. In this way, we hope to help future research in the area and foster innovative methodologies for tackling similar problems. The second part deals with the problem of distributed data management in the context of LHC experiments, with a focus on supporting ATLAS operations concerning data transfer failures. In particular, we analyze error messages produced by failed transfers and propose a Machine Learning pipeline that leverages the word2vec language model and K-means clustering. This provides groups of similar errors that are presented to human operators as suggestions of potential issues to investigate. The approach is demonstrated on one full day of data, showing promising ability in understanding the message content and providing meaningful groupings, in line with previously reported incidents by human operators.

Advanced statistical models for the segregation, identification and measurement of coexisting sound sources

Long-term monitoring of acoustical environments is gaining popularity thanks to the relevant amount of scientific and engineering insights that it provides. The increasing interest is due to the constant growth of storage capacity and computational power to process large amounts of data. In this perspective, machine learning (ML) provides a broad family of data-driven statistical techniques to deal with large databases. Nowadays, the conventional praxis of sound level meter measurements limits the global description of a sound scene to an energetic point of view. The equivalent continuous level Leq represents the main metric to define an acoustic environment, indeed. Finer analyses involve the use of statistical levels. However, acoustic percentiles are based on temporal assumptions, which are not always reliable. A statistical approach, based on the study of the occurrences of sound pressure levels, would bring a different perspective to the analysis of long-term monitoring. Depicting a sound scene through the most probable sound pressure level, rather than portions of energy, brought more specific information about the activity carried out during the measurements. The statistical mode of the occurrences can capture typical behaviors of specific kinds of sound sources. The present work aims to propose an ML-based method to identify, separate and measure coexisting sound sources in real-world scenarios. It is based on long-term monitoring and is addressed to acousticians focused on the analysis of environmental noise in manifold contexts. The presented method is based on clustering analysis. Two algorithms, Gaussian Mixture Model and K-means clustering, represent the main core of a process to investigate different active spaces monitored through sound level meters. The procedure has been applied in two different contexts: university lecture halls and offices. The proposed method shows robust and reliable results in describing the acoustic scenario and it could represent an important analytical tool for acousticians.

La matematica fuzzy nell'ingegneria dei materiali. Applicazioni alla durevolezza e alla conservazione dei materiali in opera nei siti archeologici

La ricerca presentata è un’ampia esplorazione delle possibili applicazioni di concetti, metodi e procedure della Fuzzy Logic all’Ingegneria dei Materiali. Tale nuovo approccio è giustificato dalla inadeguatezza dei risultati conseguiti con i soli metodi tradizionali riguardo alla reologia ed alla durabilità, all’utilizzo di dati di laboratorio nella progettazione e alla necessità di usare un linguaggio (informatizzabile) che consenta una valutazione congiunta degli aspetti tecnici, culturali, economici, paesaggistici della progettazione. – In particolare, la Fuzzy Logic permette di affrontare in modo razionale l’aleatorietà delle variabili e dei dati che, nel settore specifico dei materiali in opera nel costruito dei Beni Culturali, non possono essere trattati con i metodi statistici ordinari. – La scelta di concentrare l’attenzione su materiali e strutture in opera in siti archeologici discende non solo dall’interesse culturale ed economico connesso ai sempre più numerosi interventi in questo nuovo settore di pertinenza dell’Ingegneria dei Materiali, ma anche dal fatto che, in tali contesti, i termini della rappresentatività dei campionamenti, della complessità delle interazioni tra le variabili (fisiche e non), del tempo e quindi della durabilità sono evidenti ed esasperati. – Nell’ambito di questa ricerca si è anche condotto un ampio lavoro sperimentale di laboratorio per l’acquisizione dei dati utilizzati nelle procedure di modellazione fuzzy (fuzzy modeling). In tali situazioni si è operato secondo protocolli sperimentali standard: acquisizione della composizione mineralogica tramite diffrazione di raggi X (XRD), definizione della tessitura microstrutturale con osservazioni microscopiche (OM, SEM) e porosimetria tramite intrusione forzata di mercurio (MIP), determinazioni fisiche quali la velocità di propagazione degli ultrasuoni e rotoviscosimetria, misure tecnologiche di resistenza meccanica a compressione uniassiale, lavorabilità, ecc. – Nell’elaborazione dei dati e nella modellazione in termini fuzzy, la ricerca è articolata su tre livelli: a. quello dei singoli fenomeni chimico-fisici, di natura complessa, che non hanno trovato, a tutt’oggi, una trattazione soddisfacente e di generale consenso; le applicazioni riguardano la reologia delle dispersioni ad alto tenore di solido in acqua (calci, cementi, malte, calcestruzzi SCC), la correlazione della resistenza a compressione, la gelività dei materiali porosi ed alcuni aspetti della durabilità del calcestruzzo armato; b. quello della modellazione della durabilità dei materiali alla scala del sito archeologico; le applicazioni presentate riguardano i centri di cultura nuragica di Su Monte-Sorradile, GennaMaria-Villanovaforru e Is Paras-Isili; c. quello della scelta strategica costituita dalla selezione del miglior progetto di conservazione considerando gli aspetti connessi all’Ingegneria dei Materiali congiuntamente a quelli culturali, paesaggistici ed economici; le applicazioni hanno riguardato due importanti monumenti (Anfiteatro e Terme a Mare) del sito Romano di Nora-Pula.

Strutture a pareti portanti in C. A. caratterizzate da elevate prestazioni sismiche

Per quanto riguarda le costruzioni in conglomerato cementizio armato gettato in opera, i sistemi strutturali più comunemente utilizzati sono quelli a telaio (con trasmissione di momento flettente), a setti portanti o una combinazione di entrambi. A partire dagli anni ’60, numerosissimi sono stati gli studi relativamente al comportamento sismico di strutture in c.a. a telaio. Lo stesso si può affermare per le costruzioni costituite da pareti miste a telai. In particolare, l’argomento della progettazione sismica di tali tipologie di edifici ha sempre riguardato soprattutto gli edifici alti nei quali, evidentemente, l’impiego delle pareti avveniva allo scopo di limitarne la elevata deformabilità. Il comportamento sismico di strutture realizzate interamente a pareti portanti in c.a. è stato meno studiato negli anni, nonostante si sia osservato che edifici realizzati mediante tali sistemi strutturali abbiano mostrato, in generale, pregevoli risorse di resistenza nei confronti di terremoti anche di elevata intensità. Negli ultimi 10 anni, l’ingegneria sismica si sta incentrando sull’approfondimento delle risorse di tipologie costruttive di cui si è sempre fatto largo uso in passato (tipicamente nei paesi dell’Europa continentale, in America latina, negli USA e anche in Italia), ma delle quali mancavano adeguate conoscenze scientifiche relativamente al loro comportamento in zona sismica. Tali tipologie riguardano sostanzialmente sistemi strutturali interamente costituiti da pareti portanti in c.a. per edifici di modesta altezza, usualmente utilizzati in un’edilizia caratterizzata da ridotti costi di realizzazione (fabbricati per abitazioni civili e/o uffici). Obiettivo “generale” del lavoro di ricerca qui presentato è lo studio del comportamento sismico di strutture realizzate interamente a setti portanti in c.a. e di modesta altezza (edilizia caratterizzata da ridotti costi di realizzazione). In particolare, le pareti che si intendono qui studiare sono caratterizzate da basse percentuali geometriche di armatura e sono realizzate secondo la tecnologia del cassero a perdere. A conoscenza dello scrivente, non sono mai stati realizzati, fino ad oggi, studi sperimentali ed analitici allo scopo di determinare il comportamento sismico di tali sistemi strutturali, mentre è ben noto il loro comportamento statico. In dettaglio, questo lavoro di ricerca ha il duplice scopo di: • ottenere un sistema strutturale caratterizzato da elevate prestazioni sismiche; • mettere a punto strumenti applicativi (congruenti e compatibili con le vigenti normative e dunque immediatamente utilizzabili dai progettisti) per la progettazione sismica dei pannelli portanti in c.a. oggetto del presente studio. Al fine di studiare il comportamento sismico e di individuare gli strumenti pratici per la progettazione, la ricerca è stata organizzata come segue: • identificazione delle caratteristiche delle strutture studiate, mediante lo sviluppo/specializzazione di opportune formulazioni analitiche; • progettazione, supervisione, ed interpretazione di una estesa campagna di prove sperimentali eseguita su pareti portanti in c.a. in vera grandezza, al fine di verificarne l’efficace comportamento sotto carico ciclico; • sviluppo di semplici indicazioni (regole) progettuali relativamente alle strutture a pareti in c.a. studiate, al fine di ottenere le caratteristiche prestazionali desiderate. I risultati delle prove sperimentali hanno mostrato di essere in accordo con le previsioni analitiche, a conferma della validità degli strumenti di predizione del comportamento di tali pannelli. Le elevatissime prestazioni riscontrate sia in termini di resistenza che in termini di duttilità hanno evidenziato come le strutture studiate, così messe a punto, abbiano manifestato un comportamento sismico più che soddisfacente.

Gli affidamenti c.d. in house nell'ordinamento comunitario e nazionale con particolare riferimento al settore dei trasporti pubblici

Il presente progetto di ricerca analizza quella particolare forma di affidamento diretto dei servizi pubblici denominata in house providing e si articola in tre sezioni. Nella prima sezione viene analizzata la disciplina dei servizi pubblici locali nell’ordinamento italiano mediante un excursus normativo dai primi del 900 ad oggi; la seconda sezione è dedicata alla disciplina dell’affidamento dei servizi pubblici locali di trasporto; la terza sezione, infine, descrive l’in house providing e l’elaborazione pretoria di tale istituto operata dalla giurisprudenza comunitaria. Come noto, la pubblica amministrazione può soddisfare le sue esigenze secondo due diverse modalità: ricorrendo al libero mercato come qualsiasi altro operatore economico oppure auto-producendo i beni e i servizi di cui necessita. Infatti, nonostante il diritto comunitario imponga il rispetto del principio di tutela della concorrenza, lascia impregiudicato il potere di auto-organizzazione in capo alle pubbliche amministrazioni negli Stati membri, le quali potranno scegliere di agire “in economia” o di ricorrere alle prestazioni di operatori terzi. Con la locuzione di derivazione comunitaria in house providing si definisce quel modello organizzativo mediante il quale le pubbliche amministrazioni realizzano le attività di loro competenza attraverso i propri organismi, cioè senza ricorrere al libero mercato per procurarsi i lavori, i servizi e le forniture ad esse occorrenti o per erogare alla collettività prestazioni di pubblico servizio, in deroga ai principi comunitari sulla tutela della concorrenza stabiliti nel Trattato istitutivo della Comunità Europea, che invece imporrebbero lo svolgimento di gare ad evidenza pubblica per l'affidamento di tali servizi. Tuttavia, come chiarito dalla giurisprudenza comunitaria e nazionale, affinché la procedura di gara non sia necessaria, occorre che tra l’amministrazione e il prestatore ci sia sostanziale identità, nonostante le distinte personalità giuridiche, in modo tale da configurare il contratto tra le stesse intercorso come un atto di organizzazione interna.

A clustering method for robust and reliable large scale functional and structural protein sequence annotation

Bioinformatics, in the last few decades, has played a fundamental role to give sense to the huge amount of data produced. Obtained the complete sequence of a genome, the major problem of knowing as much as possible of its coding regions, is crucial. Protein sequence annotation is challenging and, due to the size of the problem, only computational approaches can provide a feasible solution. As it has been recently pointed out by the Critical Assessment of Function Annotations (CAFA), most accurate methods are those based on the transfer-by-homology approach and the most incisive contribution is given by cross-genome comparisons. In the present thesis it is described a non-hierarchical sequence clustering method for protein automatic large-scale annotation, called “The Bologna Annotation Resource Plus” (BAR+). The method is based on an all-against-all alignment of more than 13 millions protein sequences characterized by a very stringent metric. BAR+ can safely transfer functional features (Gene Ontology and Pfam terms) inside clusters by means of a statistical validation, even in the case of multi-domain proteins. Within BAR+ clusters it is also possible to transfer the three dimensional structure (when a template is available). This is possible by the way of cluster-specific HMM profiles that can be used to calculate reliable template-to-target alignments even in the case of distantly related proteins (sequence identity < 30%). Other BAR+ based applications have been developed during my doctorate including the prediction of Magnesium binding sites in human proteins, the ABC transporters superfamily classification and the functional prediction (GO terms) of the CAFA targets. Remarkably, in the CAFA assessment, BAR+ placed among the ten most accurate methods. At present, as a web server for the functional and structural protein sequence annotation, BAR+ is freely available at http://bar.biocomp.unibo.it/bar2.0.

Data-stream driven Fuzzy-granular approaches for system maintenance

Intelligent systems are currently inherent to the society, supporting a synergistic human-machine collaboration. Beyond economical and climate factors, energy consumption is strongly affected by the performance of computing systems. The quality of software functioning may invalidate any improvement attempt. In addition, data-driven machine learning algorithms are the basis for human-centered applications, being their interpretability one of the most important features of computational systems. Software maintenance is a critical discipline to support automatic and life-long system operation. As most software registers its inner events by means of logs, log analysis is an approach to keep system operation. Logs are characterized as Big data assembled in large-flow streams, being unstructured, heterogeneous, imprecise, and uncertain. This thesis addresses fuzzy and neuro-granular methods to provide maintenance solutions applied to anomaly detection (AD) and log parsing (LP), dealing with data uncertainty, identifying ideal time periods for detailed software analyses. LP provides deeper semantics interpretation of the anomalous occurrences. The solutions evolve over time and are general-purpose, being highly applicable, scalable, and maintainable. Granular classification models, namely, Fuzzy set-Based evolving Model (FBeM), evolving Granular Neural Network (eGNN), and evolving Gaussian Fuzzy Classifier (eGFC), are compared considering the AD problem. The evolving Log Parsing (eLP) method is proposed to approach the automatic parsing applied to system logs. All the methods perform recursive mechanisms to create, update, merge, and delete information granules according with the data behavior. For the first time in the evolving intelligent systems literature, the proposed method, eLP, is able to process streams of words and sentences. Essentially, regarding to AD accuracy, FBeM achieved (85.64+-3.69)%; eGNN reached (96.17+-0.78)%; eGFC obtained (92.48+-1.21)%; and eLP reached (96.05+-1.04)%. Besides being competitive, eLP particularly generates a log grammar, and presents a higher level of model interpretability.

R.P.C.M. Apulia (Reconstructing Prehistoric Communities’ Mobility in Apulia)

The research originates in the necessity to bring a new systematic archaeological perspective to the prehistoric background of northern Apulia. Therefore, the aim of the R.P.C.M. Apulia project is to shed new light on a specific chronological arch, from the Neolithic to Early Bronze Age, of the northern part of the Apulia, because the related studies resulted updated to the 70-80’s with some sporadic exception. Moreover, addressing the investigation to the relationship between the communities and the landscape, so how they could exploit the lands and how they could move into this area keeping in touch. To reconstruct the Prehistorical dynamics, it has been necessary first of all to create a database containing all the information about the sites thus to validate them and classifying them according to a model specifically built. The storing operation has been conducted with the software ArcGIS v.10.1 and the sites have been georeferenced on the map as points. It provided the basis on which developing the analysis concerning the mobility (Least Cost Path) and landscape perception (Fuzzy Viewshed Analysis). The first one has been considered to evaluate the mobility into the study area. Therefore, to generate sample paths on the base of the time in reaching a specific point and the terrain trend. The gained information has been collected to hypothesize how they could keep in touch across the chronological changes for purposes related to trading/idea/people exchanges. The visibility analysis has been led to grasp how the groups perceived the landscape through the sight. This datum covered an important role, especially from the Copper Age, concerning the domain and control of the trading ways. The data coming from the mentioned analysis have been used to read into the settlement choices according to the development of the new socio-economic relationships and plan survey activity.