A deep learning model via thermodynamics and condensed matter physics

Deep Learning architectures give brilliant results in a large variety of fields, but a comprehensive theoretical description of their inner functioning is still lacking. In this work, we try to understand the behavior of neural networks by modelling in the frameworks of Thermodynamics and Condensed Matter Physics. We approach neural networks as in a real laboratory and we measure the frequency spectrum and the entropy of the weights of the trained model. The stochasticity of the training occupies a central role in the dynamics of the weights and makes it difficult to assimilate neural networks to simple physical systems. However, the analogy with Thermodynamics and the introduction of a well defined temperature leads us to an interesting result: if we eliminate from a CNN the "hottest" filters, the performance of the model remains the same, whereas, if we eliminate the "coldest" ones, the performance gets drastically worst. This result could be exploited in the realization of a training loop which eliminates the filters that do not contribute to loss reduction. In this way, the computational cost of the training will be lightened and more importantly this would be done by following a physical model. In any case, beside important practical applications, our analysis proves that a new and improved modeling of Deep Learning systems can pave the way to new and more efficient algorithms.

Rilevamento della qualità del manto stradale: un approccio sperimentale tramite Machine Learning

Il riconoscimento delle condizioni del manto stradale partendo esclusivamente dai dati raccolti dallo smartphone di un ciclista a bordo del suo mezzo è un ambito di ricerca finora poco esplorato. Per lo sviluppo di questa tesi è stata sviluppata un'apposita applicazione, che combinata a script Python permette di riconoscere differenti tipologie di asfalto. L’applicazione raccoglie i dati rilevati dai sensori di movimento integrati nello smartphone, che registra i movimenti mentre il ciclista è alla guida del suo mezzo. Lo smartphone è fissato in un apposito holder fissato sul manubrio della bicicletta e registra i dati provenienti da giroscopio, accelerometro e magnetometro. I dati sono memorizzati su file CSV, che sono elaborati fino ad ottenere un unico DataSet contenente tutti i dati raccolti con le features estratte mediante appositi script Python. A ogni record sarà assegnato un cluster deciso in base ai risultati prodotti da K-means, risultati utilizzati in seguito per allenare algoritmi Supervised. Lo scopo degli algoritmi è riconoscere la tipologia di manto stradale partendo da questi dati. Per l’allenamento, il DataSet è stato diviso in due parti: il training set dal quale gli algoritmi imparano a classificare i dati e il test set sul quale gli algoritmi applicano ciò che hanno imparato per dare in output la classificazione che ritengono idonea. Confrontando le previsioni degli algoritmi con quello che i dati effettivamente rappresentano si ottiene la misura dell’accuratezza dell’algoritmo.

Implementation of network entropy algorithms on hpc machines, with application to high-dimensional experimental data

Network Theory is a prolific and lively field, especially when it approaches Biology. New concepts from this theory find application in areas where extensive datasets are already available for analysis, without the need to invest money to collect them. The only tools that are necessary to accomplish an analysis are easily accessible: a computing machine and a good algorithm. As these two tools progress, thanks to technology advancement and human efforts, wider and wider datasets can be analysed. The aim of this paper is twofold. Firstly, to provide an overview of one of these concepts, which originates at the meeting point between Network Theory and Statistical Mechanics: the entropy of a network ensemble. This quantity has been described from different angles in the literature. Our approach tries to be a synthesis of the different points of view. The second part of the work is devoted to presenting a parallel algorithm that can evaluate this quantity over an extensive dataset. Eventually, the algorithm will also be used to analyse high-throughput data coming from biology.

Genetic structuring of Eunicella singularis populations along a bathymetric gradient

Phenotypic plasticity refers to the ability of an organism to express different morphologies depending on the abiotic and biotic environment. Depth integrating many variables (e.g. temperature, light and hydrodynamics), may affect population structure and dynamics of the populations, as well as connectivity patterns and genetic diversity. Eunicella singularis is a Mediterranean arborescent gorgonian who plays an important rule as engineer species providing biomass and complexity to coralligenous habitats. It has a wide bathymetric distribution ranging from shallow rocky bottoms to deep sublittoral reefs. The species shows two depth-related morphotypes which taxonomic status is not yet clarified. The aim of the study is to analyses genetic variability and/or structuring along a vertical gradient to test the presence of the two morphotypes. Furthermore, a preliminary analyses of the phylogenetic relationship among species of the genus Eunicella has been done. Six populations of Eunicella singularis were sampled from 10 to 60 m depth in Cap de Creus and individuals belonging to Eunicella cavolinii, E. verrucosa, E. racemosa and E. stricta aphyta were collected. The genetic analyses were carried out using five microsatellite loci and ITS-1 sequence polymorphism. The results showed a reduction of genetic variability along the vertical gradient. A threshold in connectivity was observed across 30 - 40 m depth, confirming the presence of two different Eunicella singularis morphotypes. The two morphological forms could be due to phenotypic plasticity, which allowed populations to suit different environmental conditions, or to a break in gene flow that determined the isolation of the two populations and an accumulation of genetic differences. The molecular markers used were not able to clarify the phylogenetic relationship among Eunicella species and the systematic position of the two morphotypes, conversely they risen the question on the existence of single species of Mediterranean Eunicella.

Heuristic algorithms for the travelling deliveryman problem

Algoritmi euristici per la risoluzione del Travelling DEliveryman Problem

Il metodo di steepest descent per la regolarizzazione di immagini

Scopo della tesi è la descrizione di un metodo per il calcolo di minimi di funzionali, basato sulla steepest descent. L'idea principale è quella di considerare un flusso nella direzione opposta al gradiente come soluzione di un problema di Cauchy in spazi di Banach, che sotto l'ipotesi di Palais-Smale permette di determinare minimi. Il metodo viene applicato al problema di denoising e segmentazione in elaborazione di immagini: vengono presentati metodi classici basati sull'equazione del calore, il total variation ed il Perona Malik. Nell'ultimo capitolo il grafico di un'immagine viene considerato come varietà, che induce una metrica sul suo dominio, e viene nuovamente utilizzato il metodo di steepest descent per costruire algoritmi che tengano conto delle caratteristiche geometriche dell'immagine.

Multicentre study for a robust protocol in single-voxel spectroscopy: quantification of MRS signals by time-domain fitting algorithms

Magnetic Resonance Spectroscopy (MRS) is an advanced clinical and research application which guarantees a specific biochemical and metabolic characterization of tissues by the detection and quantification of key metabolites for diagnosis and disease staging. The "Associazione Italiana di Fisica Medica (AIFM)" has promoted the activity of the "Interconfronto di spettroscopia in RM" working group. The purpose of the study is to compare and analyze results obtained by perfoming MRS on scanners of different manufacturing in order to compile a robust protocol for spectroscopic examinations in clinical routines. This thesis takes part into this project by using the GE Signa HDxt 1.5 T at the Pavillion no. 11 of the S.Orsola-Malpighi hospital in Bologna. The spectral analyses have been performed with the jMRUI package, which includes a wide range of preprocessing and quantification algorithms for signal analysis in the time domain. After the quality assurance on the scanner with standard and innovative methods, both spectra with and without suppression of the water peak have been acquired on the GE test phantom. The comparison of the ratios of the metabolite amplitudes over Creatine computed by the workstation software, which works on the frequencies, and jMRUI shows good agreement, suggesting that quantifications in both domains may lead to consistent results. The characterization of an in-house phantom provided by the working group has achieved its goal of assessing the solution content and the metabolite concentrations with good accuracy. The goodness of the experimental procedure and data analysis has been demonstrated by the correct estimation of the T2 of water, the observed biexponential relaxation curve of Creatine and the correct TE value at which the modulation by J coupling causes the Lactate doublet to be inverted in the spectrum. The work of this thesis has demonstrated that it is possible to perform measurements and establish protocols for data analysis, based on the physical principles of NMR, which are able to provide robust values for the spectral parameters of clinical use.

Weighted geometric mean of large-scale matrices: numerical analysis and algorithms

Computing the weighted geometric mean of large sparse matrices is an operation that tends to become rapidly intractable, when the size of the matrices involved grows. However, if we are not interested in the computation of the matrix function itself, but just in that of its product times a vector, the problem turns simpler and there is a chance to solve it even when the matrix mean would actually be impossible to compute. Our interest is motivated by the fact that this calculation has some practical applications, related to the preconditioning of some operators arising in domain decomposition of elliptic problems. In this thesis, we explore how such a computation can be efficiently performed. First, we exploit the properties of the weighted geometric mean and find several equivalent ways to express it through real powers of a matrix. Hence, we focus our attention on matrix powers and examine how well-known techniques can be adapted to the solution of the problem at hand. In particular, we consider two broad families of approaches for the computation of f(A) v, namely quadrature formulae and Krylov subspace methods, and generalize them to the pencil case f(A\B) v. Finally, we provide an extensive experimental evaluation of the proposed algorithms and also try to assess how convergence speed and execution time are influenced by some characteristics of the input matrices. Our results suggest that a few elements have some bearing on the performance and that, although there is no best choice in general, knowing the conditioning and the sparsity of the arguments beforehand can considerably help in choosing the best strategy to tackle the problem.

Performance analysis of reconstruction algorithms for breast microwave imaging

The problem of localizing a scatterer, which represents a tumor, in a homogeneous circular domain, which represents a breast, is addressed. A breast imaging method based on microwaves is considered. The microwave imaging involves to several techniques for detecting, localizing and characterizing tumors in breast tissues. In all such methods an electromagnetic inverse scattering problem exists. For the scattering detection method, an algorithm based on a linear procedure solution, inspired by MUltiple SIgnal Classification algorithm (MUSIC) and Time Reversal method (TR), is implemented. The algorithm returns a reconstructed image of the investigation domain in which it is detected the scatterer position. This image is called pseudospectrum. A preliminary performance analysis of the algorithm vying the working frequency is performed: the resolution and the signal-to-noise ratio of the pseudospectra are improved if a multi-frequency approach is considered. The Geometrical Mean-MUSIC algorithm (GM- MUSIC) is proposed as multi-frequency method. The performance of the GMMUSIC is tested in different real life computer simulations. The performed analysis shows that the algorithm detects the scatterer until the electrical parameters of the breast are known. This is an evident limit, since, in a real life situation, the anatomy of the breast is unknown. An improvement in GM-MUSIC is proposed: the Eye-GMMUSIC algorithm. Eye-GMMUSIC algorithm needs no a priori information on the electrical parameters of the breast. It is an optimizing algorithm based on the pattern search algorithm: it searches the breast parameters which minimize the Signal-to-Clutter Mean Ratio (SCMR) in the signal. Finally, the GM-MUSIC and the Eye-GMMUSIC algorithms are tested on a microwave breast cancer detection system consisting of an dipole antenna, a Vector Network Analyzer and a novel breast phantom built at University of Bologna. The reconstruction of the experimental data confirm the GM-MUSIC ability to localize a scatterer in a homogeneous medium.

The effect of diffusion gradient direction number on tractography of corticospinal tract in human brain: an along-tract analysis

Nel presente lavoro di tesi ho sviluppato un metodo di analisi di dati di DW-MRI (Diffusion-Weighted Magnetic Resonance Imaging)cerebrale, tramite un algoritmo di trattografia, per la ricostruzione del tratto corticospinale, in un campione di 25 volontari sani. Il diffusion tensor imaging (DTI) sfrutta la capacità del tensore di diffusione D di misurare il processo di diffusione dell’acqua, per stimare quantitativamente l’anisotropia dei tessuti. In particolare, nella sostanza bianca cerebrale la diffusione delle molecole di acqua è direzionata preferenzialmente lungo le fibre, mentre è ostacolata perpendicolarmente ad esse. La trattografia utilizza le informazioni ottenute tramite il DW imaging per fornire una misura della connettività strutturale fra diverse regioni del cervello. Nel lavoro si è concentrata l’attenzione sul fascio corticospinale, che è coinvolto nella motricità volontaria, trasmettendo gli impulsi dalla corteccia motoria ai motoneuroni del midollo spinale. Il lavoro si è articolato in 3 fasi. Nella prima ho sviluppato il pre-processing di immagini DW acquisite con un gradiente di diffusione sia 25 che a 64 direzioni in ognuno dei 25 volontari sani. Si è messo a punto un metodo originale ed innovativo, basato su “Regions of Interest” (ROIs), ottenute attraverso la segmentazione automatizzata della sostanza grigia e ROIs definite manualmente su un template comune a tutti i soggetti in esame. Per ricostruire il fascio si è usato un algoritmo di trattografia probabilistica che stima la direzione più probabile delle fibre e, con un numero elevato di direzioni del gradiente, riesce ad individuare, se presente, più di una direzione dominante (seconda fibra). Nella seconda parte del lavoro, ciascun fascio è stato suddiviso in 100 segmenti (percentili). Sono stati stimati anisotropia frazionaria (FA), diffusività media, probabilità di connettività, volume del fascio e della seconda fibra con un’analisi quantitativa “along-tract”, per ottenere un confronto accurato dei rispettivi percentili dei fasci nei diversi soggetti. Nella terza parte dello studio è stato fatto il confronto dei dati ottenuti a 25 e 64 direzioni del gradiente ed il confronto del fascio fra entrambi i lati. Dall’analisi statistica dei dati inter-subject e intra-subject è emersa un’elevata variabilità tra soggetti, dimostrando l’importanza di parametrizzare il tratto. I risultati ottenuti confermano che il metodo di analisi trattografica del fascio cortico-spinale messo a punto è risultato affidabile e riproducibile. Inoltre, è risultato che un’acquisizione con 25 direzioni di DTI, meglio tollerata dal paziente per la minore durata dello scan, assicura risultati attendibili. La principale applicazione clinica riguarda patologie neurodegenerative con sintomi motori sia acquisite, quali sindromi parkinsoniane sia su base genetica o la valutazione di masse endocraniche, per la definizione del grado di contiguità del fascio. Infine, sono state poste le basi per la standardizzazione dell’analisi quantitativa di altri fasci di interesse in ambito clinico o di studi di ricerca fisiopatogenetica.

Regularization methods for the solution of a nonlinear least-squares problem in tomography

In this work we study a polyenergetic and multimaterial model for the breast image reconstruction in Digital Tomosynthesis, taking into consideration the variety of the materials forming the object and the polyenergetic nature of the X-rays beam. The modelling of the problem leads to the resolution of a high-dimensional nonlinear least-squares problem that, due to its nature of inverse ill-posed problem, needs some kind of regularization. We test two main classes of methods: the Levenberg-Marquardt method (together with the Conjugate Gradient method for the computation of the descent direction) and two limited-memory BFGS-like methods (L-BFGS). We perform some experiments for different values of the regularization parameter (constant or varying at each iteration), tolerances and stop conditions. Finally, we analyse the performance of the several methods comparing relative errors, iterations number, times and the qualities of the reconstructed images.

MR spectroscopy in human prostate: in vitro and in vivo measurements to optimize new quantification algorithms

Il cancro della prostata (PCa) è il tumore maligno non-cutaneo più diffuso tra gli uomini ed è il secondo tumore che miete più vittime nei paesi occidentali. La necessità di nuove tecniche non invasive per la diagnosi precoce del PCa è aumentata negli anni. 1H-MRS (proton magnetic resonance spectroscopy) e 1H-MRSI (proton magnetic resonance spectroscopy imaging) sono tecniche avanzate di spettroscopia in risonanza magnetica che permettono di individuare presenza di metaboliti come citrato, colina, creatina e in alcuni casi poliammine in uno o più voxel nel tessuto prostatico. L’abbondanza o l’assenza di uno di questi metaboliti rende possibile discriminare un tessuto sano da uno patologico. Le tecniche di spettroscopia RM sono correntemente utilizzate nella pratica clinica per cervello e fegato, con l’utilizzo di software dedicati per l’analisi degli spettri. La quantificazione di metaboliti nella prostata invece può risultare difficile a causa del basso rapporto segnale/rumore (SNR) degli spettri e del forte accoppiamento-j del citrato. Lo scopo principale di questo lavoro è di proporre un software prototipo per la quantificazione automatica di citrato, colina e creatina nella prostata. Lo sviluppo del programma e dei suoi algoritmi è stato portato avanti all’interno dell’IRST (Istituto Romagnolo per lo Studio e la cura dei Tumori) con l’aiuto dell’unità di fisica sanitaria. Il cuore del programma è un algoritmo iterativo per il fit degli spettri che fa uso di simulazioni MRS sviluppate con il pacchetto di librerie GAMMA in C++. L’accuratezza delle quantificazioni è stata testata con dei fantocci realizzati all’interno dei laboratori dell’istituto. Tutte le misure spettroscopiche sono state eseguite con il nuovo scanner Philips Ingenia 3T, una delle machine di risonanza magnetica più avanzate per applicazioni cliniche. Infine, dopo aver eseguito i test in vitro sui fantocci, sono stati acquisiti gli spettri delle prostate di alcuni volontari sani, per testare se il programma fosse in grado di lavorare in condizioni di basso SNR.

Compressed sensing in digital tomosynthesis reconstruction

In this work we study a model for the breast image reconstruction in Digital Tomosynthesis, that is a non-invasive and non-destructive method for the three-dimensional visualization of the inner structures of an object, in which the data acquisition includes measuring a limited number of low-dose two-dimensional projections of an object by moving a detector and an X-ray tube around the object within a limited angular range. The problem of reconstructing 3D images from the projections provided in the Digital Tomosynthesis is an ill-posed inverse problem, that leads to a minimization problem with an object function that contains a data fitting term and a regularization term. The contribution of this thesis is to use the techniques of the compressed sensing, in particular replacing the standard least squares problem of data fitting with the problem of minimizing the 1-norm of the residuals, and using as regularization term the Total Variation (TV). We tested two different algorithms: a new alternating minimization algorithm (ADM), and a version of the more standard scaled projected gradient algorithm (SGP) that involves the 1-norm. We perform some experiments and analyse the performance of the two methods comparing relative errors, iterations number, times and the qualities of the reconstructed images. In conclusion we noticed that the use of the 1-norm and the Total Variation are valid tools in the formulation of the minimization problem for the image reconstruction resulting from Digital Tomosynthesis and the new algorithm ADM has reached a relative error comparable to a version of the classic algorithm SGP and proved best in speed and in the early appearance of the structures representing the masses.

Polar Codes for error correction: Analysis and Decoding Algorithms

I Polar Codes sono la prima classe di codici a correzione d’errore di cui è stato dimostrato il raggiungimento della capacità per ogni canale simmetrico, discreto e senza memoria, grazie ad un nuovo metodo introdotto recentemente, chiamato ”Channel Polarization”. In questa tesi verranno descritti in dettaglio i principali algoritmi di codifica e decodifica. In particolare verranno confrontate le prestazioni dei simulatori sviluppati per il ”Successive Cancellation Decoder” e per il ”Successive Cancellation List Decoder” rispetto ai risultati riportati in letteratura. Al fine di migliorare la distanza minima e di conseguenza le prestazioni, utilizzeremo uno schema concatenato con il polar code come codice interno ed un CRC come codice esterno. Proporremo inoltre una nuova tecnica per analizzare la channel polarization nel caso di trasmissione su canale AWGN che risulta il modello statistico più appropriato per le comunicazioni satellitari e nelle applicazioni deep space. In aggiunta, investigheremo l’importanza di una accurata approssimazione delle funzioni di polarizzazione.