An evolutionary approach to the design of experiments for combinatorial optimization with an application to enzyme engineering

In a large number of problems the high dimensionality of the search space, the vast number of variables and the economical constrains limit the ability of classical techniques to reach the optimum of a function, known or unknown. In this thesis we investigate the possibility to combine approaches from advanced statistics and optimization algorithms in such a way to better explore the combinatorial search space and to increase the performance of the approaches. To this purpose we propose two methods: (i) Model Based Ant Colony Design and (ii) Naïve Bayes Ant Colony Optimization. We test the performance of the two proposed solutions on a simulation study and we apply the novel techniques on an appplication in the field of Enzyme Engineering and Design.

Co-simulazione e co-progetto non lineare/elettromagnetico di sistemi wireless non convenzionali

L’attività di ricerca contenuta in questa tesi si è concentrata nello sviluppo e nell’implementazione di tecniche per la co-simulazione e il co-progetto non lineare/elettromagnetico di sistemi wireless non convenzionali. Questo lavoro presenta un metodo rigoroso per considerare le interazioni tra due sistemi posti sia in condizioni di campo vicino che in condizioni di campo lontano. In sostanza, gli effetti del sistema trasmittente sono rappresentati da un generatore equivalente di Norton posto in parallelo all’antenna del sistema ricevente, calcolato per mezzo del teorema di reciprocità e del teorema di equivalenza. La correttezza del metodo è stata verificata per mezzo di simulazioni e misure, concordi tra loro. La stessa teoria, ampliata con l’introduzione degli effetti di scattering, è stata usata per valutare una condizione analoga, dove l’elemento trasmittente coincide con quello ricevente (DIE) contenuto all’interno di una struttura metallica (package). I risultati sono stati confrontati con i medesimi ottenibili tramite tecniche FEM e FDTD/FIT, che richiedono tempi di simulazione maggiori di un ordine di grandezza. Grazie ai metodi di co-simulazione non lineari/EM sopra esposti, è stato progettato e verificato un sistema di localizzazione e identificazione di oggetti taggati posti in ambiente indoor. Questo è stato ottenuto dotando il sistema di lettura, denominato RID (Remotely Identify and Detect), di funzioni di scansione angolare e della tecnica di RADAR mono-pulse. Il sistema sperimentale, creato con dispositivi low cost, opera a 2.5 GHz ed ha le dimensioni paragonabili ad un normale PDA. E’ stato sperimentata la capacità del RID di localizzare, in scenari indoor, oggetti statici e in movimento.

Sviluppo di un approccio congiunto fuzzy-Bayesiano per l'analisi e la modellizzazione degli ecosistemi: applicazione ad ecosistemi marini costieri.

Nell’attuale contesto di aumento degli impatti antropici e di “Global Climate Change” emerge la necessità di comprenderne i possibili effetti di questi sugli ecosistemi inquadrati come fruitori di servizi e funzioni imprescindibili sui quali si basano intere tessiture economiche e sociali. Lo studio previsionale degli ecosistemi si scontra con l’elevata complessità di questi ultimi in luogo di una altrettanto elevata scarsità di osservazioni integrate. L’approccio modellistico appare il più adatto all’analisi delle dinamiche complesse degli ecosistemi ed alla contestualizzazione complessa di risultati sperimentali ed osservazioni empiriche. L’approccio riduzionista-deterministico solitamente utilizzato nell’implementazione di modelli non si è però sin qui dimostrato in grado di raggiungere i livelli di complessità più elevati all’interno della struttura eco sistemica. La componente che meglio descrive la complessità ecosistemica è quella biotica in virtù dell’elevata dipendenza dalle altre componenti e dalle loro interazioni. In questo lavoro di tesi viene proposto un approccio modellistico stocastico basato sull’utilizzo di un compilatore naive Bayes operante in ambiente fuzzy. L’utilizzo congiunto di logica fuzzy e approccio naive Bayes è utile al processa mento del livello di complessità e conseguentemente incertezza insito negli ecosistemi. I modelli generativi ottenuti, chiamati Fuzzy Bayesian Ecological Model(FBEM) appaiono in grado di modellizare gli stati eco sistemici in funzione dell’ elevato numero di interazioni che entrano in gioco nella determinazione degli stati degli ecosistemi. Modelli FBEM sono stati utilizzati per comprendere il rischio ambientale per habitat intertidale di spiagge sabbiose in caso di eventi di flooding costiero previsti nell’arco di tempo 2010-2100. L’applicazione è stata effettuata all’interno del progetto EU “Theseus” per il quale i modelli FBEM sono stati utilizzati anche per una simulazione a lungo termine e per il calcolo dei tipping point specifici dell’habitat secondo eventi di flooding di diversa intensità.

New perspectives in statistical mechanics and high-dimensional inference

The main purpose of this thesis is to go beyond two usual assumptions that accompany theoretical analysis in spin-glasses and inference: the i.i.d. (independently and identically distributed) hypothesis on the noise elements and the finite rank regime. The first one appears since the early birth of spin-glasses. The second one instead concerns the inference viewpoint. Disordered systems and Bayesian inference have a well-established relation, evidenced by their continuous cross-fertilization. The thesis makes use of techniques coming both from the rigorous mathematical machinery of spin-glasses, such as the interpolation scheme, and from Statistical Physics, such as the replica method. The first chapter contains an introduction to the Sherrington-Kirkpatrick and spiked Wigner models. The first is a mean field spin-glass where the couplings are i.i.d. Gaussian random variables. The second instead amounts to establish the information theoretical limits in the reconstruction of a fixed low rank matrix, the “spike”, blurred by additive Gaussian noise. In chapters 2 and 3 the i.i.d. hypothesis on the noise is broken by assuming a noise with inhomogeneous variance profile. In spin-glasses this leads to multi-species models. The inferential counterpart is called spatial coupling. All the previous models are usually studied in the Bayes-optimal setting, where everything is known about the generating process of the data. In chapter 4 instead we study the spiked Wigner model where the prior on the signal to reconstruct is ignored. In chapter 5 we analyze the statistical limits of a spiked Wigner model where the noise is no longer Gaussian, but drawn from a random matrix ensemble, which makes its elements dependent. The thesis ends with chapter 6, where the challenging problem of high-rank probabilistic matrix factorization is tackled. Here we introduce a new procedure called "decimation" and we show that it is theoretically to perform matrix factorization through it.

Modelling and classification with quantile-based distributions

In this work, we explore and demonstrate the potential for modeling and classification using quantile-based distributions, which are random variables defined by their quantile function. In the first part we formalize a least squares estimation framework for the class of linear quantile functions, leading to unbiased and asymptotically normal estimators. Among the distributions with a linear quantile function, we focus on the flattened generalized logistic distribution (fgld), which offers a wide range of distributional shapes. A novel naïve-Bayes classifier is proposed that utilizes the fgld estimated via least squares, and through simulations and applications, we demonstrate its competitiveness against state-of-the-art alternatives. In the second part we consider the Bayesian estimation of quantile-based distributions. We introduce a factor model with independent latent variables, which are distributed according to the fgld. Similar to the independent factor analysis model, this approach accommodates flexible factor distributions while using fewer parameters. The model is presented within a Bayesian framework, an MCMC algorithm for its estimation is developed, and its effectiveness is illustrated with data coming from the European Social Survey. The third part focuses on depth functions, which extend the concept of quantiles to multivariate data by imposing a center-outward ordering in the multivariate space. We investigate the recently introduced integrated rank-weighted (IRW) depth function, which is based on the distribution of random spherical projections of the multivariate data. This depth function proves to be computationally efficient and to increase its flexibility we propose different methods to explicitly model the projected univariate distributions. Its usefulness is shown in classification tasks: the maximum depth classifier based on the IRW depth is proven to be asymptotically optimal under certain conditions, and classifiers based on the IRW depth are shown to perform well in simulated and real data experiments.