On-screen pre-deblurring of digital images using the wavefront aberration function of the human eye to improve computer access for the visually impaired

Traditional Optics has provided ways to compensate some common visual limitations (up to second order visual impairments) through spectacles or contact lenses. Recent developments in wavefront science make it possible to obtain an accurate model of the Point Spread Function (PSF) of the human eye. Through what is known as the "Wavefront Aberration Function" of the human eye, exact knowledge of the optical aberration of the human eye is possible, allowing a mathematical model of the PSF to be obtained. This model could be used to pre-compensate (inverse-filter) the images displayed on computer screens in order to counter the distortion in the user's eye. This project takes advantage of the fact that the wavefront aberration function, commonly expressed as a Zernike polynomial, can be generated from the ophthalmic prescription used to fit spectacles to a person. This allows the pre-compensation, or onscreen deblurring, to be done for various visual impairments, up to second order (commonly known as myopia, hyperopia, or astigmatism). The technique proposed towards that goal and results obtained using a lens, for which the PSF is known, that is introduced into the visual path of subjects without visual impairment will be presented. In addition to substituting the effect of spectacles or contact lenses in correcting the loworder visual limitations of the viewer, the significance of this approach is that it has the potential to address higher-order abnormalities in the eye, currently not correctable by simple means.

Reconstruction and analysis of surface variation using photometric stereo

In many industrial applications, accurate and fast surface reconstruction is essential for quality control. Variation in surface finishing parameters, such as surface roughness, can reflect defects in a manufacturing process, non-optimal product operational efficiency, and reduced life expectancy of the product. This thesis considers reconstruction and analysis of high-frequency variation, that is roughness, on planar surfaces. Standard roughness measures in industry are calculated from surface topography. A fast and non-contact method to obtain surface topography is to apply photometric stereo in the estimation of surface gradients and to reconstruct the surface by integrating the gradient fields. Alternatively, visual methods, such as statistical measures, fractal dimension and distance transforms, can be used to characterize surface roughness directly from gray-scale images. In this thesis, the accuracy of distance transforms, statistical measures, and fractal dimension are evaluated in the estimation of surface roughness from gray-scale images and topographies. The results are contrasted to standard industry roughness measures. In distance transforms, the key idea is that distance values calculated along a highly varying surface are greater than distances calculated along a smoother surface. Statistical measures and fractal dimension are common surface roughness measures. In the experiments, skewness and variance of brightness distribution, fractal dimension, and distance transforms exhibited strong linear correlations to standard industry roughness measures. One of the key strengths of photometric stereo method is the acquisition of higher frequency variation of surfaces. In this thesis, the reconstruction of planar high-frequency varying surfaces is studied in the presence of imaging noise and blur. Two Wiener filterbased methods are proposed of which one is optimal in the sense of surface power spectral density given the spectral properties of the imaging noise and blur. Experiments show that the proposed methods preserve the inherent high-frequency variation in the reconstructed surfaces, whereas traditional reconstruction methods typically handle incorrect measurements by smoothing, which dampens the high-frequency variation.

Metodi numerici per la ricostruzione di immagini di tomosintesi

La tesi affronta il problema della ricostruzione di immagini di tomosintesi, problema che appartiene alla classe dei problemi inversi mal posti e che necessita di tecniche di regolarizzazione per essere risolto. Nel lavoro svolto sono presenti principalmente due contributi: un'analisi del modello di ricostruzione mediante la regolarizzazione con la norma l1; una valutazione dell'efficienza di alcuni metodi tra quelli che in letteratura costituiscono lo stato dell'arte per quanto riguarda i metodi basati sulla norma l1, ma che sono in genere applicati a problemi di deblurring, dunque non usati per problemi di tomosintesi.

Ricostruzione di immagini in norma L1

In questa tesi è stato trattato il problema della ricostruzione di immagini di tomografia computerizzata considerando un modello che utilizza la variazione totale come termine di regolarizzazione e la norma 1 come fidelity term (modello TV/L1). Il problema è stato risolto modificando un metodo di minimo alternato utilizzato per il deblurring e denoising di immagini affette da rumore puntuale. Il metodo è stato testato nel caso di rumore gaussiano e geometria fan beam e parallel beam. Infine vengono riportati i risultati ottenuti dalle sperimentazioni.

Algoritmi di regolarizzazione con variazione totale nella ricostruzione di immagini di tomosintesi

La tomografia computerizzata (CT) è una metodica di diagnostica per immagini che consiste in una particolare applicazione dei raggi X. Essa, grazie ad una valutazione statistico-matematica (computerizzata) dell'assorbimento di tali raggi da parte delle strutture corporee esaminate, consente di ottenere immagini di sezioni assiali del corpo umano. Nonostante le dosi di radiazioni somministrate durante un esame siano contenute, questa tecnica rimane sconsigliata per pazienti sensibili, perciò nasce il tentativo della tomosintesi: ottenere lo stesso risultato della CT diminuendo le dosi somministrate. Infatti un esame di tomosintesi richiede poche proiezioni distribuite su un range angolare di appena 40°. Se da una parte la possibilità di una ingente diminuzione di dosi e tempi di somministrazione costituisce un grosso vantaggio dal punto di vista medico-diagnostico, dal punto di vista matematico esso comporta un nuovo problema di ricostruzione di immagini: infatti non è banale ottenere risultati validi come per la CT con un numero basso di proiezioni,cosa che va a infierire sulla mal posizione del problema di ricostruzione. Un possibile approccio al problema della ricostruzione di immagini è considerarlo un problema inverso mal posto e studiare tecniche di regolarizzazione opportune. In questa tesi viene discussa la regolarizzazione tramite variazione totale: verranno presentati tre algoritmi che implementano questa tecnica in modi differenti. Tali algoritmi verranno mostrati dal punto di vista matematico, dimostrandone ben posizione e convergenza, e valutati dal punto di vista qualitativo, attraverso alcune immagini ricostruite. Lo scopo è quindi stabilire se ci sia un metodo più vantaggioso e se si possano ottenere buoni risultati in tempi brevi, condizione necessaria per una applicazione diffusa della tomosintesi a livello diagnostico. Per la ricostruzione si è fatto riferimento a problemi-test cui è stato aggiunto del rumore, così da conoscere l'immagine originale e poter vedere quanto la ricostruzione sia ad essa fedele. Il lavoro principale dunque è stata la sperimentazione degli algoritmi su problemi test e la valutazione dei risultati, in particolare per gli algoritmi SGP e di Vogel, che in letteratura sono proposti per problemi di image deblurring.

Algoritmi per la stima del rumore nella ricostruzione di immagini

In questa tesi viene analizzato un metodo di regolarizzazione nel quale il problema di regolarizzazione è formulato come un problema di ottimizzazione vincolata. In questa formulazione è fondamentale il termine noto del vincolo, parametro per il quale dipende la bontà della ricostruzione, che corrisponde ad una stima della norma del rumore sul dato. Il contributo della tesi è l'analisi di un algoritmo proposto per stimare il rumore in applicazioni di image deblurring utilizzando la decomposizione in valori singolari dell'operatore che descrive il blur. Sono stati fatti numerosi test per valutare sia i parametri dell'algoritmo di stima che l'efficacia della stima ottenuta quando è inserita nel termine noto del vincolo del problema di ottimizzazione per la ricostruzione dell'immagine.

Regolarizzazione di Tikhonov multiparametro

Il vantaggio di una regolarizzazione multiparametro sta nel fatto che scegliendo un parametro diverso per ogni punto della soluzione si ricostruiscono con più accuratezza i picchi e le regioni piatte. In una prima fase di sperimentazione si è applicato l'algoritmo UPEN ad alcuni problemi test del Regularization Tools e si è osservato che l'algoritmo produce ottimi risultati inquesto ambito. In una seconda fase di sperimentazione si sono confrontati i dati ottenuti da UPEN con quelli derivanti da altri criteri di scelta noti in letteratura. Si è anche condotta un'analisi su dati simulati di risonanza magnetica nucleare e su problemi di deblurring di un'immagine.

Variational and learning models for image and time series inverse problems

Inverse problems are at the core of many challenging applications. Variational and learning models provide estimated solutions of inverse problems as the outcome of specific reconstruction maps. In the variational approach, the result of the reconstruction map is the solution of a regularized minimization problem encoding information on the acquisition process and prior knowledge on the solution. In the learning approach, the reconstruction map is a parametric function whose parameters are identified by solving a minimization problem depending on a large set of data. In this thesis, we go beyond this apparent dichotomy between variational and learning models and we show they can be harmoniously merged in unified hybrid frameworks preserving their main advantages. We develop several highly efficient methods based on both these model-driven and data-driven strategies, for which we provide a detailed convergence analysis. The arising algorithms are applied to solve inverse problems involving images and time series. For each task, we show the proposed schemes improve the performances of many other existing methods in terms of both computational burden and quality of the solution. In the first part, we focus on gradient-based regularized variational models which are shown to be effective for segmentation purposes and thermal and medical image enhancement. We consider gradient sparsity-promoting regularized models for which we develop different strategies to estimate the regularization strength. Furthermore, we introduce a novel gradient-based Plug-and-Play convergent scheme considering a deep learning based denoiser trained on the gradient domain. In the second part, we address the tasks of natural image deblurring, image and video super resolution microscopy and positioning time series prediction, through deep learning based methods. We boost the performances of supervised, such as trained convolutional and recurrent networks, and unsupervised deep learning strategies, such as Deep Image Prior, by penalizing the losses with handcrafted regularization terms.

Regularization meets GreenAI: a new framework for image reconstruction in life sciences applications

Ill-conditioned inverse problems frequently arise in life sciences, particularly in the context of image deblurring and medical image reconstruction. These problems have been addressed through iterative variational algorithms, which regularize the reconstruction by adding prior knowledge about the problem's solution. Despite the theoretical reliability of these methods, their practical utility is constrained by the time required to converge. Recently, the advent of neural networks allowed the development of reconstruction algorithms that can compute highly accurate solutions with minimal time demands. Regrettably, it is well-known that neural networks are sensitive to unexpected noise, and the quality of their reconstructions quickly deteriorates when the input is slightly perturbed. Modern efforts to address this challenge have led to the creation of massive neural network architectures, but this approach is unsustainable from both ecological and economic standpoints. The recently introduced GreenAI paradigm argues that developing sustainable neural network models is essential for practical applications. In this thesis, we aim to bridge the gap between theory and practice by introducing a novel framework that combines the reliability of model-based iterative algorithms with the speed and accuracy of end-to-end neural networks. Additionally, we demonstrate that our framework yields results comparable to state-of-the-art methods while using relatively small, sustainable models. In the first part of this thesis, we discuss the proposed framework from a theoretical perspective. We provide an extension of classical regularization theory, applicable in scenarios where neural networks are employed to solve inverse problems, and we show there exists a trade-off between accuracy and stability. Furthermore, we demonstrate the effectiveness of our methods in common life science-related scenarios. In the second part of the thesis, we initiate an exploration extending the proposed method into the probabilistic domain. We analyze some properties of deep generative models, revealing their potential applicability in addressing ill-posed inverse problems.