A variational approach to 3D geometry reconstruction from two or multiple views

[EN] In the last years we have developed some methods for 3D reconstruction. First we began with the problem of reconstructing a 3D scene from a stereoscopic pair of images. We developed some methods based on energy functionals which produce dense disparity maps by preserving discontinuities from image boundaries. Then we passed to the problem of reconstructing a 3D scene from multiple views (more than 2). The method for multiple view reconstruction relies on the method for stereoscopic reconstruction. For every pair of consecutive images we estimate a disparity map and then we apply a robust method that searches for good correspondences through the sequence of images. Recently we have proposed several methods for 3D surface regularization. This is a postprocessing step necessary for smoothing the final surface, which could be afected by noise or mismatch correspondences. These regularization methods are interesting because they use the information from the reconstructing process and not only from the 3D surface. We have tackled all these problems from an energy minimization approach. We investigate the associated Euler-Lagrange equation of the energy functional, and we approach the solution of the underlying partial differential equation (PDE) using a gradient descent method.

Prototipo de herramienta para el inventariado automático de piezas de Lego basado en visión artificial

Permitida la difusión del código bajo los términos de la licencia BSD de tres cláusulas.

A multimedia system to produce and deliver video fragments on demand on parliamentary websites

[EN]Parliamentary websites have become one of the most important windows for citizens and media to follow the activities of their legislatures and to hold parliaments to account. Therefore, most parliamentary institutions aim to provide new multimedia solutions capable of displaying video fragments on demand on plenary activities. This paper presents a multimedia system for parliamentary institutions to produce video fragments on demand through a website with linked information and public feedback that helps to explain the content shown in these fragments. A prototype implementation has been developed for the Canary Islands Parliament (Spain) and shows how traditional parliamentary streaming systems can be enhanced by the use of semantics and computer vision for video analytics...

Eyewear selector

[EN]The widespread availability of portable computing power and inexpensive digital cameras is opening up new possibilities for retailers. One example is in optical shops, where a number of systems exist that facilitate eyeglasses selection. These systems are now more necessary as the market is saturated with an increasingly complex array of lenses, frames, coatings, tints, photochromic and polarizing treatments, etc. Research challenges encompass Computer Vision, Multimedia and Human-Computer Interaction. Cost factors are also of importance for widespread product acceptance. This paper describes a low-cost system that allows the user to visualize di erent spectacle models in live video. The user can also move the spectacles to adjust its position on the face. Experiments show the potential of the system.

Caratterizzazione quantitativa delle Curve Tempo-Concentrazione nella TC perfusionale polmonare

Negli ultimi anni la ricerca nella cura dei tumori si è interessata allo sviluppo di farmaci che contrastano la formazione di nuovi vasi sanguigni (angiogenesi) per l’apporto di ossigeno e nutrienti ai tessuti tumorali, necessari per l’accrescimento e la sopravvivenza del tumore. Per valutare l’efficacia di questi farmaci antiangiogenesi esistono tecniche invasive: viene prelevato tramite biopsia un campione di tessuto tumorale, e tramite analisi microscopica si quantifica la densità microvascolare (numero di vasi per mm^2) del campione. Stanno però prendendo piede tecniche di imaging in grado di valutare l’effetto di tali terapie in maniera meno invasiva. Grazie allo sviluppo tecnologico raggiunto negli ultimi anni, la tomografia computerizzata è tra le tecniche di imaging più utilizzate per questo scopo, essendo in grado di offrire un’alta risoluzione sia spaziale che temporale. Viene utilizzata la tomografia computerizzata per quantificare la perfusione di un mezzo di contrasto all’interno delle lesioni tumorali, acquisendo scansioni ripetute con breve intervallo di tempo sul volume della lesione, a seguito dell’iniezione del mezzo di contrasto. Dalle immagini ottenute vengono calcolati i parametri perfusionali tramite l’utilizzo di differenti modelli matematici proposti in letteratura, implementati in software commerciali o sviluppati da gruppi di ricerca. Al momento manca un standard per il protocollo di acquisizione e per l’elaborazione delle immagini. Ciò ha portato ad una scarsa riproducibilità dei risultati intra ed interpaziente. Manca inoltre in letteratura uno studio sull’affidabilità dei parametri perfusionali calcolati. Il Computer Vision Group dell’Università di Bologna ha sviluppato un’interfaccia grafica che, oltre al calcolo dei parametri perfusionali, permette anche di ottenere degli indici sulla qualità dei parametri stessi. Questa tesi, tramite l’analisi delle curve tempo concentrazione, si propone di studiare tali indici, di valutare come differenti valori di questi indicatori si riflettano in particolari pattern delle curve tempo concentrazione, in modo da identificare la presenza o meno di artefatti nelle immagini tomografiche che portano ad un’errata stima dei parametri perfusionali. Inoltre, tramite l’analisi delle mappe colorimetriche dei diversi indici di errore si vogliono identificare le regioni delle lesioni dove il calcolo della perfusione risulta più o meno accurato. Successivamente si passa all’analisi delle elaborazioni effettuate con tale interfaccia su diversi studi perfusionali, tra cui uno studio di follow-up, e al confronto con le informazioni che si ottengono dalla PET in modo da mettere in luce l’utilità che ha in ambito clinico l’analisi perfusionale. L’intero lavoro è stato svolto su esami di tomografia computerizzata perfusionale di tumori ai polmoni, eseguiti presso l’Unità Operativa di Diagnostica per Immagini dell’IRST (Istituto Scientifico Romagnolo per lo Studio e la Cura dei Tumori) di Meldola (FC). Grazie alla collaborazione in atto tra il Computer Vision Group e l’IRST, è stato possibile sottoporre i risultati ottenuti al primario dell’U. O. di Diagnostica per Immagini, in modo da poterli confrontare con le considerazioni di natura clinica.

Fingerprint Recognition: Enhancement, Feature Extraction and Automatic Evaluation of Algorithms

The identification of people by measuring some traits of individual anatomy or physiology has led to a specific research area called biometric recognition. This thesis is focused on improving fingerprint recognition systems considering three important problems: fingerprint enhancement, fingerprint orientation extraction and automatic evaluation of fingerprint algorithms. An effective extraction of salient fingerprint features depends on the quality of the input fingerprint. If the fingerprint is very noisy, we are not able to detect a reliable set of features. A new fingerprint enhancement method, which is both iterative and contextual, is proposed. This approach detects high-quality regions in fingerprints, selectively applies contextual filtering and iteratively expands like wildfire toward low-quality ones. A precise estimation of the orientation field would greatly simplify the estimation of other fingerprint features (singular points, minutiae) and improve the performance of a fingerprint recognition system. The fingerprint orientation extraction is improved following two directions. First, after the introduction of a new taxonomy of fingerprint orientation extraction methods, several variants of baseline methods are implemented and, pointing out the role of pre- and post- processing, we show how to improve the extraction. Second, the introduction of a new hybrid orientation extraction method, which follows an adaptive scheme, allows to improve significantly the orientation extraction in noisy fingerprints. Scientific papers typically propose recognition systems that integrate many modules and therefore an automatic evaluation of fingerprint algorithms is needed to isolate the contributions that determine an actual progress in the state-of-the-art. The lack of a publicly available framework to compare fingerprint orientation extraction algorithms, motivates the introduction of a new benchmark area called FOE (including fingerprints and manually-marked orientation ground-truth) along with fingerprint matching benchmarks in the FVC-onGoing framework. The success of such framework is discussed by providing relevant statistics: more than 1450 algorithms submitted and two international competitions.

Fish quality assessment through the application of chemico-physical, sensory and microbiological analyses

The quality of fish products is indispensably linked to the freshness of the raw material modulated by appropriate manipulation and storage conditions, specially the storage temperature after catch. The purpose of the research presented in this thesis, which was largely conducted in the context of a research project funded by Italian Ministry of Agricultural, Food and Forestry Policies (MIPAAF), concerned the evaluation of the freshness of farmed and wild fish species, in relation to different storage conditions, under ice (0°C) or at refrigeration temperature (4°C). Several specimens of different species, bogue (Boops boops), red mullet (Mullus barbatus), sea bream (Sparus aurata) and sea bass (Dicentrarchus labrax), during storage, under the different temperature conditions adopted, have been examined. The assessed control parameters were physical (texture, through the use of a dynamometer; visual quality using a computer vision system (CVS)), chemical (through footprint metabolomics 1H-NMR) and sensory (Quality Index Method (QIM). Microbiological determinations were also carried out on the species of hake (Merluccius merluccius). In general obtained results confirmed that the temperature of manipulation/conservation is a key factor in maintaining fish freshness. NMR spectroscopy showed to be able to quantify and evaluate the kinetics for unselected compounds during fish degradation, even a posteriori. This can be suitable for the development of new parameters related to quality and freshness. The development of physical methods, particularly the image analysis performed by computer vision system (CVS), for the evaluation of fish degradation, is very promising. Among CVS parameters, skin colour, presence and distribution of gill mucus, and eye shape modification evidenced a high sensibility for the estimation of fish quality loss, as a function of the adopted storage conditions. Particularly the eye concavity index detected on fish eye showed a high positive correlation with total QIM score.

Leopoli-Cencelle beyond virtual reality Documentazione, interpretazione e comprensione di una città medievale

La città medievale di Leopoli-Cencelle (fondata da Papa Leone IV nell‘854 d.C. non lontano da Civitavecchia) è stata oggetto di studio e di periodiche campagne di scavo a partire dal 1994. Le stratigrafie investigate con metodi tradizionali, hanno portato alla luce le numerose trasformazioni che la città ha subìto nel corso della sua esistenza in vita. Case, torri, botteghe e strati di vissuto, sono stati interpretati sin dall’inizio dello scavo basandosi sulla documentazione tradizionale e bi-dimensionale, legata al dato cartaceo e al disegno. Il presente lavoro intende re-interpretare i dati di scavo con l’ausilio delle tecnologie digitali. Per il progetto sono stati utilizzati un laser scanner, tecniche di Computer Vision e modellazione 3D. I tre metodi sono stati combinati in modo da poter visualizzare tridimensionalmente gli edifici abitativi scavati, con la possibilità di sovrapporre semplici modelli 3D che permettano di formulare ipotesi differenti sulla forma e sull’uso degli spazi. Modellare spazio e tempo offrendo varie possibilità di scelta, permette di combinare i dati reali tridimensionali, acquisiti con un laser scanner, con semplici modelli filologici in 3D e offre l’opportunità di valutare diverse possibili interpretazioni delle caratteristiche dell’edificio in base agli spazi, ai materiali, alle tecniche costruttive. Lo scopo del progetto è andare oltre la Realtà Virtuale, con la possibilità di analizzare i resti e di re-interpretare la funzione di un edificio, sia in fase di scavo che a scavo concluso. Dal punto di vista della ricerca, la possibilità di visualizzare le ipotesi sul campo favorisce una comprensione più profonda del contesto archeologico. Un secondo obiettivo è la comunicazione a un pubblico di “non-archeologi”. Si vuole offrire a normali visitatori la possibilità di comprendere e sperimentare il processo interpretativo, fornendo loro qualcosa in più rispetto a una sola ipotesi definitiva.

Sperimentazione con una libreria per la decodifica di bar code in immagini

In questa tesi viene studiata la libreria zbar.h il cui compito è decodificare i barcode presenti in immagini. Per acquisire le immagini si utilizzano funzioni contenute nella libreria OpenCV. Successivamente viene creata un'interfaccia tra OpenCV e ZBar. Vengono effettuati alcuni test per verificare l'efficienza sia di ZBar e sia dell'interfaccia. Concludendo, si crea una nuova libreria in cui sono inglobate le funzioni di ZBar e l'interfaccia OpenCV-ZBar

Segmentazione del pavimento di una scena basata sul riconoscimento del pattern

Nel contesto della tesi è stata sviluppata un'applicazione di Realtà Aumentata per tablet Android nell'ambito dell'interior design. Dopo aver acquisito un'istantanea con la fotocamera del dispositivo di un ambiente interno, è possibile selezionare attraverso un "tocco" sul display il rivestimento (pavimento o parete) di cui si vuole simulare il cambiamento di colore o texture. Una volta individuata ed evidenziata l'area di interesse, in tempo reale è possibile cambiare interattivamente l'aspetto del rivestimento precedentemente selezionato. La tesi si focalizza sulla ricerca di un metodo che consenta di avere una segmentazione accurata della superficie di interesse. L'algoritmo di segmentazione studiato, utilizzato nell'applicazione di Realtà Aumentata, è sviluppato nel contesto della collaborazione tra il Computer Vision Group (CVG), coordinato dal Prof. Alessandro Bevilacqua e Maticad S.r.l., un'azienda che opera nel settore dell'Information Technology, Distributed Applications, Internet e Computer Grafica, presso la quale ho effettuato un periodo di tirocinio. Maticad, oltre a software per pc desktop, sviluppa applicazioni per iOS e in questo contesto, durante il tirocinio, ho sviluppata un'applicazione demo per iOS 7 volta a studiare le prestazioni dei sensori (ottico, inerziali, magnetici), in vista di un futuro porting dell'applicazione su quel sistema operativo.

Analysis of morphological and functional heterogeneity in ct perfusion images of lung tumours

Questa tesi si propone di innovare lo stato dell’arte dei metodi di analisi dell’eterogeneità in lesioni polmonari attualmente utilizzati, affiancando l’analisi funzionale (emodinamica) a quella morfologica, grazie allo sviluppo di nuove feature specifiche. Grazie alla collaborazione tra il Computer Vision Group (CVG) dell’Università di Bologna e l’Unità Operativa di Radiologia dell’IRCCS-IRST di Meldola (Istituto di Ricovero e Cura a Carattere Scientifico – Istituto Scientifico Romagnolo per lo Studio e la Cura dei Tumori), è stato possibile analizzare un adeguato numero di casi reali di pazienti affetti da lesioni polmonari primitive, effettuando un’analisi dell’eterogeneità sia su sequenze di immagini TC baseline sia contrast-enhanced, consentendo quindi un confronto tra eterogeneità morfologica e funzionale. I risultati ottenuti sono infine discussi sulla base del confronto con le considerazioni di natura clinica effettuate in cieco da due esperti radiologi dell’IRCCS-IRST.

Architetture, tecnologie ed applicazioni dei droni

Le tematiche presentate in questa tesi fanno parte di una disciplina in ampio sviluppo nella ricerca scientifica moderna denominata “Dronistica”. I droni possiedono caratteristiche fisiche differenti in base alle esigenze dettate dall'ambito di utilizzo. La dronistica è infatti una disciplina molto varia e completa grazie alla versatilità dei dispositivi utilizzati, principalmente però tratta aeromobili a pilotaggio remoto e la loro applicazione nella computer vision. Nonostante il ricco hardware ed i molteplici software attualmente a disposizione dei ricercatori, questo settore è attualmente nelle prime fasi di vita; le prospettive di miglioramento e di sviluppo infatti sono ampie ed in mano a chi si occuperà di effettuare operazioni di ricerca e sperimentazione in tale campo. Nel seguente lavoro viene presentata la dronistica sotto ogni suo aspetto fondamentale, ponendo particolare attenzione ai dettagli tecnici ed alle applicazioni presenti e future. Il lavoro svolto inizia descrivendo la storia dei droni, presentando una panoramica sui modelli, le normative attualmente in vigore ed una classificazione delle applicazioni. La parte centrale della tesi tratta invece gli aspetti tecnici della dronistica, descrivendo le tecnologie hardware e le tecnologie software attualmente disponibili sul mercato. L'ultima parte descrive invece il legame tra i droni e la computer vision, il loro interfacciamento, le applicazioni ed i vantaggi di tale combinazione, mostrando inoltre casi di studio di diverse facoltà tra cui quella di Ingegneria e Scienze Informatiche di Cesena. Infine termina con una conclusione riguardante il lavoro svolto ed una prospettiva sugli sviluppi futuri.

Detrimental effects of exuberant and restrained immune responses against the central nervous system in the context of multiple sclerosis and glioblastoma multiforme

Glioblastoma multiforme (GBM) is the most common and most aggressive astrocytic tumor of the central nervous system (CNS) in adults. The standard treatment consisting of surgery, followed by a combinatorial radio- and chemotherapy, is only palliative and prolongs patient median survival to 12 to 15 months. The tumor subpopulation of stem cell-like glioma-initiating cells (GICs) shows resistance against radiation as well as chemotherapy, and has been suggested to be responsible for relapses of more aggressive tumors after therapy. The efficacy of immunotherapies, which exploit the immune system to specifically recognize and eliminate malignant cells, is limited due to strong immunosuppressive activities of the GICs and the generation of a specialized protective microenvironment. The molecular mechanisms underlying the therapy resistance of GICs are largely unknown. rnThe first aim of this study was to identify immune evasion mechanisms in GICs triggered by radiation. A model was used in which patient-derived GICs were treated in vitro with fractionated ionizing radiation (2.5 Gy in 7 consecutive passages) to select for a more radio-resistant phenotype. In the model cell line 1080, this selection process resulted in increased proliferative but diminished migratory capacities in comparison to untreated control GICs. Furthermore, radio-selected GICs downregulated various proteins involved in antigen processing and presentation, resulting in decreased expression of MHC class I molecules on the cellular surface and diminished recognition potential by cytotoxic CD8+ T cells. Thus, sub-lethal fractionated radiation can promote immune evasion and hamper the success of adjuvant immunotherapy. Among several immune-associated proteins, interferon-induced transmembrane protein 3 (IFITM3) was found to be upregulated in radio-selected GICs. While high expression of IFITM3 was associated with a worse overall survival of GBM patients (TCGA database) and increased proliferation and migration of differentiated glioma cell lines, a strong contribution of IFITM3 to proliferation in vitro as well as tumor growth and invasiveness in a xenograft model could not be observed. rnMultiple sclerosis (MS) is the most common autoimmune disease of the CNS in young adults of the Western World, which leads to progressive disability in genetically susceptible individuals, possibly triggered by environmental factors. It is assumed that self-reactive, myelin-specific T helper cell 1 (Th1) and Th17 cells, which have escaped the control mechanisms of the immune system, are critical in the pathogenesis of the human disease and its animal model experimental autoimmune encephalomyelitis (EAE). It was observed that in vitro differentiated interleukin 17 (IL-17) producing Th17 cells co-expressed the Th1-phenotypic cytokine Interferon-gamma (IFN-γ) in combination with the two respective lineage-associated transcription factors RORγt and T-bet after re-isolation from the CNS of diseased mice. Pathogenic molecular mechanisms that render a CD4+ T cell encephalitogenic have scarcely been investigated up to date. rnIn the second part of the thesis, whole transcriptional changes occurring in in vitro differentiated Th17 cells in the course of EAE were analyzed. Evaluation of signaling networks revealed an overrepresentation of genes involved in communication between the innate and adaptive immune system and metabolic alterations including cholesterol biosynthesis. The transcription factors Cebpa, Fos, Klf4, Nfatc1 and Spi1, associated with thymocyte development and naïve T cells were upregulated in encephalitogenic CNS-isolated CD4+ T cells, proposing a contribution to T cell plasticity. Correlation of the murine T-cell gene expression dataset to putative MS risk genes, which were selected based on their proximity (± 500 kb; ensembl database, release 75) to the MS risk single nucleotide polymorphisms (SNPs) proposed by the most recent multiple sclerosis GWAS in 2011, revealed that 67.3% of the MS risk genes were differentially expressed in EAE. Expression patterns of Bach2, Il2ra, Irf8, Mertk, Odf3b, Plek, Rgs1, Slc30a7, and Thada were confirmed in independent experiments, suggesting a contribution to T cell pathogenicity. Functional analysis of Nfatc1 revealed that Nfatc1-deficient CD4+ T cells were restrained in their ability to induce clinical signs of EAE. Nfatc1-deficiency allowed proper T cell activation, but diminished their potential to fully differentiate into Th17 cells and to express high amounts of lineage cytokines. As the inducible Nfatc1/αA transcript is distinct from the other family members, it could represent an interesting target for therapeutic intervention in MS.rn

Autocalibrazione di una telecamera utilizzando una singola vista

Viene proposto un metodo completo di autocalibrazione degli intrinseci della telecamera utilizzando una singola vista, sfruttando i punti di fuga riconosciuti nell'immagine. La metodologia è suddivisa in quattro fasi fondamentali: estrazione dei segmenti dall’immagine, clusterizzazione dei segmenti, stima di un punto di fuga da ogni cluster e determinazione dei punti di fuga ortogonali. Viene fornita un nuova metodologia per la determinazione dei punti di fuga, dai cluster di segmenti identificati. Inoltre vengono proposti degli approcci euristici che favoriscono la selezione della terna corretta di punti di fuga ortogonali. L’approccio proposto è completamente modulare e sufficientemente flessibile per poter essere adattato a esigenze diverse. Le prestazioni dell’approccio vengono valutate confrontando altre due proposte alternative, a cui viene sottoposto il medesimo set di immagini, ognuna dotata di diverse caratteristiche. I risultati di questi esperimenti evidenziano la bontà dell’approccio proposto.

Messa a punto di un sistema di microscopia per l'analisi quantitativa di segnali fluorescenti

L’elaborato di tesi, che rientra nell’ambito di un progetto di collaborazione tra l’equipe del laboratorio ICM “Silvio Cavalcanti”, coordinato dal professor Giordano, e il CVG (Computer Vision Group) coordinato dal professor Bevilacqua, mira alla messa a punto di un sistema di misura quantitativa di segnali fluorescenti, tramite l’elaborazione di immagini acquisite in microscopia ottica.