Sperimentazione di Deep Metric Loss per Self-Supervised Information Retrieval Systems su CORD19.

Dopo lo sviluppo dei primi casi di Covid-19 in Cina nell’autunno del 2019, ad inizio 2020 l’intero pianeta è precipitato in una pandemia globale che ha stravolto le nostre vite con conseguenze che non si vivevano dall’influenza spagnola. La grandissima quantità di paper scientifici in continua pubblicazione sul coronavirus e virus ad esso affini ha portato alla creazione di un unico dataset dinamico chiamato CORD19 e distribuito gratuitamente. Poter reperire informazioni utili in questa mole di dati ha ulteriormente acceso i riflettori sugli information retrieval systems, capaci di recuperare in maniera rapida ed efficace informazioni preziose rispetto a una domanda dell'utente detta query. Di particolare rilievo è stata la TREC-COVID Challenge, competizione per lo sviluppo di un sistema di IR addestrato e testato sul dataset CORD19. Il problema principale è dato dal fatto che la grande mole di documenti è totalmente non etichettata e risulta dunque impossibile addestrare modelli di reti neurali direttamente su di essi. Per aggirare il problema abbiamo messo a punto nuove soluzioni self-supervised, a cui abbiamo applicato lo stato dell'arte del deep metric learning e dell'NLP. Il deep metric learning, che sta avendo un enorme successo soprattuto nella computer vision, addestra il modello ad "avvicinare" tra loro immagini simili e "allontanare" immagini differenti. Dato che sia le immagini che il testo vengono rappresentati attraverso vettori di numeri reali (embeddings) si possano utilizzare le stesse tecniche per "avvicinare" tra loro elementi testuali pertinenti (e.g. una query e un paragrafo) e "allontanare" elementi non pertinenti. Abbiamo dunque addestrato un modello SciBERT con varie loss, che ad oggi rappresentano lo stato dell'arte del deep metric learning, in maniera completamente self-supervised direttamente e unicamente sul dataset CORD19, valutandolo poi sul set formale TREC-COVID attraverso un sistema di IR e ottenendo risultati interessanti.

Studio e Realizzazione del Modello RVE (Representative Volume Element) per componenti polimerici realizzati in stampa 3D FDM

A fianco ai metodi più tradizionali, fin ora utilizzati, le tecnologie additive hanno subito negli ultimi anni una notevole evoluzione nella produzione di componenti. Esse permettono un ampio di range di applicazioni utilizzando materiali differenti in base al settore di applicazione. In particolare, la stampa 3D FDM (Fused Deposition Modeling) rappresenta uno dei processi tecnologici additivi più diffusi ed economicamente più competitivi. Gli attuali metodi di analisi agli elementi finiti (FEM) e le tecnologie CAE (Computer-Aided Engineering) non sono in grado di studiare modelli 3D di componenti stampati, dal momento che il risultato finale dipende dai parametri di processo e ambientali. Per questo motivo, è necessario uno studio approfondito della meso struttura del componente stampato per estendere l’analisi FEM anche a questa tipologia di componenti. Lo scopo del lavoro proposto è di creare un elemento omogeneo che rappresenti accuratamente il comportamento di un componente realizzato in stampa 3D FDM, questo avviene attraverso la definizione e l’analisi di un volume rappresentativo (RVE). Attraverso la tecnica dell’omogeneizzazione, il volume definito riassume le principali caratteristiche meccaniche della struttura stampata, permettendo nuove analisi e ottimizzazioni. Questo approccio permette di realizzare delle analisi FEM sui componenti da stampare e di predire le proprietà meccaniche dei componenti a partire da determinati parametri di stampa, permettendo così alla tecnologia FDM di diventare sempre di più uno dei principali processi industriali a basso costo.

Apprendimento non supervisionato di rappresentazioni e legami di similarità tra eventi menzionati nella letteratura biomedica

L'estrazione automatica degli eventi biomedici dalla letteratura scientifica ha catturato un forte interesse nel corso degli ultimi anni, dimostrandosi in grado di riconoscere interazioni complesse e semanticamente ricche espresse all'interno del testo. Purtroppo però, esistono davvero pochi lavori focalizzati sull'apprendimento di embedding o di metriche di similarità per i grafi evento. Questa lacuna lascia le relazioni biologiche scollegate, impedendo l'applicazione di tecniche di machine learning che potrebbero dare un importante contributo al progresso scientifico. Approfittando dei vantaggi delle recenti soluzioni di deep graph kernel e dei language model preaddestrati, proponiamo Deep Divergence Event Graph Kernels (DDEGK), un metodo non supervisionato e induttivo in grado di mappare gli eventi all'interno di uno spazio vettoriale, preservando le loro similarità semantiche e strutturali. Diversamente da molti altri sistemi, DDEGK lavora a livello di grafo e non richiede nè etichette e feature specifiche per un determinato task, nè corrispondenze note tra i nodi. A questo scopo, la nostra soluzione mette a confronto gli eventi con un piccolo gruppo di eventi prototipo, addestra delle reti di cross-graph attention per andare a individuare i legami di similarità tra le coppie di nodi (rafforzando l'interpretabilità), e impiega dei modelli basati su transformer per la codifica degli attributi continui. Sono stati fatti ampi esperimenti su dieci dataset biomedici. Mostriamo che le nostre rappresentazioni possono essere utilizzate in modo efficace in task quali la classificazione di grafi, clustering e visualizzazione e che, allo stesso tempo, sono in grado di semplificare il task di semantic textual similarity. Risultati empirici dimostrano che DDEGK supera significativamente gli altri modelli che attualmente detengono lo stato dell'arte.

Descriptive Text Mining in ambito medico: applicazione della metodologia POIROT

Poiché la nostra conoscenza collettiva continua ad essere digitalizzata e memorizzata, diventa più difficile trovare e scoprire ciò che stiamo cercando. Abbiamo bisogno di nuovi strumenti computazionali per aiutare a organizzare, rintracciare e comprendere queste vaste quantità di informazioni. I modelli di linguaggio sono potenti strumenti che possono essere impiegati per estrarre conoscenza statisticamente significativa ed interpretabile tramite apprendimento non supervisionato, testuali o nel codice sorgente. L’obiettivo di questa tesi è impiegare una metodologia di descriptive text mining, denominata POIROT, per analizzare i rapporti medici del dataset Adverse Drug Reaction (ADE). Si vogliono stabilire delle correlazioni significative che permettano di comprendere le ragioni per cui un determinato rapporto medico fornisca o meno informazioni relative a effetti collaterali dovuti all’assunzione di determinati farmaci.

Previsione del Successo di Prodotti di Moda Prima della Commercializzazione: un Nuovo Dataset e Modello di Vision-Language Transformer

A differenza di quanto avviene nel commercio tradizionale, in quello online il cliente non ha la possibilità di toccare con mano o provare il prodotto. La decisione di acquisto viene maturata in base ai dati messi a disposizione dal venditore attraverso titolo, descrizioni, immagini e alle recensioni di clienti precedenti. É quindi possibile prevedere quanto un prodotto venderà sulla base di queste informazioni. La maggior parte delle soluzioni attualmente presenti in letteratura effettua previsioni basandosi sulle recensioni, oppure analizzando il linguaggio usato nelle descrizioni per capire come questo influenzi le vendite. Le recensioni, tuttavia, non sono informazioni note ai venditori prima della commercializzazione del prodotto; usando solo dati testuali, inoltre, si tralascia l’influenza delle immagini. L'obiettivo di questa tesi è usare modelli di machine learning per prevedere il successo di vendita di un prodotto a partire dalle informazioni disponibili al venditore prima della commercializzazione. Si fa questo introducendo un modello cross-modale basato su Vision-Language Transformer in grado di effettuare classificazione. Un modello di questo tipo può aiutare i venditori a massimizzare il successo di vendita dei prodotti. A causa della mancanza, in letteratura, di dataset contenenti informazioni relative a prodotti venduti online che includono l’indicazione del successo di vendita, il lavoro svolto comprende la realizzazione di un dataset adatto a testare la soluzione sviluppata. Il dataset contiene un elenco di 78300 prodotti di Moda venduti su Amazon, per ognuno dei quali vengono riportate le principali informazioni messe a disposizione dal venditore e una misura di successo sul mercato. Questa viene ricavata a partire dal gradimento espresso dagli acquirenti e dal posizionamento del prodotto in una graduatoria basata sul numero di esemplari venduti.

Indagine sull'effetto flangia in strutture esistenti in muratura tramite modellazione al continuo

Nell’ambito dello studio della vulnerabilità delle strutture in muratura la modellazione dei maschi murari e la conseguente verifica avviene convenzionalmente considerando tali partizioni come indipendenti, ovvero suddividendo, dapprima,i maschi murari a seconda della loro disposizione spaziale nei confronti della direzione della azione sismica e, successivamente, considerando il contributo dei maschi murari come agenti “in parallelo”.In tale scenario, la modellazione al continuo rende la definizione del singolo maschio murario non banale, in quanto tale tipologia di modellazione vede la geometria dell’edificio come un “unicum” strutturale.Questa dissertazione si prefigge di qualificare e quantificare le differenze scaturite dalla diversa suddivisione dei maschi e delle zone di interfaccia tra diverse pareti murarie, valutando il comportamento del maschio stesso in termini di taglio e sforzo normale ottenuti mediante un’analisi statica non lineare (Pushover). Due modelli ispirati a strutture reali sono analizzati a tal proposito: - Il prototipo testato nel 1994 nel Laboratorio dell’Università di Pavia (modello benchmark n°4). - La scuola “P.Capuzi” di Visso (MC), edificio monitorato permanentemente dall’Osservatorio Sismico delle Strutture del Dipartimento di Protezione Civile [3] e ad oggi demolito (modello benchmark n°5). Il lavoro qui presentato si inserisce in un più ampio programma di ricerca svolto in sinergia da varie unità coinvolte nel progetto ReLUIS 2017/2108 – Linea Strutture in Muratura [1][2] e avente come oggetto l’analisi di strutture benchmark per la valutazione dell’affidabilità di codici di calcolo. I modelli sono stati studiati eseguendo analisi di tipo statico non lineare (Pushover) con distribuzione di forze proporzionale alle masse.

Modellazione dell'effetto flangia nelle strutture in muratura: uno studio parametrico mediante un modello al continuo

La risposta sismica del patrimonio edilizio in muratura è molto articolata e richiede una completa comprensione del comportamento delle strutture stesse nel caso in cui siano soggette ad azione sismica, unitamente a corrette ed esaustive valutazioni numeriche. Questo elaborato è volto alla comprensione del fenomeno chiamato effetto flangia, ovvero l’interazione reciproca di pareti in muratura incidenti, mediante uno studio parametrico. Infatti, tale aspetto dipende da diversi parametri, tra i quali l’ammorsamento, lo spessore e le proporzioni tra i muri incidenti giocano un ruolo principale. Mediante un software ad elementi finiti (ABAQUS) è stato possibile implementare uno script di generazione dei modelli basato sui diversi parametri geometrici (lunghezza della parete incidente e della parete trasversale, e la loro posizione relativa) e su due diverse condizioni di vincolamento dei modelli. Inoltre, si è presa in considerazione la variabilità del carico verticale, stimandola in relazione al valore di resistenza a compressione della muratura: da un valore molto ridotto (5%), fino ad arrivare ad un valore elevato di compressione verticale (30%). L’analisi dei risultati utilizza le convenzionali curve di pushover per strutture in muratura costruite secondo i dettami della normativa tecnica italiana. Tali curve sono analizzate in funzione della percentuale di pressione che viene applicata catturando per ogni caso notevole l’effetto degli altri parametri variabili cercando quindi di descrivere la presenza dell’effetto flangia, ovvero evidenziando le variazioni della risposta strutturale (massimo taglio, duttilità, tipo di crisi etc.) quando è presente una interazione tra due pareti incidenti.

Numerical modelling of axially loaded piled foundations with physical tests validation

L'oggetto della tesi è la modellazione numerica di pali di fondazione per turbine eoliche in ambiente offshore. Il metodo di modellazione comprende l'interpretazione di prove CPT per l'estrapolazione dei parametri geotecnici del terreno, la creazione di un modello dell'interazione tra struttura e terreno tramite il software agli elementi finiti Abaqus, la sua verifica, l'ottimizzazione dell'estensione del modello del terreno e della mesh e la simulazione numerica del comportamento di pali caricati assialmente in compressione. Grazie al confronto con i risultati di test su modelli fisici, eseguiti nel laboratorio dell'istituto Fraunhofer IWES di Hannover, di tre pali aventi la stessa geometria ma installati in punti con diverse condizioni di compattazione della sabbia, è stata possibile la messa a punto di una strategia di simulazione più accurata possibile e la sua validazione. A conclusione del lavoro è stato eseguito un esempio di design di una fondazione jacket per una turbina eolica offshore.

Sviluppo di un modello stocastico per la simulazione di sperimentazioni cliniche di nuovi trattamenti per l’osteoporosi

Le fratture fragili del collo del femore rappresentano un grave problema sociosanitario, in via di aggravamento a causa dell’aumento dell’età media e dell’aspettativa di vita. Il verificarsi di tale evento dipende da più fattori: la frequenza con la quale si verificano cadute, la gravità delle stesse e lo stato di salute del paziente, in particolare la resistenza meccanica delle sue ossa e il suo grado di controllo neuro-motorio. Negli ultimi anni gli strumenti di analisi e stima della resistenza meccanica del femore basati su modelli agli elementi finiti hanno raggiunto un tale livello di maturità da prospettarne l’utilizzo nel contesto di “in silico trials”, ovvero la simulazione virtuale di sperimentazioni cliniche e precliniche. In questo studio si è sviluppato un modello stocastico in grado di simulare la sperimentazione clinica di nuovi trattamenti per l’osteoporosi. Questo comprende più sotto modelli in grado di simulare il processo di invecchiamento, determinare stocasticamente le cadute che si verificano in una certa popolazione in un determinato orizzonte temporale e l’entità delle forze che agiscono sul grande trocantere. In particolare, le cadute sono state generate a partire da una distribuzione di Poisson e le forze sono state stimate attraverso un modello stocastico multiscala. La tesi si è concentrata su aspetti metodologici e procedurali, nell’ottica di sviluppare un modello che permettesse agevolmente la variazione dei parametri associati alla caduta, dotato di buone robustezza ed applicabilità. È stato verificato come la discretizzazione nel dominio del tempo del rimodellamento osseo non influisca significativamente nella determinazione delle fratture; inoltre, il modello si è dimostrato capace di fornire risultati stabili in modo computazionalmente efficiente. La validazione dei risultati del modello, invece, ha dato risultati non soddisfacenti, per cui sarà necessario procedere in futuro a un’attenta calibrazione dei parametri del modello.

Tensor-Train decomposition for image classification problems

In these last years a great effort has been put in the development of new techniques for automatic object classification, also due to the consequences in many applications such as medical imaging or driverless cars. To this end, several mathematical models have been developed from logistic regression to neural networks. A crucial aspect of these so called classification algorithms is the use of algebraic tools to represent and approximate the input data. In this thesis, we examine two different models for image classification based on a particular tensor decomposition named Tensor-Train (TT) decomposition. The use of tensor approaches preserves the multidimensional structure of the data and the neighboring relations among pixels. Furthermore the Tensor-Train, differently from other tensor decompositions, does not suffer from the curse of dimensionality making it an extremely powerful strategy when dealing with high-dimensional data. It also allows data compression when combined with truncation strategies that reduce memory requirements without spoiling classification performance. The first model we propose is based on a direct decomposition of the database by means of the TT decomposition to find basis vectors used to classify a new object. The second model is a tensor dictionary learning model, based on the TT decomposition where the terms of the decomposition are estimated using a proximal alternating linearized minimization algorithm with a spectral stepsize.

Disturbi dell'informazione, nuovi media e libertà di manifestazione del pensiero

L’elaborato affronta il tema della massiccia diffusione di disinformazione tramite internet sotto il profilo del diritto costituzionale, nell’ottica di indagare se le dimensioni del fenomeno richiedano l’elaborazione di principi e soluzioni nuove ovvero se i paradigmi costituzionali enucleati dalla tradizione costituzionalistica con riferimento alla libertà d’espressione forniscano gli strumenti sufficienti per un intervento efficace. In tale ottica, il lavoro premette una ricostruzione del fenomeno della disinformazione nel tentativo di individuare il perimetro socio-cognitivo e tecnologico entro cui la medesima prolifera, descrivendo gli elementi che distinguono l’informazione diffusa dai nuovi media rispetto a quella veicolata dai media mainstream. Ciò premesso, lo studio passa a delineare lo “statuto costituzionale” del falso, indagando la rilevanza che la menzogna assume sotto il profilo costituzionale nel suo rapporto con la libertà di manifestazione del pensiero negli ordinamenti interno, europeo e statunitense. L’analisi prosegue poi con l’esame delle politiche di contrasto alla disinformazione introdotte da singoli Stati (prevalentemente Germania, Francia e Italia), Unione europea, e piattaforme, con l’obiettivo di mettere in luce vantaggi e limiti dei modelli di eteroregolamentazione, coregolamentazione e autoregolamentazione. Da ultimo, l’elaborato scompone alcune delle azioni e misure passate in rassegna e le analizza con la lente d’ingrandimento della libertà di manifestazione del pensiero, ordinandone i contenuti secondo la specifica propensione a comprimere la libertà d’espressione. L’indagine si conclude con alcuni brevi spunti conclusivi che evidenziano l’esigenza, in base ai principi costituzionali analizzati, che eventuali interventi normativi siano se del caso volti alla regolazione delle piattaforme, ovvero dei “contenitori”, lasciano i contenuti al libero scambio delle idee.

Big data analytics for proactive and predictive maintenance in electric car battery packs

The idea behind the project is to develop a methodology for analyzing and developing techniques for the diagnosis and the prediction of the state of charge and health of lithium-ion batteries for automotive applications. For lithium-ion batteries, residual functionality is measured in terms of state of health; however, this value cannot be directly associated with a measurable value, so it must be estimated. The development of the algorithms is based on the identification of the causes of battery degradation, in order to model and predict the trend. Therefore, models have been developed that are able to predict the electrical, thermal and aging behavior. In addition to the model, it was necessary to develop algorithms capable of monitoring the state of the battery, online and offline. This was possible with the use of algorithms based on Kalman filters, which allow the estimation of the system status in real time. Through machine learning algorithms, which allow offline analysis of battery deterioration using a statistical approach, it is possible to analyze information from the entire fleet of vehicles. Both systems work in synergy in order to achieve the best performance. Validation was performed with laboratory tests on different batteries and under different conditions. The development of the model allowed to reduce the time of the experimental tests. Some specific phenomena were tested in the laboratory, and the other cases were artificially generated.

Tipicita e offensivita nei reati contro la pubblica amministrazione

Il lavoro affronta lo statuto penale della pubblica amministrazione, osservandolo attraverso moduli interpretativi costituzionalmente orientati e, segnatamente, quelli conformi ai principi di tassatività, offensività e proporzione. A questi se ne aggiunge un altro, ritenuto criterio immanente al titolo, dato dalla funzione amministrativa, che gioca un ruolo centrale nell’economia offensiva all’interno di tutte le fattispecie penali. L’indagine si divide in tre parti. Nella prima, si intende analizzare l’evoluzione diacronica dei modelli istituzionali di amministrazione, dovuta al mutamento radicale del rapporto tra autorità e individuo: a seguito dell’avvento dello Stato sociale e costituzionale di diritto, all’affermarsi di una concezione orizzontale del suddetto rapporto corrisponde un paradigma di amministrazione civil servant, finalisticamente orientata al soddisfacimento dei beni della vita, trovando copertura costituzionale negli articoli 97, 2 e 3 Cost. Queste vicende rappresentano il punto di partenza per ogni riflessione di sistema su questa branca di parte speciale, non potendosi pretendere di calibrare in maniera corretta l’offensività di un reato o la ragionevolezza di un’incriminazione prescindendo da un confronto con il ruolo dell’amministrazione e dalla funzione che essa svolge. Successivamente, dopo aver chiarito il significato di buon andamento e imparzialità, strumentali alla ‘buona amministrazione’, si vuole trovare un punto di equilibrio tra l’esercizio della discrezionalità, che funge da mezzo rispetto al fine del risultato amministrativo, che è ciò che qualifica oggi il modello vigente di amministrazione ‘di risultato’, e alcune disposizioni incriminatrici che possono intersecarsi con lo svolgimento fisiologico del potere discrezionale. Infine, prendendo spunto anche dal recente corso della giurisprudenza costituzionale, si vuole applicare un metodo ermeneutico costituzionalmente conforme ad una serie di fattispecie del titolo. In questo modo si eviterà di costruire un corpus di reati esangue, che riporta il diritto penale ad una superata concezione sanzionatoria, provocando un “effetto di congelamento” dell’efficienza amministrativa con pregiudizio dei diritti sottostanti.

The FOOT experiment: Trigger and Data Acquisition (TDAQ) development and data analysis

Hadrontherapy employs high-energy beams of charged particles (protons and heavier ions) to treat deep-seated tumours: these particles have a favourable depth-dose distribution in tissue characterized by a low dose in the entrance channel and a sharp maximum (Bragg peak) near the end of their path. In these treatments nuclear interactions have to be considered: beam particles can fragment in the human body releasing a non-zero dose beyond the Bragg peak while fragments of human body nuclei can modify the dose released in healthy tissues. These effects are still in question given the lack of interesting cross sections data. Also space radioprotection can profit by fragmentation cross section measurements: the interest in long-term manned space missions beyond Low Earth Orbit is growing in these years but it has to cope with major health risks due to space radiation. To this end, risk models are under study: however, huge gaps in fragmentation cross sections data are currently present preventing an accurate benchmark of deterministic and Monte Carlo codes. To fill these gaps in data, the FOOT (FragmentatiOn Of Target) experiment was proposed. It is composed by two independent and complementary setups, an Emulsion Cloud Chamber and an electronic setup composed by several subdetectors providing redundant measurements of kinematic properties of fragments produced in nuclear interactions between a beam and a target. FOOT aims to measure double differential cross sections both in angle and kinetic energy which is the most complete information to address existing questions. In this Ph.D. thesis, the development of the Trigger and Data Acquisition system for the FOOT electronic setup and a first analysis of 400 MeV/u 16O beam on Carbon target data acquired in July 2021 at GSI (Darmstadt, Germany) are presented. When possible, a comparison with other available measurements is also reported.

Spezzare la Doxa? La segregazione di genere nel mercato del lavoro

La segregazione nel mercato del lavoro ha dimostrato di essere un fenomeno molto regolare. Osservando i principali indicatori sintetici, troveremo che circa la metà della forza lavoro femminile dovrebbe cambiare lavoro per potersi distribuire fra le professioni nello stesso modo degli uomini, un dato che negli ultimi decenni non sembra essere cambiato. La ricerca si è concentrata sulla socializzazione e come le strutture influenzano l'agency quando le persone pianificano le loro carriere. Tuttavia, riteniamo sia stato ignorato il ruolo della classe occupazionale d'impiego nel dare forma alla segregazione. Facendo riferimento a Bourdieu, la tesi svolge un'analisi empirica su cinque classi occupazionali: dirigenti, professioni intellettuali, tecnici, colletti blu, e professioni non qualificate e dei servizi, stimando modelli logit per calcolare le probabilità delle donne di accedere alle professioni male-dominated, dove gli uomini sono più dei due terzi della forza lavoro. Di particolare interesse è il ruolo della scelta di perseguire un'istruzione STEM e come il campo di studio moderi la relazione fra genere e probabilità di accedere ad una professione male-dominated. I risultati mostrano differenze rilevanti fra le classi occupazionali, e anche fra diversi tipi di campi di studio STEM, suggerendo che la segregazione sia un fenomeno a geometrie variabili che può essere "spezzata" più facilmente in alcune classi rispetto ad altre.