Integrazione di reti neurali con approcci simbolici per problemi di ragionamento deduttivo in linguaggio naturale

Uno degli obiettivi più ambizioni e interessanti dell'informatica, specialmente nel campo dell'intelligenza artificiale, consiste nel raggiungere la capacità di far ragionare un computer in modo simile a come farebbe un essere umano. I più recenti successi nell'ambito delle reti neurali profonde, specialmente nel campo dell'elaborazione del testo in linguaggio naturale, hanno incentivato lo studio di nuove tecniche per affrontare tale problema, a cominciare dal ragionamento deduttivo, la forma più semplice e lineare di ragionamento logico. La domanda fondamentale alla base di questa tesi è infatti la seguente: in che modo una rete neurale basata sull'architettura Transformer può essere impiegata per avanzare lo stato dell'arte nell'ambito del ragionamento deduttivo in linguaggio naturale? Nella prima parte di questo lavoro presento uno studio approfondito di alcune tecnologie recenti che hanno affrontato questo problema con intuizioni vincenti. Da questa analisi emerge come particolarmente efficace l'integrazione delle reti neurali con tecniche simboliche più tradizionali. Nella seconda parte propongo un focus sull'architettura ProofWriter, che ha il pregio di essere relativamente semplice e intuitiva pur presentando prestazioni in linea con quelle dei concorrenti. Questo approfondimento mette in luce la capacità dei modelli T5, con il supporto del framework HuggingFace, di produrre più risposte alternative, tra cui è poi possibile cercare esternamente quella corretta. Nella terza e ultima parte fornisco un prototipo che mostra come si può impiegare tale tecnica per arricchire i sistemi tipo ProofWriter con approcci simbolici basati su nozioni linguistiche, conoscenze specifiche sul dominio applicativo o semplice buonsenso. Ciò che ne risulta è un significativo miglioramento dell'accuratezza rispetto al ProofWriter originale, ma soprattutto la dimostrazione che è possibile sfruttare tale capacità dei modelli T5 per migliorarne le prestazioni.

tecniche di machine learning per la predizione del rating delle applicazioni all’interno di un play store

Il mio progetto di tesi ha come obiettivo quello di creare un modello in grado di predire il rating delle applicazioni presenti all’interno del Play Store, uno dei più grandi servizi di distribuzione digitale Android. A tale scopo ho utilizzato il linguaggio Python, che grazie alle sue librerie, alla sua semplicità e alla sua versatilità è certamen- te uno dei linguaggi più usati nel campo dell’intelligenza artificiale. Il punto di partenza del mio studio è stato il Dataset (Insieme di dati strutturati in forma relazionale) “Google Play Store Apps” reperibile su Kaggle al seguente indirizzo: https://www.kaggle.com/datasets/lava18/google-play-store-apps, contenente 10841 osservazioni e 13 attributi. Dopo una prima parte relativa al caricamen- to, alla visualizzazione e alla preparazione dei dati su cui lavorare, ho applica- to quattro di↵erenti tecniche di Machine Learning per la stima del rating delle applicazioni. In particolare, sono state utilizzate:https://www.kaggle.com/datasets/lava18/google-play-store-apps, contenente 10841 osservazioni e 13 attributi. Dopo una prima parte relativa al caricamento, alla visualizzazione e alla preparazione dei dati su cui lavorare, ho applicato quattro differenti tecniche di Machine Learning per la stima del rating delle applicazioni: Ridje, Regressione Lineare, Random Forest e SVR. Tali algoritmi sono stati applicati attuando due tipi diversi di trasformazioni (Label Encoding e One Hot Encoding) sulla variabile ‘Category’, con lo scopo di analizzare come le suddette trasformazioni riescano a influire sulla bontà del modello. Ho confrontato poi l’errore quadratico medio (MSE), l’errore medio as- soluto (MAE) e l’errore mediano assoluto (MdAE) con il fine di capire quale sia l’algoritmo più efficiente.

Progetto e implementazione di software di segmentazione assistita di immagini mediche e predizione di biomarkers

La segmentazione prevede la partizione di un'immagine in aree strutturalmente o semanticamente coerenti. Nell'imaging medico, è utilizzata per identificare, contornandole, Regioni di Interesse (ROI) clinico, quali lesioni tumorali, oggetto di approfondimento tramite analisi semiautomatiche e automatiche, o bersaglio di trattamenti localizzati. La segmentazione di lesioni tumorali, assistita o automatica, consiste nell’individuazione di pixel o voxel, in immagini o volumi, appartenenti al tumore. La tecnica assistita prevede che il medico disegni la ROI, mentre quella automatica è svolta da software addestrati, tra cui i sistemi Computer Aided Detection (CAD). Mediante tecniche di visione artificiale, dalle ROI si estraggono caratteristiche numeriche, feature, con valore diagnostico, predittivo, o prognostico. L’obiettivo di questa Tesi è progettare e sviluppare un software di segmentazione assistita che permetta al medico di disegnare in modo semplice ed efficace una o più ROI in maniera organizzata e strutturata per futura elaborazione ed analisi, nonché visualizzazione. Partendo da Aliza, applicativo open-source, visualizzatore di esami radiologici in formato DICOM, è stata estesa l’interfaccia grafica per gestire disegno, organizzazione e memorizzazione automatica delle ROI. Inoltre, è stata implementata una procedura automatica di elaborazione ed analisi di ROI disegnate su lesioni tumorali prostatiche, per predire, di ognuna, la probabilità di cancro clinicamente non-significativo e significativo (con prognosi peggiore). Per tale scopo, è stato addestrato un classificatore lineare basato su Support Vector Machine, su una popolazione di 89 pazienti con 117 lesioni (56 clinicamente significative), ottenendo, in test, accuratezza = 77%, sensibilità = 86% e specificità = 69%. Il sistema sviluppato assiste il radiologo, fornendo una seconda opinione, non vincolante, adiuvante nella definizione del quadro clinico e della prognosi, nonché delle scelte terapeutiche.

Flower cover and bee diversity estimate by drone RGB images

Worldwide, biodiversity is decreasing due to climate change, habitat fragmentation and agricultural intensification. Bees are essential crops pollinator, but their abundance and diversity are decreasing as well. For their conservation, it is necessary to assess the status of bee population. Field data collection methods are expensive and time consuming thus, recently, new methods based on remote sensing are used. In this study we tested the possibility of using flower cover diversity estimated by UAV images (FCD-UAV) to assess bee diversity and abundance in 10 agricultural meadows in the Netherlands. In order to do so, field data of flower and bee diversity and abundance were collected during a campaign in May 2021. Furthermore, RGB images of the areas have been collected using Unmanned Aerial Vehicle (UAV) and post-processed into orthomosaics. Lastly, Random Forest machine learning algorithm was applied to estimate FCD of the species detected in each field. Resulting FCD was expressed with Shannon and Simpson diversity indices, which were successively correlated to bee Shannon and Simpson diversity indices, abundance and species richness. The results showed a positive relationship between FCD-UAV and in-situ collected data about bee diversity, evaluated with Shannon index, abundance and species richness. The strongest relationship was found between FCD (Shannon Index) and bee abundance with R2=0.52. Following, good correlations were found with bee species richness (R2=0.39) and bee diversity (R2=0.37). R2 values of the relationship between FCD (Simpson Index) and bee abundance, species richness and diversity were slightly inferior (0.45, 0.37 and 0.35, respectively). Our results suggest that the proposed method based on the coupling of UAV imagery and machine learning for the assessment of flower species diversity could be developed into valuable tools for large-scale, standardized and cost-effective monitoring of flower cover and of the habitat quality for bees.

A dynamical mechanism to explain the top-bottom quark mass hierarchy

We discuss the mass splitting between the the top and bottom quarks in a technicolor scenario. The model proposed here contains a left-right electroweak gauge group. An extended technicolor group and mirror fermions are introduced. The top-bottom quark mass splitting turns out to be intimately connected to the breaking of the left-right gauge symmetry. Weak isospin violation occurs within the experimental limits.

Search for heavy, top-like quark pair production in the dilepton final state in pp collisions at. root s=7 TeV

Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)

Search for pair production of heavy top-like quarks decaying to a high-pT W boson and a b quark in the lepton plus jets final state at sqrts=7 TeV with the ATLAS detector

A search is presented for production of a heavy up-type quark (t') together with its antiparticle, assuming a significant branching ratio for subsequent decay into a W boson and a b quark. The search is based on 4.7 fb(-1) of pp collisions root s = 7 TeV recorded in 2011 with the ATLAS detector at the CERN Large Hadron Collider. Data are analyzed in the lepton + jets final state, characterized by a high-transverse-momentum isolated electron or muon, large missing transverse momentum and at least three jets. The analysis strategy relies on the substantial boost of the W bosons in the t'(t') over bar signal when m(t') greater than or similar to 400 GeV. No significant excess of events above the Standard Model expectation is observed and the result of the search is interpreted in the context of fourth-generation and vector-like quark models. Under the assumption of a branching ratio BR(t' -> W b) = I, a fourth-generation t' quark with mass lower than 656 GeV is excluded at 95% confidence level. In addition, in light of the recent discovery of a new boson of mass similar to 126 GeV at the LHC, upper limits are derived in the two-dimensional plane of BR(t' -> Wb) versus BR(t' -> Ht), where H is the Standard Model Higgs boson, for vector-like quarks of various masses.

Threshold effects on heavy quark production in gamma gamma interactions

The exchange of gluons between heavy quarks produced in e+e- interactions results in an enhancement of their production near threshold. We study QCD threshold effects in collisions. The results are relevant to heavy quark production by beamstrahlung and laser backscattering in future linear collider experiments. Detailed predictions for top-, bottom-, and charm-quark production are presented.

THRESHOLD EFFECTS ON HEAVY QUARK PRODUCTION IN GAMMA-GAMMA-INTERACTIONS

The exchange of gluons between heavy quarks produced in e+e- interactions results in an enhancement of their production near threshold. We study QCD threshold effects in gammagamma collisions. The results are relevant to heavy quark production by beamstrahlung and laser backscattering in future linear collider experiments. Detailed predictions for top-, bottom-, and charm-quark production are presented.

Search for supersymmetry in final states with a single lepton, b-quark jets, and missing transverse energy in proton-proton collisions at √s=7 TeV

A search motivated by supersymmetric models with light top squarks is presented using proton-proton collision data recorded with the CMS detector at a center-of-mass energy of √s=7 TeV during 2011, corresponding to an integrated luminosity of 4.98 fb-1. The analysis is based on final states with a single lepton, b-quark jets, and missing transverse energy. Standard model yields are predicted from data using two different approaches. The observed event numbers are found to be compatible with these predictions. Results are interpreted in the context of the constrained minimal supersymmetric standard model and of a simplified model with four top quarks in the final state. © 2013 CERN.

Studio di metodi di ricostruzione di top molto energetici all'esperimento atlas

L’acceleratore di protoni e ioni pesanti LHC costruito presso i laboratori del CERN di Ginevra permette sviluppi straordinari nel campo della fisica delle particelle alle alte energie. Tra le diverse linee di ricerca attualmente operative lo studio del quark top riveste un ruolo di particolare rilevanza. Infatti, l’elevata energia accessibile alla macchina rende possibile la raccolta di campioni di elevata statistica necessari per uno studio dettagliato delle proprietà del quark top, la particella più pesante fino ad oggi nota. In particolare in questa tesi viene studiato, e confrontato con l'analisi standard, un nuovo metodo, chiamato “template overlap method”, per la selezione di quark top prodotti ad alta energia. L'obiettivo è valutare se questo nuovo metodo permetterà una migliore precisione nella misura della sezione d'urto differenziale di produzione di coppie tt nelle prossime prese dati dove l'energia nel centro di massa raggiungerà i 13 TeV. L'analisi, per ora, è stata svolta su dati montecarlo simulati per l'esperimento ATLAS ad una energia del centro di massa di 8 TeV. I risultati ottenuti sono incoraggianti perchè mostrano un'alta efficienza di selezione all'aumentare dell'energia dei prodotti di decadimento del top.

Performance studies of the CMS distributed analysis system in the associated Higgs boson production with top quarks

L'obiettivo di questa tesi è studiare la fattibilità dello studio della produzione associata ttH del bosone di Higgs con due quark top nell'esperimento CMS, e valutare le funzionalità e le caratteristiche della prossima generazione di toolkit per l'analisi distribuita a CMS (CRAB versione 3) per effettuare tale analisi. Nel settore della fisica del quark top, la produzione ttH è particolarmente interessante, soprattutto perchè rappresenta l'unica opportunità di studiare direttamente il vertice t-H senza dover fare assunzioni riguardanti possibili contributi dalla fisica oltre il Modello Standard. La preparazione per questa analisi è cruciale in questo momento, prima dell'inizio del Run-2 dell'LHC nel 2015. Per essere preparati a tale studio, le implicazioni tecniche di effettuare un'analisi completa in un ambito di calcolo distribuito come la Grid non dovrebbero essere sottovalutate. Per questo motivo, vengono presentati e discussi un'analisi dello stesso strumento CRAB3 (disponibile adesso in versione di pre-produzione) e un confronto diretto di prestazioni con CRAB2. Saranno raccolti e documentati inoltre suggerimenti e consigli per un team di analisi che sarà eventualmente coinvolto in questo studio. Nel Capitolo 1 è introdotta la fisica delle alte energie a LHC nell'esperimento CMS. Il Capitolo 2 discute il modello di calcolo di CMS e il sistema di analisi distribuita della Grid. Nel Capitolo 3 viene brevemente presentata la fisica del quark top e del bosone di Higgs. Il Capitolo 4 è dedicato alla preparazione dell'analisi dal punto di vista degli strumenti della Grid (CRAB3 vs CRAB2). Nel capitolo 5 è presentato e discusso uno studio di fattibilità per un'analisi del canale ttH in termini di efficienza di selezione.

Tecniche di apprendimento automatico per la ricerca di eventi top-top con l’esperimento ATLAS a LHC

Il Modello Standard è attualmente la teoria che meglio spiega il comportamento della fisica subnucleare, includendo la definizione delle particelle e di tre delle quattro forze fondamentali presenti in natura; risulta però una teoria incompleta sulle cui integrazioni i fisici stanno lavorando in diverse direzioni: uno degli approcci più promettenti nella ricerca di nuova fisica risulta essere quello delle teorie di campo efficaci. Il vertice di interazione del processo di produzione di coppie di quark top dello stesso segno a partire da protoni è fortemente soppresso nel Modello Standard e deve quindi essere interpretato con le teorie di campo efficaci. Il presente elaborato si concentra su questo nuovo approccio per la ricerca di quark top same-sign e si focalizza sull’utilizzo di una rete neurale per discriminare il segnale dal fondo. L’obiettivo è capire se le prestazioni di quest’ultima cambino quando le vengono fornite in ingresso variabili di diversi livelli di ricostruzione. Utilizzando una rete neurale ottimizzata per la discriminazione del segnale dal fondo, le si sono presentati tre set di variabili per l’allenamento: uno di alto livello, il secondo strettamente di basso livello, il terzo copia del secondo con aggiunta delle due variabili principali di b-tagging. Si è dimostrato che la performance della rete in termini di classificazione segnale-fondo rimane pressoché inalterata: la curva ROC presenta aree sottostanti le curve pressoché identiche. Si è notato inoltre che nel caso del set di variabili di basso livello, la rete neurale classifica come input più importanti gli angoli azimutali dei leptoni nonostante questi abbiano distribuzioni identiche tra segnale e fondo: ciò avviene in quanto la rete neurale è in grado di sfruttare le correlazioni tra le variabili come caratteristica discriminante. Questo studio preliminare pone le basi per l’ottimizzazione di un approccio multivariato nella ricerca di eventi con due top dello stesso segno prodotti a LHC.

Korteveg-de Vries solitons in a cold quark-gluon plasma

The relativistic heavy ion program developed at RHIC and now at LHC motivated a deeper study of the properties of the quark-gluon plasma (QGP) and, in particular, the study of perturbations in this kind of plasma. We are interested on the time evolution of perturbations in the baryon and energy densities. If a localized pulse in baryon density could propagate throughout the QGP for long distances preserving its shape and without loosing localization, this could have interesting consequences for relativistic heavy ion physics and for astrophysics. A mathematical way to prove that this can happen is to derive (under certain conditions) from the hydrodynamical equations of the QGP a Korteveg-de Vries (KdV) equation. The solution of this equation describes the propagation of a KdV soliton. The derivation of the KdV equation depends crucially on the equation of state (EOS) of the QGP. The use of the simple MIT bag model EOS does not lead to KdV solitons. Recently we have developed an EOS for the QGP which includes both perturbative and nonperturbative corrections to the MIT one and is still simple enough to allow for analytical manipulations. With this EOS we were able to derive a KdV equation for the cold QGP.

Heavy quark production in deep inelastic electron-nucleus scattering

Heavy quark production has been very well studied over the last years both theoretically and experimentally. Theory has been used to study heavy quark production in ep collisions at HERA, in pp collisions at Tevatron and RHIC, in pA and dA collisions at RHIC, and in AA collisions at CERN-SPS and RHIC. However, to the best of our knowledge, heavy quark production in eA has received almost no attention. With the possible construction of a high energy electron-ion collider, updated estimates of heavy quark production are needed. We address the subject from the perspective of saturation physics and compute the heavy quark production cross section with the dipole model. We isolate shadowing and nonlinear effects, showing their impact on the charm structure function and on the transverse momentum spectrum.