Regression with input-dependent noise: A Gaussian process treatment

Gaussian processes provide natural non-parametric prior distributions over regression functions. In this paper we consider regression problems where there is noise on the output, and the variance of the noise depends on the inputs. If we assume that the noise is a smooth function of the inputs, then it is natural to model the noise variance using a second Gaussian process, in addition to the Gaussian process governing the noise-free output value. We show that prior uncertainty about the parameters controlling both processes can be handled and that the posterior distribution of the noise rate can be sampled from using Markov chain Monte Carlo methods. Our results on a synthetic data set give a posterior noise variance that well-approximates the true variance.

The efficiency and productivity of Malaysian banks:an output distance function approach

This study employs stochastic frontier analysis to analyze Malaysian commercial banks during 1996-2002, and particularly focuses on determining the impact of Islamic banking on performance. We derive both net and gross efficiency estimates, thereby demonstrating that differences in operating characteristics explain much of the difference in outputs between Malaysian banks. We also decompose productivity change into efficiency, technical, and scale change using a generalised Malmquist productivity index. On average, Malaysian banks experience mild decreasing return to scale and annual productivity change of 2.37 percent, with the latter driven primarily by technical change, which has declined over time. Our gross efficiency estimates suggest that Islamic banking is associated with higher input requirements. In addition, our productivity estimates indicate that the potential for full-fledged Islamic banks and conventional banks with Islamic banking operations to overcome the output disadvantages associated with Islamic banking are relatively limited. Merged banks are found to have higher input usage and lower productivity change, suggesting that bank mergers have not contributed positively to bank performance. Finally, our results suggest that while the East Asian financial crisis had an interim output-increasing effect in 1998, the crisis prompted a continuing negative impact on the output performance by increasing the volume of non-performing loans.

Optimal design for correlated processes with input-dependent noise

Optimal design for parameter estimation in Gaussian process regression models with input-dependent noise is examined. The motivation stems from the area of computer experiments, where computationally demanding simulators are approximated using Gaussian process emulators to act as statistical surrogates. In the case of stochastic simulators, which produce a random output for a given set of model inputs, repeated evaluations are useful, supporting the use of replicate observations in the experimental design. The findings are also applicable to the wider context of experimental design for Gaussian process regression and kriging. Designs are proposed with the aim of minimising the variance of the Gaussian process parameter estimates. A heteroscedastic Gaussian process model is presented which allows for an experimental design technique based on an extension of Fisher information to heteroscedastic models. It is empirically shown that the error of the approximation of the parameter variance by the inverse of the Fisher information is reduced as the number of replicated points is increased. Through a series of simulation experiments on both synthetic data and a systems biology stochastic simulator, optimal designs with replicate observations are shown to outperform space-filling designs both with and without replicate observations. Guidance is provided on best practice for optimal experimental design for stochastic response models. © 2013 Elsevier Inc. All rights reserved.

Expanding the biomass resource:sustainable oil production via fast pyrolysis of low input high diversity biomass and the potential integration of thermochemical and biological conversion routes

Waste biomass is generated during the conservation management of semi-natural habitats, and represents an unused resource and potential bioenergy feedstock that does not compete with food production. Thermogravimetric analysis was used to characterise a representative range of biomass generated during conservation management in Wales. Of the biomass types assessed, those dominated by rush (Juncus effuses) and bracken (Pteridium aquilinum) exhibited the highest and lowest volatile compositions respectively and were selected for bench scale conversion via fast pyrolysis. Each biomass type was ensiled and a sub-sample of silage was washed and pressed. Demineralization of conservation biomass through washing and pressing was associated with higher oil yields following fast pyrolysis. The oil yields were within the published range established for the dedicated energy crops miscanthus and willow. In order to examine the potential a multiple output energy system was developed with gross power production estimates following valorisation of the press fluid, char and oil. If used in multi fuel industrial burners the char and oil alone would displace 3.9 × 105 tonnes per year of No. 2 light oil using Welsh biomass from conservation management. Bioenergy and product development using these feedstocks could simultaneously support biodiversity management and displace fossil fuels, thereby reducing GHG emissions. Gross power generation predictions show good potential.

Deterministic and probabilistic verification of multi-model meteorological forecasts on the subseasonal timescale

In questo studio, un multi-model ensemble è stato implementato e verificato, seguendo una delle priorità di ricerca del Subseasonal to Seasonal Prediction Project (S2S). Una regressione lineare è stata applicata ad un insieme di previsioni di ensemble su date passate, prodotte dai centri di previsione mensile del CNR-ISAC e ECMWF-IFS. Ognuna di queste contiene un membro di controllo e quattro elementi perturbati. Le variabili scelte per l'analisi sono l'altezza geopotenziale a 500 hPa, la temperatura a 850 hPa e la temperatura a 2 metri, la griglia spaziale ha risoluzione 1 ◦ × 1 ◦ lat-lon e sono stati utilizzati gli inverni dal 1990 al 2010. Le rianalisi di ERA-Interim sono utilizzate sia per realizzare la regressione, sia nella validazione dei risultati, mediante stimatori nonprobabilistici come lo scarto quadratico medio (RMSE) e la correlazione delle anomalie. Successivamente, tecniche di Model Output Statistics (MOS) e Direct Model Output (DMO) sono applicate al multi-model ensemble per ottenere previsioni probabilistiche per la media settimanale delle anomalie di temperatura a 2 metri. I metodi MOS utilizzati sono la regressione logistica e la regressione Gaussiana non-omogenea, mentre quelli DMO sono il democratic voting e il Tukey plotting position. Queste tecniche sono applicate anche ai singoli modelli in modo da effettuare confronti basati su stimatori probabilistici, come il ranked probability skill score, il discrete ranked probability skill score e il reliability diagram. Entrambe le tipologie di stimatori mostrano come il multi-model abbia migliori performance rispetto ai singoli modelli. Inoltre, i valori più alti di stimatori probabilistici sono ottenuti usando una regressione logistica sulla sola media di ensemble. Applicando la regressione a dataset di dimensione ridotta, abbiamo realizzato una curva di apprendimento che mostra come un aumento del numero di date nella fase di addestramento non produrrebbe ulteriori miglioramenti.

Schedulazione delle rotte marittime nel settore ortofrutticolo. Modelli e Metodi

Il trasporto marittimo è una delle modalità più utilizzate soprattutto per la movimentazione di grandi volumi di prodotti tra i continenti in quanto è a basso costo, sicuro e meno inquinante rispetto ad altri mezzi di movimentazione. Ai giorni nostri è responsabile di circa l’80% del commercio globale (in volume di carichi trasportati). Il settore del trasporto marittimo ha avuto una lunga tradizione di pianificazione manuale effettuata da progettisti esperti.
 L’obiettivo principale di questa trattazione è stato quello di implementare un modello matematico lineare (MILP, Mixed-Integer Linear Programming Model) per l’ottimizzazione delle rotte marittime nell’ambito del mercato orto-frutticolo che si sviluppa nel bacino del Mediterraneo (problema di Ship-Scheduling). Il modello fornito in questa trattazione è un valido strumento di supporto alle decisioni che può utilizzare uno spedizioniere nell’ambito della pianificazione delle rotte marittime della flotta di navi in suo possesso. Consente di determinare l’insieme delle rotte ottimali che devono essere svolte da un insieme di vettori al fine di massimizzare il profitto complessivo dello spedizioniere, generato nell’arco di tempo considerato. Inoltre, permette di ottenere, per ogni nave considerata, la ripartizione ottimale della merce (carico ottimale).

An identification procedure of multi-input Wiener models for the distortion analysis of nonlinear circuits

In this contribution, a system identification procedure of a two-input Wiener model suitable for the analysis of the disturbance behavior of integrated nonlinear circuits is presented. The identified block model is comprised of two linear dynamic and one static nonlinear block, which are determined using an parameterized approach. In order to characterize the linear blocks, an correlation analysis using a white noise input in combination with a model reduction scheme is adopted. After having characterized the linear blocks, from the output spectrum under single tone excitation at each input a linear set of equations will be set up, whose solution gives the coefficients of the nonlinear block. By this data based black box approach, the distortion behavior of a nonlinear circuit under the influence of an interfering signal at an arbitrary input port can be determined. Such an interfering signal can be, for example, an electromagnetic interference signal which conductively couples into the port of consideration. © 2011 Author(s).

Programmazione ad Agenti - Un Caso di Studio nel Linguaggio Sarl

Agent-oriented programming (AOP) è un paradigma di programmazione che concepisce un software come insieme di agenti che possiedono caratteristiche di autonomia, proattività e che sono in grado di comunicare con altri agenti. Sebbene sia stato impiegato soprattutto nell'ambito dell'intelligenza artificiale questo tipo di programmazione si rivela utile per lo sviluppo di sistemi distribuiti riuscendo a gestire agilmente problemi di concorrenza. Lo scopo di questa tesi è analizzare le caratteristiche del paradigma e dei software basati su agenti, utilizzando come caso di studio Sarl, un linguaggio general-purpose molto recente. La parte principale del lavoro consiste nella descrizione dei modelli teorici che hanno portato alla nascita della programmazione ad agenti, in particolare del modello BDI, e dei principali framework per lo sviluppo di sistemi multi-agente.

Dalla generazione di modelli 3D densi mediante TLS e fotogrammetria alla modellazione BIM

La tesi tratta la ricerca di procedure che permettano di rilevare oggetti utilizzando il maggior numero di informazioni geometriche ottenibili da una nuvola di punti densa generata da un rilievo fotogrammetrico o da TLS realizzando un modello 3D importabile in ambiente FEM. Il primo test si è eseguito su una piccola struttura, 1.2x0.5x0.2m, in modo da definire delle procedure di analisi ripetibili; la prima consente di passare dalla nuvola di punti “Cloud” all’oggetto solido “Solid” al modello agli elementi finiti “Fem” e per questo motivo è stata chiamata “metodo CSF”, mentre la seconda, che prevede di realizzare il modello della struttura con un software BIM è stata chiamata semplicemente “metodo BIM”. Una volta dimostrata la fattibilità della procedura la si è validata adottando come oggetto di studio un monumento storico di grandi dimensioni, l’Arco di Augusto di Rimini, confrontando i risultati ottenuti con quelli di altre tesi sulla medesima struttura, in particolare si è fatto riferimento a modelli FEM 2D e a modelli ottenuti da una nuvola di punti con i metodi CAD e con un software scientifico sviluppato al DICAM Cloud2FEM. Sull’arco sono state eseguite due tipi di analisi, una lineare sotto peso proprio e una modale ottenendo risultati compatibili tra i vari metodi sia dal punto di vista degli spostamenti, 0.1-0.2mm, che delle frequenze naturali ma si osserva che le frequenze naturali del modello BIM sono più simili a quelle dei modelli generati da cloud rispetto al modello CAD. Il quarto modo di vibrare invece presenta differenze maggiori. Il confronto con le frequenze naturali del modello FEM ha restituito differenze percentuali maggiori dovute alla natura 2D del modello e all’assenza della muratura limitrofa. Si sono confrontate le tensioni normali dei modelli CSF e BIM con quelle ottenute dal modello FEM ottenendo differenze inferiori a 1.28 kg/cm2 per le tensioni normali verticali e sull’ordine 10-2 kg/cm2 per quelle orizzontali.

Generare con transformer lineare spiegazioni di concept set medicali costituiti da termini correlati estratti da social post di pazienti

Le malattie rare pongono diversi scogli ai pazienti, ai loro familiari e ai sanitari. Uno fra questi è la mancanza di informazione che deriva dall'assenza di fonti sicure e semplici da consultare su aspetti dell'esperienza del paziente. Il lavoro presentato ha lo scopo di generare da set termini correlati semanticamente, delle frasi che abbiamo la capacità di spiegare il legame fra di essi e aggiungere informazioni utili e veritiere in un linguaggio semplice e comprensibile. Il problema affrontato oggigiorno non è ben documentato in letteratura e rappresenta una sfida interessante si per complessità che per mancanza di dataset per l'addestramento. Questo tipo di task, come altri di NLP, è affrontabile solo con modelli sempre più potenti ma che richiedono risorse sempre più elevate. Per questo motivo, è stato utilizzato il meccanismo di recente pubblicazione del Performer, dimostrando di riuscire a mantenere uno stesso grado di accuratezza e di qualità delle frasi prodotte, con una parallela riduzione delle risorse utilizzate. Ciò apre la strada all'utilizzo delle reti neurali più recenti anche senza avere i centri di calcolo delle multinazionali. Il modello proposto dunque è in grado di generare frasi che illustrano le relazioni semantiche di termini estratti da un mole di documenti testuali, permettendo di generare dei riassunti dell'informazione e della conoscenza estratta da essi e renderla facilmente accessibile e comprensibile al pazienti o a persone non esperte.

Abstractive Long Document Summarization: Studio e Sperimentazione di Modelli Generativi Retrieval-Augmented

In questa tesi si trattano lo studio e la sperimentazione di un modello generativo retrieval-augmented, basato su Transformers, per il task di Abstractive Summarization su lunghe sentenze legali. La sintesi automatica del testo (Automatic Text Summarization) è diventata un task di Natural Language Processing (NLP) molto importante oggigiorno, visto il grandissimo numero di dati provenienti dal web e banche dati. Inoltre, essa permette di automatizzare un processo molto oneroso per gli esperti, specialmente nel settore legale, in cui i documenti sono lunghi e complicati, per cui difficili e dispendiosi da riassumere. I modelli allo stato dell’arte dell’Automatic Text Summarization sono basati su soluzioni di Deep Learning, in particolare sui Transformers, che rappresentano l’architettura più consolidata per task di NLP. Il modello proposto in questa tesi rappresenta una soluzione per la Long Document Summarization, ossia per generare riassunti di lunghe sequenze testuali. In particolare, l’architettura si basa sul modello RAG (Retrieval-Augmented Generation), recentemente introdotto dal team di ricerca Facebook AI per il task di Question Answering. L’obiettivo consiste nel modificare l’architettura RAG al fine di renderla adatta al task di Abstractive Long Document Summarization. In dettaglio, si vuole sfruttare e testare la memoria non parametrica del modello, con lo scopo di arricchire la rappresentazione del testo di input da riassumere. A tal fine, sono state sperimentate diverse configurazioni del modello su diverse tipologie di esperimenti e sono stati valutati i riassunti generati con diverse metriche automatiche.

Verbalizzazione di eventi biomedici espressi nella letteratura scientifica: generazione controllata di linguaggio naturale da grafi di conoscenza mediante transformer text-to-text

Il periodo in cui viviamo rappresenta la cuspide di una forte e rapida evoluzione nella comprensione del linguaggio naturale, raggiuntasi prevalentemente grazie allo sviluppo di modelli neurali. Nell'ambito dell'information extraction, tali progressi hanno recentemente consentito di riconoscere efficacemente relazioni semantiche complesse tra entità menzionate nel testo, quali proteine, sintomi e farmaci. Tale task -- reso possibile dalla modellazione ad eventi -- è fondamentale in biomedicina, dove la crescita esponenziale del numero di pubblicazioni scientifiche accresce ulteriormente il bisogno di sistemi per l'estrazione automatica delle interazioni racchiuse nei documenti testuali. La combinazione di AI simbolica e sub-simbolica può consentire l'introduzione di conoscenza strutturata nota all'interno di language model, rendendo quest'ultimi più robusti, fattuali e interpretabili. In tale contesto, la verbalizzazione di grafi è uno dei task su cui si riversano maggiori aspettative. Nonostante l'importanza di tali contributi (dallo sviluppo di chatbot alla formulazione di nuove ipotesi di ricerca), ad oggi, risultano assenti contributi capaci di verbalizzare gli eventi biomedici espressi in letteratura, apprendendo il legame tra le interazioni espresse in forma a grafo e la loro controparte testuale. La tesi propone il primo dataset altamente comprensivo su coppie evento-testo, includendo diverse sotto-aree biomediche, quali malattie infettive, ricerca oncologica e biologia molecolare. Il dataset introdotto viene usato come base per l'addestramento di modelli generativi allo stato dell'arte sul task di verbalizzazione, adottando un approccio text-to-text e illustrando una tecnica formale per la codifica di grafi evento mediante testo aumentato. Infine, si dimostra la validità degli eventi per il miglioramento delle capacità di comprensione dei modelli neurali su altri task NLP, focalizzandosi su single-document summarization e multi-task learning.

Televisioni in transito: modelli produttivi e immaginari urbani di mobilita

Il termine go-tv fa riferimento a i sistemi di videocomunicazione collocati a bordo di mezzi di trasporto e in ambienti collegati, ad alto transito di passeggeri. Limitando l’analisi al territorio italiano, la ricerca intende ricostruire le coordinate storiche del suo sviluppo, inquadrandolo entro il più ampio contesto dei media contemporanei. Da un punto di vista teorico, sono considerati sia il legame del mezzo con l’ambiente urbano, sia le interconnessioni tra comunicazione, mobilità e trasporti, riflesse nel particolare statuto sociale e topologico chiamato in causa dai suoi luoghi di consumo. Dall’approvvigionamento alla messa in onda dei contenuti, cardine speculativo del lavoro è la disamina, su base esplorativa, delle consuetudini commerciali e professionali sottese a questo speciale canale di distribuzione audiovisiva, nel quadro di apposite pratiche d’azienda, campionate nel solco degli studi sulla produzione mediale. Tre sono gli snodi principali del progetto: la proposta di una definizione univoca del fenomeno, condivisibile dai diversi attori coinvolti nella filiera, una prima modellizzazione del suo profilo mediale e una mappatura dei principali casi di go-tv rinvenibili a livello nazionale, arricchita da una serie di studi di caso.

Reti neurali "physics-informed" per modelli epidemiologici

La malattia COVID-19 associata alla sindrome respiratoria acuta grave da coronavirus 2 (SARS-CoV-2) ha rappresentato una grave minaccia per la salute pubblica e l’economia globale sin dalla sua scoperta in Cina, nel dicembre del 2019. Gli studiosi hanno effettuato numerosi studi ed in particolar modo l’applicazione di modelli epidemiologici costruiti a partire dai dati raccolti, ha permesso la previsione di diversi scenari sullo sviluppo della malattia, nel breve-medio termine. Gli obiettivi di questa tesi ruotano attorno a tre aspetti: i dati disponibili sulla malattia COVID-19, i modelli matematici compartimentali, con particolare riguardo al modello SEIJDHR che include le vaccinazioni, e l’utilizzo di reti neurali ”physics-informed” (PINNs), un nuovo approccio basato sul deep learning che mette insieme i primi due aspetti. I tre aspetti sono stati dapprima approfonditi singolarmente nei primi tre capitoli di questo lavoro e si sono poi applicate le PINNs al modello SEIJDHR. Infine, nel quarto capitolo vengono riportati frammenti rilevanti dei codici Python utilizzati e i risultati numerici ottenuti. In particolare vengono mostrati i grafici sulle previsioni nel breve-medio termine, ottenuti dando in input dati sul numero di positivi, ospedalizzati e deceduti giornalieri prima riguardanti la città di New York e poi l’Italia. Inoltre, nell’indagine della parte predittiva riguardante i dati italiani, si è individuato un punto critico legato alla funzione che modella la percentuale di ricoveri; sono stati quindi eseguiti numerosi esperimenti per il controllo di tali previsioni.

Modelli matematici nella crescita e nel trattamento dei tumori

Questa tesi tratta di alcuni semplici modelli matematici, formulati in termini di equazioni differenziali ordinarie, riguardanti la crescita dei tumori e possibili trattamenti per contrastarla. Nel primo capitolo viene data un'introduzione sulla stabilità dei punti di equilibrio di sistemi di equazioni differenziali ordinarie, mentre nel secondo capitolo vengono affrontati e confrontati tre modelli ad una equazione: il modello esponenziale, il modello logistico e il modello di Gompertz. Si introducono poi due modelli a due equazioni differenziali: uno riguardante l'angiogenesi a due compartimenti e l'altro riguardante un modello lineare-quadratico applicato alla radiobiologia. Viene fatto poi un accenno ad un modello con equazioni alle derivate parziali. Infine, nell'ultimo capitolo, viene introdotto un modello a tre equazioni differenziali ordinarie a tre compartimenti in cui viene studiata l'interazione tra tre popolazioni di cellule: cellule immunitarie effettrici, cellule ospiti e cellule tumorali.