A dependent partition-valued process for multitask clustering and time evolving network modelling

The fundamental aim of clustering algorithms is to partition data points. We consider tasks where the discovered partition is allowed to vary with some covariate such as space or time. One approach would be to use fragmentation-coagulation processes, but these, being Markov processes, are restricted to linear or tree structured covariate spaces. We define a partition-valued process on an arbitrary covariate space using Gaussian processes. We use the process to construct a multitask clustering model which partitions datapoints in a similar way across multiple data sources, and a time series model of network data which allows cluster assignments to vary over time. We describe sampling algorithms for inference and apply our method to defining cancer subtypes based on different types of cellular characteristics, finding regulatory modules from gene expression data from multiple human populations, and discovering time varying community structure in a social network.

Network modelling for Townsville distribution system

Drinking water quality guidelines are becoming increasingly stringent. To comply with these guidelines and to manage water quality in a distribution system, improved understanding of the movement and fate of drinking water constituents within the system is required. This study illustrates the construction and calibration of an electronic model of the Townsville drinking water distribution system. Being in the tropics, the temperature of the water in the distribution system changes little throughout the year (usually between 20 and 25&deg;C); also, water is supplied to the system from two sources, the location of the blending of these waters is varies with demand.<br />

Prediction interval-based neural network modelling of polystyrene polymerization reactor - a new perspective of data-based modelling

In this paper, prediction interval (PI)-based modelling techniques are introduced and applied to capture the nonlinear dynamics of a polystyrene batch reactor system. Traditional NN models are developed using experimental datasets with and without disturbances. Simulation results indicate that traditional NNs cannot properly handle disturbances in reactor data and demonstrate a poor forecasting performance, with an average MAPE of 22% in the presence of disturbances. The lower upper bound estimation (LUBE) method is applied for the construction of PIs to quantify uncertainties associated with forecasts. The simulated annealing optimization technique is employed to adjust NN parameters for minimization of an innovative PI-based cost function. The simulation results reveal that the LUBE method generates quality PIs without requiring prohibitive computations. As both calibration and sharpness of PIs are practically and theoretically satisfactory, the constructed PIs can be used as part of the decision-making and control process of polymerization reactors. &copy; 2014 The Institution of Chemical Engineers.

Tactile perception - Perception of tactile distance changes with body site: a neural network modelling study.

La distorsione della percezione della distanza tra due stimoli puntuali applicati sulla superfice della pelle di diverse regioni corporee �� conosciuta come Illusione di Weber. Questa illusione �� stata osservata, e verificata, in molti esperimenti in cui ai soggetti era chiesto di giudicare la distanza tra due stimoli applicati sulla superficie della pelle di differenti parti corporee. Da tali esperimenti si �� dedotto che una stessa distanza tra gli stimoli �� giudicata differentemente per diverse regioni corporee. Il concetto secondo cui la distanza sulla pelle �� spesso percepita in maniera alterata �� ampiamente condiviso, ma i meccanismi neurali che manovrano questa illusione sono, allo stesso tempo, ancora ampiamente sconosciuti. In particolare, non �� ancora chiaro come sia interpretata la distanza tra due stimoli puntuali simultanei, e quali aree celebrali siano coinvolte in questa elaborazione. L���illusione di Weber pu�� essere spiegata, in parte, considerando la differenza in termini di densit�� meccano-recettoriale delle differenti regioni corporee, e l���immagine distorta del nostro corpo che risiede nella Corteccia Primaria Somato-Sensoriale (homunculus). Tuttavia, questi meccanismi sembrano non sufficienti a spiegare il fenomeno osservato: infatti, secondo i risultati derivanti da 100 anni di sperimentazioni, le distorsioni effettive nel giudizio delle distanze sono molto pi�� piccole rispetto alle distorsioni che la Corteccia Primaria suggerisce. In altre parole, l���illusione osservata negli esperimenti tattili �� molto pi�� piccola rispetto all���effetto prodotto dalla differente densit�� recettoriale che affligge le diverse parti del corpo, o dall���estensione corticale. Ci��, ha portato a ipotizzare che la percezione della distanza tattile richieda la presenza di un���ulteriore area celebrale, e di ulteriori meccanismi che operino allo scopo di ridimensionare ��� almeno parzialmente ��� le informazioni derivanti dalla corteccia primaria, in modo da mantenere una certa costanza nella percezione della distanza tattile lungo la superfice corporea. E��� stata cos�� proposta la presenza di una sorta di ���processo di ridimensionamento���, chiamato ���Rescaling Process��� che opera per ridurre questa illusione verso una percezione pi�� verosimile. Il verificarsi di questo processo �� sostenuto da molti ricercatori in ambito neuro scientifico; in particolare, dal Dr. Matthew Longo, neuro scienziato del Department of Psychological Sciences (Birkbeck University of London), le cui ricerche sulla percezione della distanza tattile e sulla rappresentazione corporea sembrano confermare questa ipotesi. Tuttavia, i meccanismi neurali, e i circuiti che stanno alla base di questo potenziale ���Rescaling Process��� sono ancora ampiamente sconosciuti. Lo scopo di questa tesi �� stato quello di chiarire la possibile organizzazione della rete, e i meccanismi neurali che scatenano l���illusione di Weber e il ���Rescaling Process���, usando un modello di rete neurale. La maggior parte del lavoro �� stata svolta nel Dipartimento di Scienze Psicologiche della Birkbeck University of London, sotto la supervisione del Dott. M. Longo, il quale ha contribuito principalmente all���interpretazione dei risultati del modello, dando suggerimenti sull���elaborazione dei risultati in modo da ottenere un���informazione pi�� chiara; inoltre egli ha fornito utili direttive per la validazione dei risultati durante l���implementazione di test statistici. Per replicare l���illusione di Weber ed il ���Rescaling Proess���, la rete neurale �� stata organizzata con due strati principali di neuroni corrispondenti a due differenti aree funzionali corticali: ��� Primo strato di neuroni (il quale d�� il via ad una prima elaborazione degli stimoli esterni): questo strato pu�� essere pensato come parte della Corteccia Primaria Somato-Sensoriale affetta da Magnificazione Corticale (homunculus). ��� Secondo strato di neuroni (successiva elaborazione delle informazioni provenienti dal primo strato): questo strato pu�� rappresentare un���Area Corticale pi�� elevata coinvolta nell���implementazione del ���Rescaling Process���. Le reti neurali sono state costruite includendo connessioni sinaptiche all���interno di ogni strato (Sinapsi Laterali), e connessioni sinaptiche tra i due strati neurali (Sinapsi Feed-Forward), assumendo inoltre che l���attivit�� di ogni neurone dipenda dal suo input attraverso una relazione sigmoidale statica, cosi come da una dinamica del primo ordine. In particolare, usando la struttura appena descritta, sono state implementate due differenti reti neurali, per due differenti regioni corporee (per esempio, Mano e Braccio), caratterizzate da differente risoluzione tattile e differente Magnificazione Corticale, in modo da replicare l���Illusione di Weber ed il ���Rescaling Process���. Questi modelli possono aiutare a comprendere il meccanismo dell���illusione di Weber e dare cos�� una possibile spiegazione al ���Rescaling Process���. Inoltre, le reti neurali implementate forniscono un valido contributo per la comprensione della strategia adottata dal cervello nell���interpretazione della distanza sulla superficie della pelle. Oltre allo scopo di comprensione, tali modelli potrebbero essere impiegati altres�� per formulare predizioni che potranno poi essere verificate in seguito, in vivo, su soggetti reali attraverso esperimenti di percezione tattile. E��� importante sottolineare che i modelli implementati sono da considerarsi prettamente come modelli funzionali e non intendono replicare dettagli fisiologici ed anatomici. I principali risultati ottenuti tramite questi modelli sono la riproduzione del fenomeno della ���Weber���s Illusion��� per due differenti regioni corporee, Mano e Braccio, come riportato nei tanti articoli riguardanti le illusioni tattili (per esempio ���The perception of distance and location for dual tactile pressures��� di Barry G. Green). L���illusione di Weber �� stata registrata attraverso l���output delle reti neurali, e poi rappresentata graficamente, cercando di spiegare le ragioni di tali risultati.

Tactile Perception - Perception of tactile distance on a single skin surface changes with stimulus orientation: a neuronal network modelling study

L���interazione che abbiamo con l���ambiente che ci circonda dipende sia da diverse tipologie di stimoli esterni che percepiamo (tattili, visivi, acustici, ecc.) sia dalla loro elaborazione per opera del nostro sistema nervoso. A volte per��, l���integrazione e l���elaborazione di tali input possono causare effetti d���illusione. Ci�� si presenta, ad esempio, nella percezione tattile. Infatti, la percezione di distanze tattili varia al variare della regione corporea considerata. Il concetto che distanze sulla cute siano frequentemente erroneamente percepite, �� stato scoperto circa un secolo fa da Weber. In particolare, una determinata distanza fisica, �� percepita maggiore su parti del corpo che presentano una pi�� alta densit�� di meccanocettori rispetto a distanze applicate su parti del corpo con inferiore densit��. Oltre a questa illusione, un importante fenomeno osservato in vivo �� rappresentato dal fatto che la percezione della distanza tattile dipende dall���orientazione degli stimoli applicati sulla cute. In sostanza, la distanza percepita su una regione cutanea varia al variare dell���orientazione degli stimoli applicati. Recentemente, Longo e Haggard (Longo & Haggard, J.Exp.Psychol. Hum Percept Perform 37: 720-726, 2011), allo scopo di investigare come sia rappresentato il nostro corpo all���interno del nostro cervello, hanno messo a confronto distanze tattili a diverse orientazioni sulla mano deducendo che la distanza fra due stimoli puntuali �� percepita maggiore se applicata trasversalmente sulla mano anzich�� longitudinalmente. Tale illusione �� nota con il nome di Illusione Tattile Orientazione-Dipendente e diversi risultati riportati in letteratura dimostrano che tale illusione dipende dalla distanza che intercorre fra i due stimoli puntuali sulla cute. Infatti, Green riporta in un suo articolo (Green, Percpept Pshycophys 31, 315-323, 1982) il fatto che maggiore sia la distanza applicata e maggiore risulter�� l���effetto illusivo che si presenta. L���illusione di Weber e l���illusione tattile orientazione-dipendente sono spiegate in letteratura considerando differenze riguardanti la densit�� di recettori, gli effetti di magnificazione corticale a livello della corteccia primaria somatosensoriale (regioni della corteccia somatosensoriale, di dimensioni differenti, sono adibite a diverse regioni corporee) e differenze nella dimensione e forma dei campi recettivi. Tuttavia tali effetti di illusione risultano molto meno rilevanti rispetto a quelli che ci si aspetta semplicemente considerando i meccanismi fisiologici, elencati in precedenza, che li causano. Ci�� suggerisce che l���informazione tattile elaborata a livello della corteccia primaria somatosensoriale, riceva successivi step di elaborazione in aree corticali di pi�� alto livello. Esse agiscono allo scopo di ridurre il divario fra distanza percepita trasversalmente e distanza percepita longitudinalmente, rendendole pi�� simili tra loro. Tale processo assume il nome di ���Rescaling Process���. I meccanismi neurali che operano nel cervello allo scopo di garantire Rescaling Process restano ancora largamente sconosciuti. Perci��, lo scopo del mio progetto di tesi �� stato quello di realizzare un modello di rete neurale che simulasse gli aspetti riguardanti la percezione tattile, l���illusione orientazione-dipendente e il processo di rescaling avanzando possibili ipotesi circa i meccanismi neurali che concorrono alla loro realizzazione. Il modello computazionale si compone di due diversi layers neurali che processano l���informazione tattile. Uno di questi rappresenta un���area corticale di pi�� basso livello (chiamata Area1) nella quale una prima e distorta rappresentazione tattile �� realizzata. Per questo, tale layer potrebbe rappresentare un���area della corteccia primaria somatosensoriale, dove la rappresentazione della distanza tattile �� significativamente distorta a causa dell���anisotropia dei campi recettivi e della magnificazione corticale. Il secondo layer (chiamato Area2) rappresenta un���area di pi�� alto livello che riceve le informazioni tattili dal primo e ne riduce la loro distorsione mediante Rescaling Process. Questo layer potrebbe rappresentare aree corticali superiori (ad esempio la corteccia parietale o quella temporale) adibite anch���esse alla percezione di distanze tattili ed implicate nel Rescaling Process. Nel modello, i neuroni in Area1 ricevono informazioni dagli stimoli esterni (applicati sulla cute) inviando quindi informazioni ai neuroni in Area2 mediante sinapsi Feed-forward eccitatorie. Di fatto, neuroni appartenenti ad uno stesso layer comunicano fra loro attraverso sinapsi laterali aventi una forma a cappello Messicano. E��� importante affermare che la rete neurale implementata �� principalmente un modello concettuale che non si preme di fornire un���accurata riproduzione delle strutture fisiologiche ed anatomiche. Per questo occorre considerare un livello astratto di implementazione senza specificare un���esatta corrispondenza tra layers nel modello e regioni anatomiche presenti nel cervello. Tuttavia, i meccanismi inclusi nel modello sono biologicamente plausibili. Dunque la rete neurale pu�� essere utile per una migliore comprensione dei molteplici meccanismi agenti nel nostro cervello, allo scopo di elaborare diversi input tattili. Infatti, il modello �� in grado di riprodurre diversi risultati riportati negli articoli di Green e Longo & Haggard.

Neural network modelling of the wave-structure interaction processes

This thesis presents a new Artificial Neural Network (ANN) able to predict at once the main parameters representative of the wave-structure interaction processes, i.e. the wave overtopping discharge, the wave transmission coefficient and the wave reflection coefficient. The new ANN has been specifically developed in order to provide managers and scientists with a tool that can be efficiently used for design purposes. The development of this ANN started with the preparation of a new extended and homogeneous database that collects all the available tests reporting at least one of the three parameters, for a total amount of 16���165 data. The variety of structure types and wave attack conditions in the database includes smooth, rock and armour unit slopes, berm breakwaters, vertical walls, low crested structures, oblique wave attacks. Some of the existing ANNs were compared and improved, leading to the selection of a final ANN, whose architecture was optimized through an in-depth sensitivity analysis to the training parameters of the ANN. Each of the selected 15 input parameters represents a physical aspect of the wave-structure interaction process, describing the wave attack (wave steepness and obliquity, breaking and shoaling factors), the structure geometry (submergence, straight or non-straight slope, with or without berm or toe, presence or not of a crown wall), or the structure type (smooth or covered by an armour layer, with permeable or impermeable core). The advanced ANN here proposed provides accurate predictions for all the three parameters, and demonstrates to overcome the limits imposed by the traditional formulae and approach adopted so far by some of the existing ANNs. The possibility to adopt just one model to obtain a handy and accurate evaluation of the overall performance of a coastal or harbor structure represents the most important and exportable result of the work.

Structured neural network modelling of multi-valued functions for wind retrieval from scatterometer measurements

A conventional neural network approach to regression problems approximates the conditional mean of the output vector. For mappings which are multi-valued this approach breaks down, since the average of two solutions is not necessarily a valid solution. In this article mixture density networks, a principled method to model conditional probability density functions, are applied to retrieving Cartesian wind vector components from satellite scatterometer data. A hybrid mixture density network is implemented to incorporate prior knowledge of the predominantly bimodal function branches. An advantage of a fully probabilistic model is that more sophisticated and principled methods can be used to resolve ambiguities.

Structured neural network modelling of multi-valued functions for wind retrieval from scatterometer measurements

A conventional neural network approach to regression problems approximates the conditional mean of the output vector. For mappings which are multi-valued this approach breaks down, since the average of two solutions is not necessarily a valid solution. In this article mixture density networks, a principled method to model conditional probability density functions, are applied to retrieving Cartesian wind vector components from satellite scatterometer data. A hybrid mixture density network is implemented to incorporate prior knowledge of the predominantly bimodal function branches. An advantage of a fully probabilistic model is that more sophisticated and principled methods can be used to resolve ambiguities.

Neural Network Modelling with Input Uncertainty: Theory and Application

It is generally assumed when using Bayesian inference methods for neural networks that the input data contains no noise. For real-world (errors in variable) problems this is clearly an unsafe assumption. This paper presents a Bayesian neural network framework which accounts for input noise provided that a model of the noise process exists. In the limit where the noise process is small and symmetric it is shown, using the Laplace approximation, that this method adds an extra term to the usual Bayesian error bar which depends on the variance of the input noise process. Further, by treating the true (noiseless) input as a hidden variable, and sampling this jointly with the network���s weights, using a Markov chain Monte Carlo method, it is demonstrated that it is possible to infer the regression over the noiseless input. This leads to the possibility of training an accurate model of a system using less accurate, or more uncertain, data. This is demonstrated on both the, synthetic, noisy sine wave problem and a real problem of inferring the forward model for a satellite radar backscatter system used to predict sea surface wind vectors.

Systems modelling of the socio-technical aspects of residential electricity use and network peak demand

Provision of network infrastructure to meet rising network peak demand is increasing the cost of electricity. Addressing this demand is a major imperative for Australian electricity agencies. The network peak demand model reported in this paper provides a quantified decision support tool and a means of understanding the key influences and impacts on network peak demand. An investigation of the system factors impacting residential consumers��� peak demand for electricity was undertaken in Queensland, Australia. Technical factors, such as the customers��� location, housing construction and appliances, were combined with social factors, such as household demographics, culture, trust and knowledge, and Change Management Options (CMOs) such as tariffs, price,managed supply, etc., in a conceptual ���map��� of the system. A Bayesian network was used to quantify the model and provide insights into the major influential factors and their interactions. The model was also used to examine the reduction in network peak demand with different market-based and government interventions in various customer locations of interest and investigate the relative importance of instituting programs that build trust and knowledge through well designed customer-industry engagement activities. The Bayesian network was implemented via a spreadsheet with a tick box interface. The model combined available data from industry-specific and public sources with relevant expert opinion. The results revealed that the most effective intervention strategies involve combining particular CMOs with associated education and engagement activities. The model demonstrated the importance of designing interventions that take into account the interactions of the various elements of the socio-technical system. The options that provided the greatest impact on peak demand were Off-Peak Tariffs and Managed Supply and increases in the price of electricity. The impact in peak demand reduction differed for each of the locations and highlighted that household numbers, demographics as well as the different climates were significant factors. It presented possible network peak demand reductions which would delay any upgrade of networks, resulting in savings for Queensland utilities and ultimately for households. The use of this systems approach using Bayesian networks to assist the management of peak demand in different modelled locations in Queensland provided insights about the most important elements in the system and the intervention strategies that could be tailored to the targeted customer segments.