Modelling the colour difference by artificial neural network

This thesis work studies the modelling of the colour difference using artificial neural network. Multilayer percepton (MLP) network is proposed to model CIEDE2000 colour difference formula. MLP is applied to classify colour points in CIE xy chromaticity diagram. In this context, the evaluation was performed using Munsell colour data and MacAdam colour discrimination ellipses. Moreover, in CIE xy chromaticity diagram just noticeable differences (JND) of MacAdam ellipses centres are computed by CIEDE2000, to compare JND of CIEDE2000 and MacAdam ellipses. CIEDE2000 changes the orientation of blue areas in CIE xy chromaticity diagram toward neutral areas, but on the whole it does not totally agree with the MacAdam ellipses. The proposed MLP for both modelling CIEDE2000 and classifying colour points showed good accuracy and achieved acceptable results.

Comparison of classification ability of hyperball algorithms to neural network and k-nearest neighbour algorithms

The main focus of this thesis is to evaluate and compare Hyperbalilearning algorithm (HBL) to other learning algorithms. In this work HBL is compared to feed forward artificial neural networks using back propagation learning, K-nearest neighbor and 103 algorithms. In order to evaluate the similarity of these algorithms, we carried out three experiments using nine benchmark data sets from UCI machine learning repository. The first experiment compares HBL to other algorithms when sample size of dataset is changing. The second experiment compares HBL to other algorithms when dimensionality of data changes. The last experiment compares HBL to other algorithms according to the level of agreement to data target values. Our observations in general showed, considering classification accuracy as a measure, HBL is performing as good as most ANn variants. Additionally, we also deduced that HBL.:s classification accuracy outperforms 103's and K-nearest neighbour's for the selected data sets.

Artificial neural network modeling of phenol adsorption onto barley husks activated carbon in an airlift reactor.

Tesis (Doctor en Ciencias con Orientación en Procesos Sustentables) UANL, 2013.

On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Comparison Study of Pattern Synthesis Techniques Using Neural Networks

In this paper, a comparison study among three neuralnetwork algorithms for the synthesis of array patterns is presented. The neural networks are used to estimate the array elements' excitations for an arbitrary pattern. The architecture of the neural networks is discussed and simulation results are presented. Two new neural networks, based on radial basis functions (RBFs) and wavelet neural networks (WNNs), are introduced. The proposed networks offer a more efficient synthesis procedure, as compared to other available techniques

AN ARTIFICIAL NEURAL NETWORK FOR SONAR TARGET DETECTION

Neural Network has emerged as the topic of the day. The spectrum of its application is as wide as from ECG noise filtering to seismic data analysis and from elementary particle detection to electronic music composition. The focal point of the proposed work is an application of a massively parallel connectionist model network for detection of a sonar target. This task is segmented into: (i) generation of training patterns from sea noise that contains radiated noise of a target, for teaching the network;(ii) selection of suitable network topology and learning algorithm and (iii) training of the network and its subsequent testing where the network detects, in unknown patterns applied to it, the presence of the features it has already learned in. A three-layer perceptron using backpropagation learning is initially subjected to a recursive training with example patterns (derived from sea ambient noise with and without the radiated noise of a target). On every presentation, the error in the output of the network is propagated back and the weights and the bias associated with each neuron in the network are modified in proportion to this error measure. During this iterative process, the network converges and extracts the target features which get encoded into its generalized weights and biases.In every unknown pattern that the converged network subsequently confronts with, it searches for the features already learned and outputs an indication for their presence or absence. This capability for target detection is exhibited by the response of the network to various test patterns presented to it.Three network topologies are tried with two variants of backpropagation learning and a grading of the performance of each combination is subsequently made.

Neural Network based studies on Spectroscopic Analysis and Image Processing

International School of Photonics, Cochin University of Science and Technology

Face Recognition using Probabilistic Neural Networks

In this paper we address the problem of face detection and recognition of grey scale frontal view images. We propose a face recognition system based on probabilistic neural networks (PNN) architecture. The system is implemented using voronoi/ delaunay tessellations and template matching. Images are segmented successfully into homogeneous regions by virtue of voronoi diagram properties. Face verification is achieved using matching scores computed by correlating edge gradients of reference images. The advantage of classification using PNN models is its short training time. The correlation based template matching guarantees good classification results

Face Recognition using Probabilistic Neural Networks

n this paper we address the problem of face detection and recognition of grey scale frontal view images. We propose a face recognition system based on probabilistic neural networks (PNN) architecture. The system is implemented using voronoi/ delaunay tessellations and template matching. Images are segmented successfully into homogeneous regions by virtue of voronoi diagram properties. Face verification is achieved using matching scores computed by correlating edge gradients of reference images. The advantage of classification using PNN models is its short training time. The correlation based template matching guarantees good classification results.

Artificial neural network modeling for surface roughness prediction in cylindrical grinding of Al‐SiCp metal matrix composites and ANOVA analysis

Metal matrix composites (MMC) having aluminium (Al) in the matrix phase and silicon carbide particles (SiCp) in reinforcement phase, ie Al‐SiCp type MMC, have gained popularity in the re‐cent past. In this competitive age, manufacturing industries strive to produce superior quality products at reasonable price. This is possible by achieving higher productivity while performing machining at optimum combinations of process variables. The low weight and high strength MMC are found suitable for variety of components

A Reinforcement Learning Approach to Economic Dispatch using Neural Networks

This paper presents a Reinforcement Learning (RL) approach to economic dispatch (ED) using Radial Basis Function neural network. We formulate the ED as an N stage decision making problem. We propose a novel architecture to store Qvalues and present a learning algorithm to learn the weights of the neural network. Even though many stochastic search techniques like simulated annealing, genetic algorithm and evolutionary programming have been applied to ED, they require searching for the optimal solution for each load demand. Also they find limitation in handling stochastic cost functions. In our approach once we learn the Q-values, we can find the dispatch for any load demand. We have recently proposed a RL approach to ED. In that approach, we could find only the optimum dispatch for a set of specified discrete values of power demand. The performance of the proposed algorithm is validated by taking IEEE 6 bus system, considering transmission losses

Implementation of a Neural Network Classifier for Noise Sources in the Ocean

The paper investigates the feasibility of implementing an intelligent classifier for noise sources in the ocean, with the help of artificial neural networks, using higher order spectral features. Non-linear interactions between the component frequencies of the noise data can give rise to certain phase relations called Quadratic Phase Coupling (QPC), which cannot be characterized by power spectral analysis. However, bispectral analysis, which is a higher order estimation technique, can reveal the presence of such phase couplings and provide a measure to quantify such couplings. A feed forward neural network has been trained and validated with higher order spectral features

Entwicklung eines Windleistungprognosemodells zur Verbesserung der Kraftwerkseinsatzplanung

Die Maßnahmen zur Förderung der Windenergie in Deutschland haben wichtige Anstöße zur technologischen Weiterentwicklung geliefert und die Grundlagen für den enormen Anlagenzubau geschaffen. Die installierte Windleistung hat heute eine beachtliche Größenordnung erreicht und ein weiteres Wachstum in ähnlichen Dimensionen ist auch für die nächsten Jahre zu erwarten. Die aus Wind erzeugte elektrische Leistung deckt bereits heute in einigen Netzbereichen die Netzlast zu Schwachlastzeiten. Dies zeigt, dass die Windenergie ein nicht mehr zu vernachlässigender Faktor in der elektrischen Energieversorgung geworden ist. Im Rahmen der Kraftwerkseinsatzplanung sind Betrag und Verlauf der Windleistung des folgenden Tages mittlerweile zu wichtigen und zugleich schwierig zu bestimmenden Variablen geworden. Starke Schwankungen und falsche Prognosen der Windstromeinspeisung verursachen zusätzlichen Bedarf an Regel- und Ausgleichsleistung durch die Systemführung. Das im Rahmen dieser Arbeit entwickelte Prognosemodell liefert die zu erwartenden Windleistungen an 16 repräsentativen Windparks bzw. Gruppen von Windparks für bis zu 48 Stunden im Voraus. Aufgrund von prognostizierten Wetterdaten des deutschen Wetterdienstes (DWD) werden die Leistungen der einzelnen Windparks mit Hilfe von künstlichen neuronalen Netzen (KNN) berechnet. Diese Methode hat gegenüber physikalischen Verfahren den Vorteil, dass der komplexe Zusammenhang zwischen Wettergeschehen und Windparkleistung nicht aufwendig analysiert und detailliert mathematisch beschrieben werden muss, sondern anhand von Daten aus der Vergangenheit von den KNN gelernt wird. Das Prognosemodell besteht aus zwei Modulen. Mit dem ersten wird, basierend auf den meteorologischen Vorhersagen des DWD, eine Prognose für den Folgetag erstellt. Das zweite Modul bezieht die online gemessenen Leistungsdaten der repräsentativen Windparks mit ein, um die ursprüngliche Folgetagsprognose zu verbessern und eine sehr genaue Kurzzeitprognose für die nächsten drei bis sechs Stunden zu berechnen. Mit den Ergebnissen der Prognosemodule für die repräsentativen Standorte wird dann über ein Transformationsmodell, dem so genannten Online-Modell, die Gesamteinspeisung in einem größeren Gebiet berechnet. Das Prognoseverfahren hat seine besonderen Vorzüge in der Genauigkeit, den geringen Rechenzeiten und den niedrigen Betriebskosten, da durch die Verwendung des bereits implementierten Online-Modells nur eine geringe Anzahl von Vorhersage- und Messstandorten benötigt wird. Das hier vorgestellte Prognosemodell wurde ursprünglich für die E.ON-Netz GmbH entwickelt und optimiert und ist dort seit Juli 2001 im Einsatz. Es lässt sich jedoch auch leicht an andere Gebiete anpassen. Benötigt werden dazu nur die Messdaten der Leistung ausgewählter repräsentativer Windparks sowie die dazu gehörenden Wettervorhersagen, um die KNN entsprechend zu trainieren.