Robust fuzzy Gustafson-Kessel clustering for nonlinear system identification

This paper deals with Takagi-Sugeno (TS) fuzzy model identification of nonlinear systems using fuzzy clustering. In particular, an extended fuzzy Gustafson-Kessel (EGK) clustering algorithm, using robust competitive agglomeration (RCA), is developed for automatically constructing a TS fuzzy model from system input-output data. The EGK algorithm can automatically determine the 'optimal' number of clusters from the training data set. It is shown that the EGK approach is relatively insensitive to initialization and is less susceptible to local minima, a benefit derived from its agglomerate property. This issue is often overlooked in the current literature on nonlinear identification using conventional fuzzy clustering. Furthermore, the robust statistical concepts underlying the EGK algorithm help to alleviate the difficulty of cluster identification in the construction of a TS fuzzy model from noisy training data. A new hybrid identification strategy is then formulated, which combines the EGK algorithm with a locally weighted, least-squares method for the estimation of local sub-model parameters. The efficacy of this new approach is demonstrated through function approximation examples and also by application to the identification of an automatic voltage regulation (AVR) loop for a simulated 3 kVA laboratory micro-machine system.

Phosphorus Retention in a Constructed Wetland System used to Treat Dairy Wastewater

The aim of this study was to develop an input/output mass balance to predict phosphorus retention in a five pond constructed wetland system (CWS) at Greenmount Farm, County Antrim, Northern Ireland. The mass balance was created using 14-months of flow data collected at inflow and outflow points on a weekly basis. Balance outputs were correlated with meteorological parameters, such as daily air temperature and hydrological flow, recorded daily onsite. The mass balance showed that phosphorus retention within the system exceeded phosphorus release, illustrating the success of constructed wetland systems to remove nutrients from agricultural effluent from a dairy farm. Pond 5 showed the greatest relative retention of 86%. Comparison of retention and mean air temperature highlighted a striking difference in trends between up-gradient and down-gradient ponds, with Ponds 1 and 2 displaying a positive quadratic relationship and ponds 3 through 5 displaying a negative quadratic relationship.

Molecular Logic Gates and Luminescent Sensors Based on Photoinduced Electron Transfer

The competition between Photoinduced electron transfer (PET) and other de-excitation pathways such as fluorescence and phosphorescence can be controlled within designed molecular structures. Depending on the particular design, the resulting optical output is thus a function of various inputs such as ion concentration and excitation light dose. Once digitized into binary code, these input-output patterns can be interpreted according to Boolean logic. The single-input logic types of YES and NOT cover simple sensors and the double- (or higher-) input logic types represent other gates such as AND and OR. The logic-based arithmetic processors such as half-adders and half-subtractors are also featured. Naturally, a principal application of the more complex gates is in multi-sensing contexts.

Parallel Programming of General-Purpose Programs Using Task-Based Programming Models

The prevalence of multicore processors is bound to drive most kinds of software development towards parallel programming. To limit the difficulty and overhead of parallel software design and maintenance, it is crucial that parallel programming models allow an easy-to-understand, concise and dense representation of parallelism. Parallel programming models such as Cilk++ and Intel TBBs attempt to offer a better, higher-level abstraction for parallel programming than threads and locking synchronization. It is not straightforward, however, to express all patterns of parallelism in these models. Pipelines are an important parallel construct, although difficult to express in Cilk and TBBs in a straightfor- ward way, not without a verbose restructuring of the code. In this paper we demonstrate that pipeline parallelism can be easily and concisely expressed in a Cilk-like language, which we extend with input, output and input/output dependency types on procedure arguments, enforced at runtime by the scheduler. We evaluate our implementation on real applications and show that our Cilk-like scheduler, extended to track and enforce these dependencies has performance comparable to Cilk++.

Discrete cosine transform generator for VLSI synthesis

A generator for the automated design of Discrete Cosine Transform (DCT) cores is presented. This can be used to rapidly create silicon circuits from a high level specification. These compare very favourably with existing designs. The DCT cores produced are scaleable in terms of point size as well as input/output and coefficient wordlengths. This provides a high degree of flexibility. An example, 8-point 1D DCT design, produced occupies less than 0.92 mm when implemented in a 0.35µ double level metal CMOS technology. This can be clocked at a rate of 100MHz.

A molecular photoionic AND gate based on fluorescent signalling

MOLECULES that perform logic operations are prerequisites for molecular information processing and computation. We and others have previously reported receptor molecules that can be considered to perform simple logic operations by coupling ionic bonding or more complex molecular-recognition processes with photonic (fluorescence) signals: in these systems, chemical binding (the 'input') results in a change in fluorescence intensity (the 'output') from the receptor. Here we describe a receptor (molecule (1) in Fig. 1) that operates as a logic device with two input channels: the fluorescence signal depends on whether the molecule binds hydrogen ions, sodium ions or both. The input/output characteristics of this molecular device correspond to those of an AND gate.

Holistic design of 8-way combining transformers in SiGe technology for use in millimetre-wave power amplifiers

This paper presents the design of a novel 8-way power-combining transformer for use in mm-wave power amplifier (PA). The combiner exhibits a record low insertion loss of 1.25 dB at 83.5 GHz. A complete circuit comprised of a power splitter, two-stage cascode PA array, a power combiner and input/output matching elements was designed and realized in SiGe technology. Measured gain of at least 16.8 dB was obtained from 76.4 GHz to 85.3 GHz with a peak 19.5 dB at 83 GHz. The prototype delivered 12.5 dBm OP and 14 dBm saturated output power when operated from a 3.2 V DC supply voltage at 78 GHz. © 2013 IEEE.

Current Developments in Fluorescent PET (Photoinduced Electron Transfer) Sensors and Switches

Following a brief introduction to the principle of fluorescent PET (photoinduced electron transfer) sensors and switches, the outputs of laboratories in various countries from the past year or two are categorized and critically discussed. Emphasis is placed on the molecular design and the experimental outcomes in terms of target-induced fluorescence enhancements and input/output wavelengths. The handling of single targets takes up a major fraction of the review, but the extension to multiple targets is also illustrated. Conceptually new channels of investigation are opened up by the latter approach, e.g. ‘lab-on-a-molecule’ systems and molecular keypad locks. The growing trends of theoretically-fortified design and intracellular application are pointed out.

Prediction of the solar radiation using RBF neural networks and ground-to-sky images

In this study, Artificial Neural Networks are applied to multistep long term solar radiation prediction. The networks are trained as one-step-ahead predictors and iterated over time to obtain multi-step longer term predictions. Auto-regressive and Auto-regressive with exogenous inputs solar radiationmodels are compared, considering cloudiness indices as inputs in the latter case. These indices are obtained through pixel classification of ground-to-sky images. The input-output structure of the neural network models is selected using evolutionary computation methods.

Nearly Serial Sharing Methods

A group of agents participate in a cooperative enterprise producing a single good. Each participant contributes a particular type of input; output is nondecreasing in these contributions. How should it be shared? We analyze the implications of the axiom of Group Monotonicity: if a group of agents simultaneously decrease their input contributions, not all of them should receive a higher share of output. We show that in combination with other more familiar axioms, this condition pins down a very small class of methods, which we dub nearly serial.

The Transmission of Monetary Policy in a Multi-Sector Economy

This paper constructs and estimates a sticky-price, Dynamic Stochastic General Equilibrium model with heterogenous production sectors. Sectors differ in price stickiness, capital-adjustment costs and production technology, and use output from each other as material and investment inputs following an Input-Output Matrix and Capital Flow Table that represent the U.S. economy. By relaxing the standard assumption of symmetry, this model allows different sectoral dynamics in response to monetary policy shocks. The model is estimated by Simulated Method of Moments using sectoral and aggregate U.S. time series. Results indicate 1) substantial heterogeneity in price stickiness across sectors, with quantitatively larger differences between services and goods than previously found in micro studies that focus on final goods alone, 2) a strong sensitivity to monetary policy shocks on the part of construction and durable manufacturing, and 3) similar quantitative predictions at the aggregate level by the multi-sector model and a standard model that assumes symmetry across sectors.

Durable Goods, Inter-Sectoral Linkages and Monetary Policy

Barsky, House and Kimball (2007) show that introducing durable goods into a sticky-price model leads to negative sectoral comovement of production following a monetary policy shock and, under certain conditions, to aggregate neutrality. These results appear to undermine sticky-price models. In this paper, we show that these results are not robust to two prominent and realistic features of the data, namely input-output interactions and limited mobility of productive inputs. When extended to allow for both features, the sticky-price model with durable goods delivers implications in line with VAR evidence on the effects of monetary policy shocks.

Le financement public de l’enseignement supérieur et ses impacts au Pérou : une analyse longitudinale (1993 – 2003)

Cette recherche porte sur le financement public de l’enseignement supérieur au Pérou et ses impacts dans une perspective longitudinale couvant la période 1993-2003. Cette période est importante parce qu’elle a été témoin, dans ce pays, de changements majeurs aux plans du financement public et de la configuration du système d’enseignement supérieur. La recherche consiste principalement dans des analyses secondaires de données pertinentes publiées par des organismes nationaux et internationaux. Les analyses sont structurées à partir d’un schéma d’inputs et outputs. On considère comme inputs les ressources financières et les ressources humaines, lesquelles comprennent les professeurs et les étudiants, et comme outputs les taux de diplomation (efficacité interne) et la demande de diplômés par le marché du travail (efficacité externe). La théorie de la dépendance de ressources sert de cadre pour interpréter les rapports entre le financement public et ses incidences sur les réponses institutionnels et ses conséquences. Dans la période retenue, le financement du secteur public a décru de 32% en raison d’un désengagement progressif de l’État. Une conséquence majeure de la diminution du financement public a été la croissance rapide du secteur privé de l’enseignement supérieur. En effet, alors qu’en 1993 il y avait 24 institutions privées d’enseignement supérieur, il y en avait, en 2003, 46 institutions. La baisse du financement public et la croissance du secteur privé d’enseignement supérieur ont eu des incidences sur la sélectivité des étudiants, sur le statut des professeurs, sur l’implication des universités en recherche et sur les taux de diplomation. Le taux de sélectivité dans le secteur public a augmenté entre 1993 et 2003, alors que ce taux a diminué, dans la même période, dans le secteur privé. Ainsi, le secteur public répond à la diminution du financement en restreignant l’accès à l’enseignement supérieur. Le secteur privé, par contre, diminue sa sélectivité compensant ainsi l’augmentation de la sélectivité dans le secteur public et, par le fait même, augmente sa part de marché. Également, tant dans le secteur public que dans le secteur privé, les professeurs sont engagés principalement sur une base temporaire, ce qui se traduit, particulièrement dans le secteur privé, dans un moindre engagement institutionnel. Enfin, les universités publiques et privées du Pérou font peu de recherche, car elles favorisent, pour balancer leurs budgets, la consultation et les contrats au détriment de la recherche fondamentale. Paradoxalement, alors que, dans le secteur privé, les taux de sélectivité des étudiants diminuent, leurs taux de diplomation augmentent plus que dans le secteur public. Enfin, les formations avec plus d’étudiants inscrits, tant dans le secteur public que privé, sont les moins coûteuses en infrastructure et équipements. Dès lors, la pertinence de la production universitaire devient problématique. Cette recherche révèle que les organisations universitaires, face à un environnement où les ressources financières deviennent de plus en plus rares, développent des stratégies de survie qui peuvent avoir des incidences sur la qualité et la pertinence de l’enseignement supérieur.

Modeling High-Dimensional Audio Sequences with Recurrent Neural Networks

Cette thèse étudie des modèles de séquences de haute dimension basés sur des réseaux de neurones récurrents (RNN) et leur application à la musique et à la parole. Bien qu'en principe les RNN puissent représenter les dépendances à long terme et la dynamique temporelle complexe propres aux séquences d'intérêt comme la vidéo, l'audio et la langue naturelle, ceux-ci n'ont pas été utilisés à leur plein potentiel depuis leur introduction par Rumelhart et al. (1986a) en raison de la difficulté de les entraîner efficacement par descente de gradient. Récemment, l'application fructueuse de l'optimisation Hessian-free et d'autres techniques d'entraînement avancées ont entraîné la recrudescence de leur utilisation dans plusieurs systèmes de l'état de l'art. Le travail de cette thèse prend part à ce développement. L'idée centrale consiste à exploiter la flexibilité des RNN pour apprendre une description probabiliste de séquences de symboles, c'est-à-dire une information de haut niveau associée aux signaux observés, qui en retour pourra servir d'à priori pour améliorer la précision de la recherche d'information. Par exemple, en modélisant l'évolution de groupes de notes dans la musique polyphonique, d'accords dans une progression harmonique, de phonèmes dans un énoncé oral ou encore de sources individuelles dans un mélange audio, nous pouvons améliorer significativement les méthodes de transcription polyphonique, de reconnaissance d'accords, de reconnaissance de la parole et de séparation de sources audio respectivement. L'application pratique de nos modèles à ces tâches est détaillée dans les quatre derniers articles présentés dans cette thèse. Dans le premier article, nous remplaçons la couche de sortie d'un RNN par des machines de Boltzmann restreintes conditionnelles pour décrire des distributions de sortie multimodales beaucoup plus riches. Dans le deuxième article, nous évaluons et proposons des méthodes avancées pour entraîner les RNN. Dans les quatre derniers articles, nous examinons différentes façons de combiner nos modèles symboliques à des réseaux profonds et à la factorisation matricielle non-négative, notamment par des produits d'experts, des architectures entrée/sortie et des cadres génératifs généralisant les modèles de Markov cachés. Nous proposons et analysons également des méthodes d'inférence efficaces pour ces modèles, telles la recherche vorace chronologique, la recherche en faisceau à haute dimension, la recherche en faisceau élagué et la descente de gradient. Finalement, nous abordons les questions de l'étiquette biaisée, du maître imposant, du lissage temporel, de la régularisation et du pré-entraînement.

Photorealistic Surface Rendering with Microfacet Theory

La synthèse d'images dites photoréalistes nécessite d'évaluer numériquement la manière dont la lumière et la matière interagissent physiquement, ce qui, malgré la puissance de calcul impressionnante dont nous bénéficions aujourd'hui et qui ne cesse d'augmenter, est encore bien loin de devenir une tâche triviale pour nos ordinateurs. Ceci est dû en majeure partie à la manière dont nous représentons les objets: afin de reproduire les interactions subtiles qui mènent à la perception du détail, il est nécessaire de modéliser des quantités phénoménales de géométries. Au moment du rendu, cette complexité conduit inexorablement à de lourdes requêtes d'entrées-sorties, qui, couplées à des évaluations d'opérateurs de filtrage complexes, rendent les temps de calcul nécessaires à produire des images sans défaut totalement déraisonnables. Afin de pallier ces limitations sous les contraintes actuelles, il est nécessaire de dériver une représentation multiéchelle de la matière. Dans cette thèse, nous construisons une telle représentation pour la matière dont l'interface correspond à une surface perturbée, une configuration qui se construit généralement via des cartes d'élévations en infographie. Nous dérivons notre représentation dans le contexte de la théorie des microfacettes (conçue à l'origine pour modéliser la réflectance de surfaces rugueuses), que nous présentons d'abord, puis augmentons en deux temps. Dans un premier temps, nous rendons la théorie applicable à travers plusieurs échelles d'observation en la généralisant aux statistiques de microfacettes décentrées. Dans l'autre, nous dérivons une procédure d'inversion capable de reconstruire les statistiques de microfacettes à partir de réponses de réflexion d'un matériau arbitraire dans les configurations de rétroréflexion. Nous montrons comment cette théorie augmentée peut être exploitée afin de dériver un opérateur général et efficace de rééchantillonnage approximatif de cartes d'élévations qui (a) préserve l'anisotropie du transport de la lumière pour n'importe quelle résolution, (b) peut être appliqué en amont du rendu et stocké dans des MIP maps afin de diminuer drastiquement le nombre de requêtes d'entrées-sorties, et (c) simplifie de manière considérable les opérations de filtrage par pixel, le tout conduisant à des temps de rendu plus courts. Afin de valider et démontrer l'efficacité de notre opérateur, nous synthétisons des images photoréalistes anticrenelées et les comparons à des images de référence. De plus, nous fournissons une implantation C++ complète tout au long de la dissertation afin de faciliter la reproduction des résultats obtenus. Nous concluons avec une discussion portant sur les limitations de notre approche, ainsi que sur les verrous restant à lever afin de dériver une représentation multiéchelle de la matière encore plus générale.