Two-Stage Orthogonal Least Squares Methods for Neural Network Construction

A number of neural networks can be formulated as the linear-in-the-parameters models. Training such networks can be transformed to a model selection problem where a compact model is selected from all the candidates using subset selection algorithms. Forward selection methods are popular fast subset selection approaches. However, they may only produce suboptimal models and can be trapped into a local minimum. More recently, a two-stage fast recursive algorithm (TSFRA) combining forward selection and backward model refinement has been proposed to improve the compactness and generalization performance of the model. This paper proposes unified two-stage orthogonal least squares methods instead of the fast recursive-based methods. In contrast to the TSFRA, this paper derives a new simplified relationship between the forward and the backward stages to avoid repetitive computations using the inherent orthogonal properties of the least squares methods. Furthermore, a new term exchanging scheme for backward model refinement is introduced to reduce computational demand. Finally, given the error reduction ratio criterion, effective and efficient forward and backward subset selection procedures are proposed. Extensive examples are presented to demonstrate the improved model compactness constructed by the proposed technique in comparison with some popular methods.

Modes de représentation pour l'éclairage en synthèse d'images

Réalisé en cotutelle avec l'Université Bordeaux 1 (France)

Sur l'inégalité de Visser

Soit p un polynôme d'une variable complexe z. On peut trouver plusieurs inégalités reliant le module maximum de p et une combinaison de ses coefficients. Dans ce mémoire, nous étudierons principalement les preuves connues de l'inégalité de Visser. Nous montrerons aussi quelques généralisations de cette inégalité. Finalement, nous obtiendrons quelques applications de l'inégalité de Visser à l'inégalité de Chebyshev.

Families of orthogonal functions defined by the Weyl groups of compact Lie groups

Plusieurs familles de fonctions spéciales de plusieurs variables, appelées fonctions d'orbites, sont définies dans le contexte des groupes de Weyl de groupes de Lie simples compacts/d'algèbres de Lie simples. Ces fonctions sont étudiées depuis près d'un siècle en raison de leur lien avec les caractères des représentations irréductibles des algèbres de Lie simples, mais également de par leurs symétries et orthogonalités. Nous sommes principalement intéressés par la description des relations d'orthogonalité discrète et des transformations discrètes correspondantes, transformations qui permettent l'utilisation des fonctions d'orbites dans le traitement de données multidimensionnelles. Cette description est donnée pour les groupes de Weyl dont les racines ont deux longueurs différentes, en particulier pour les groupes de rang $2$ dans le cas des fonctions d'orbites du type $E$ et pour les groupes de rang $3$ dans le cas de toutes les autres fonctions d'orbites.

Certain problems concerning polynomials and transcendental entire functions of exponential type

Soit $\displaystyle P(z):=\sum_{\nu=0}^na_\nu z^{\nu}$ un polynôme de degré $n$ et $\displaystyle M:=\sup_{|z|=1}|P(z)|.$ Sans aucne restriction suplémentaire, on sait que $|P'(z)|\leq Mn$ pour $|z|\leq 1$ (inégalité de Bernstein). Si nous supposons maintenant que les zéros du polynôme $P$ sont à l'extérieur du cercle $|z|=k,$ quelle amélioration peut-on apporter à l'inégalité de Bernstein? Il est déjà connu [{\bf \ref{Mal1}}] que dans le cas où $k\geq 1$ on a $$(*) \qquad |P'(z)|\leq \frac{n}{1+k}M \qquad (|z|\leq 1),$$ qu'en est-il pour le cas où $k < 1$? Quelle est l'inégalité analogue à $(*)$ pour une fonction entière de type exponentiel $\tau ?$ D'autre part, si on suppose que $P$ a tous ses zéros dans $|z|\geq k \, \, (k\geq 1),$ quelle est l'estimation de $|P'(z)|$ sur le cercle unité, en terme des quatre premiers termes de son développement en série entière autour de l'origine. Cette thèse constitue une contribution à la théorie analytique des polynômes à la lumière de ces questions.

Étude des mécanismes moléculaires impliquant l'homéoprotéine MEIS1 dans le développement de leucémies myéloïdes aigües

Les leucémies myéloïdes aigües résultent d’un dérèglement du processus de l’hématopoïèse et regroupent des maladies hétérogènes qui présentent des profils cliniques et génétiques variés. La compréhension des processus cellulaires responsables de l’initiation et du maintien de ces cancers permettrait de développer des outils thérapeutiques efficaces et ciblés. Au cours des dernières années, une quantité croissante d’anomalies génétiques reliées au développement de leucémies ont été corrélées à une expression anormale des gènes HOX et de leurs cofacteurs MEIS et PBX. Des modèles expérimentaux murins ont confirmé le rôle direct joué par ces protéines dans le développement de leucémies. En effet, la protéine MEIS1 collabore avec HOXA9 dans la leucémogenèse et requiert pour ce faire trois domaines distincts. Deux de ces domaines sont conservés chez PREP1, un membre de la même classe d’homéoprotéine que MEIS1. En utilisant une approche de gain-de-fonction, j’ai confirmé l’importance du rôle joué par le domaine C-terminal de MEIS1 dans l’accélération des leucémies induites par HOXA9. J’ai également montré que l’activité de ce domaine était corrélée avec une signature transcriptionnelle associée à la prolifération cellulaire. J’ai ensuite réalisé un criblage à haut débit afin d’identifier des antagonistes de l’interaction MEIS-PBX, également essentielle à l’accélération des leucémies HOX. À cette fin, j’ai développé un essai de transfert d’énergie de résonance de bioluminescence (BRET) permettant de détecter la dimérisation MEIS-PBX dans les cellules vivantes. Plus de 115 000 composés chimiques ont été testés et suite à une confirmation par un essai orthogonal, une vingtaine de molécules ont été identifiées comme inhibiteurs potentiels. Ces composés pourront être rapidement testés sur la prolifération de cellules leucémiques primaires dans un contexte d’étude préclinique. Finalement, deux approches protéomiques complémentaires ont permis d’identifier des partenaires potentiels de MEIS1 et PREP1. La catégorisation fonctionnelle de ces candidats suggère un nouveau rôle pour ces homéoprotéines dans l’épissage de l’ARN et dans la reconnaissance de l’ADN méthylé.

Modélisation de l'irradiance solaire totale et spectrale et applications à la chimie stratosphérique terrestre

Cette thèse présente des reconstructions de l'irradiance totale et spectrale durant les 400 dernières années à l'aide des modèles pour l'irradiance totale et l'irradiance spectrale dans l'ultraviolet développés à l'Université de Montréal. Tous deux sont basés sur la simulation de l'émergence, de la fragmentation et de l'érosion des taches solaires, qui permet d'obtenir une distribution de l'aire des taches sombres et des facules brillantes en fonction du temps. Ces deux composantes sont principalement responsables de la variation de l'irradiance sur l'échelle de temps de la décennie, qui peut être calculée en sommant leur émissivité à celle de la photosphère inactive. La version améliorée du modèle d'irradiance solaire spectrale MOCASSIM inclut une extension de son domaine spectral entre 150 et 400 nm ainsi que de son domaine temporel, débutant originalement en 1874 et couvrant maintenant la période débutant en 1610 jusqu'au présent. Cela permet de reconstruire le spectre ultraviolet durant le minimum de Maunder et de le comparer à celui du minimum de 2009. Les conclusions tirées de cette étude spécifient que l'émissivité dans l'ultraviolet était plus élevée en 2009 que durant le minimum de Maunder, que le niveau de base de la photosphère non magnétisée contribuait pour environ les deux tiers de cette différence et que les structures magnétiques restantes étaient responsables pour le tiers restant. Le modèle d'irradiance totale a vu son domaine temporel étendu sur la même période et une composante représentant le réseau magnétique de façon réaliste y a été ajoutée. Il a été démontré que les observations des 30 dernières années ne sont bien reproduites qu'en incluant la composante du Soleil non magnétisé variable à long terme. Le processus d'optimisation des paramètres libres du modèle a été effectué en minimisant le carré de la somme de l'écart journalier entre les résultats des calculs et les données observées. Les trois composites disponibles, soit celui du PMOD (Physikalisch Meteorologisches Observatorium Davos), d'ACRIM (ACtive Radiometer Irradiance Monitor) et du IRMB (Institut Royal Météorologique de Belgique), ne sont pas en accord entre eux, en particulier au niveau des minima du cycle d'activité, et le modèle permet seulement de reproduire celui du PMOD avec exactitude lorsque la composante variable à long terme est proportionnelle au flux radio à 10.7 cm. Toutefois, en utilisant des polynômes de Lagrange pour représenter la variation du Soleil inactif, l'accord est amélioré pour les trois composites durant les minima, bien que les relations entre le niveau minimal de l'irradiance et la longueur du cycle précédent varient d'un cas à l'autre. Les résultats obtenus avec le modèle d'irradiance spectrale ont été utilisés dans une étude d'intercomparaison de la réponse de la photochimie stratosphérique à différentes représentations du spectre solaire. Les simulations en mode transitoire d'une durée de 10 jours ont été effectuées avec un spectre solaire constant correspondant soit à une période d'activité minimale ou à une période d'activité maximale. Ceci a permis d'évaluer la réponse de la concentration d'ozone à la variabilité solaire au cours d'un cycle et la différence entre deux minima. En plus de ceux de MOCASSIM, les spectres produits par deux modèles ont été utilisés (NRLSSI et MGNM) ainsi que les données de SIM et SOLSTICE/SORCE. La variabilité spectrale de chacun a été extraite et multipliée à un spectre de base représentant le minimum d'activité afin de simuler le spectre au maximum d'activité. Cela a été effectué dans le but d'isoler l'effet de la variabilité seule et d'exclure celui de la valeur absolue du spectre. La variabilité spectrale d'amplitude relativement élevée des observations de SORCE n'a pas provoqué l'inversion de la réponse de l'ozone à hautes altitudes obtenues par d'autres études, ce qui peut être expliqué par la nature même du modèle utilisé ainsi que par sa limite supérieure en altitude. Finalement, la réponse de l'ozone semble être à peu près proportionnelle à la variabilité de l'intégrale du flux pour lambda<241 nm. La comparaison des concentrations d'ozone obtenues avec les spectres originaux au minimum d'activité démontre que leur différence est du même ordre de grandeur que la variabilité entre le minimum et le maximum d'un cycle typique. Le problème du choix de la reconstruction de l'irradiance à utiliser pour les simulations climatiques dans le passé demeure non résolu.

Development of Shape Descriptors Based on Legendre Polynomials and Content-Based Retrieval of Scoliosis Images

The wealth of information available freely on the web and medical image databases poses a major problem for the end users: how to find the information needed? Content –Based Image Retrieval is the obvious solution.A standard called MPEG-7 was evolved to address the interoperability issues of content-based search.The work presented in this thesis mainly concentrates on developing new shape descriptors and a framework for content – based retrieval of scoliosis images.New region-based and contour based shape descriptor is developed based on orthogonal Legendre polymomials.A novel system for indexing and retrieval of digital spine radiographs with scoliosis is presented.

Some new three-level orthogonal main effects plans robust to model uncertainty

In this paper, we list some new orthogonal main effects plans for three-level designs for 4, 5 and 6 factors in IS runs and compare them with designs obtained from the existing L-18 orthogonal array. We show that these new designs have better projection properties and can provide better parameter estimates for a range of possible models. Additionally, we study designs in other smaller run-sizes when there are insufficient resources to perform an 18-run experiment. Plans for three-level designs for 4, 5 and 6 factors in 13 to 17 runs axe given. We show that the best designs here are efficient and deserve strong consideration in many practical situations.

Fully complex-valued radial basis function networks: orthogonal least squares regression and classification

We consider a fully complex-valued radial basis function (RBF) network for regression and classification applications. For regression problems, the locally regularised orthogonal least squares (LROLS) algorithm aided with the D-optimality experimental design, originally derived for constructing parsimonious real-valued RBF models, is extended to the fully complex-valued RBF (CVRBF) network. Like its real-valued counterpart, the proposed algorithm aims to achieve maximised model robustness and sparsity by combining two effective and complementary approaches. The LROLS algorithm alone is capable of producing a very parsimonious model with excellent generalisation performance while the D-optimality design criterion further enhances the model efficiency and robustness. By specifying an appropriate weighting for the D-optimality cost in the combined model selecting criterion, the entire model construction procedure becomes automatic. An example of identifying a complex-valued nonlinear channel is used to illustrate the regression application of the proposed fully CVRBF network. The proposed fully CVRBF network is also applied to four-class classification problems that are typically encountered in communication systems. A complex-valued orthogonal forward selection algorithm based on the multi-class Fisher ratio of class separability measure is derived for constructing sparse CVRBF classifiers that generalise well. The effectiveness of the proposed algorithm is demonstrated using the example of nonlinear beamforming for multiple-antenna aided communication systems that employ complex-valued quadrature phase shift keying modulation scheme. (C) 2007 Elsevier B.V. All rights reserved.

Construction of tunable radial basis function networks using orthogonal forward selection

An orthogonal forward selection (OFS) algorithm based on leave-one-out (LOO) criteria is proposed for the construction of radial basis function (RBF) networks with tunable nodes. Each stage of the construction process determines an RBF node, namely, its center vector and diagonal covariance matrix, by minimizing the LOO statistics. For regression application, the LOO criterion is chosen to be the LOO mean-square error, while the LOO misclassification rate is adopted in two-class classification application. This OFS-LOO algorithm is computationally efficient, and it is capable of constructing parsimonious RBF networks that generalize well. Moreover, the proposed algorithm is fully automatic, and the user does not need to specify a termination criterion for the construction process. The effectiveness of the proposed RBF network construction procedure is demonstrated using examples taken from both regression and classification applications.

Orthogonal-least-squares regression: A unified approach for data modelling

A unified approach is proposed for data modelling that includes supervised regression and classification applications as well as unsupervised probability density function estimation. The orthogonal-least-squares regression based on the leave-one-out test criteria is formulated within this unified data-modelling framework to construct sparse kernel models that generalise well. Examples from regression, classification and density estimation applications are used to illustrate the effectiveness of this generic data-modelling approach for constructing parsimonious kernel models with excellent generalisation capability. (C) 2008 Elsevier B.V. All rights reserved.

Sparse model identification using orthogonal forward regression with basis pursuit and D-optimality

An efficient model identification algorithm for a large class of linear-in-the-parameters models is introduced that simultaneously optimises the model approximation ability, sparsity and robustness. The derived model parameters in each forward regression step are initially estimated via the orthogonal least squares (OLS), followed by being tuned with a new gradient-descent learning algorithm based on the basis pursuit that minimises the l(1) norm of the parameter estimate vector. The model subset selection cost function includes a D-optimality design criterion that maximises the determinant of the design matrix of the subset to ensure model robustness and to enable the model selection procedure to automatically terminate at a sparse model. The proposed approach is based on the forward OLS algorithm using the modified Gram-Schmidt procedure. Both the parameter tuning procedure, based on basis pursuit, and the model selection criterion, based on the D-optimality that is effective in ensuring model robustness, are integrated with the forward regression. As a consequence the inherent computational efficiency associated with the conventional forward OLS approach is maintained in the proposed algorithm. Examples demonstrate the effectiveness of the new approach.

Random orthogonal matrix simulation

This paper introduces a method for simulating multivariate samples that have exact means, covariances, skewness and kurtosis. We introduce a new class of rectangular orthogonal matrix which is fundamental to the methodology and we call these matrices L matrices. They may be deterministic, parametric or data specific in nature. The target moments determine the L matrix then infinitely many random samples with the same exact moments may be generated by multiplying the L matrix by arbitrary random orthogonal matrices. This methodology is thus termed “ROM simulation”. Considering certain elementary types of random orthogonal matrices we demonstrate that they generate samples with different characteristics. ROM simulation has applications to many problems that are resolved using standard Monte Carlo methods. But no parametric assumptions are required (unless parametric L matrices are used) so there is no sampling error caused by the discrete approximation of a continuous distribution, which is a major source of error in standard Monte Carlo simulations. For illustration, we apply ROM simulation to determine the value-at-risk of a stock portfolio.