Source separation techniques applied to linear prediction

The prediction filters are well known models for signal estimation, in communications, control and many others areas. The classical method for deriving linear prediction coding (LPC) filters is often based on the minimization of a mean square error (MSE). Consequently, second order statistics are only required, but the estimation is only optimal if the residue is independent and identically distributed (iid) Gaussian. In this paper, we derive the ML estimate of the prediction filter. Relationships with robust estimation of auto-regressive (AR) processes, with blind deconvolution and with source separation based on mutual information minimization are then detailed. The algorithm, based on the minimization of a high-order statistics criterion, uses on-line estimation of the residue statistics. Experimental results emphasize on the interest of this approach.

Imaging bilinguals: When the neurosciences meet the languange sciences

The starting point of our investigation was the longstanding notion that bilingual individuals need effective mechanisms to prevent interference from one language while processing material in the other (e.g. Penfield and Roberts, 1959). To demonstrate how the prevention of interference is implemented in the brain we employed event-related brain potentials (ERPs; see Munte, Urbach, ¨ Duzel and Kutas, 2000, for an introductory review) ¨ and functional magnetic resonance imaging (fMRI) techniques, thus pursuing a combined temporal and spatial imaging approach. In contrast to previous investigations using neuroimaging techniques in bilinguals, which had been mainly concerned with the localization of the primary and secondary languages (e.g. Perani, Paulesu, Galles, Dupoux, Dehaene, Bettinardi, Cappa, Fazio and Mehler, 1998; Chee, Caplan, Soon, Sriram, Tan, Thiel and Weekes, 1999), our study addressed the dynamic aspects of bilingual language processing.

Kernel-Based Ranking. Methods for Learning and Performance Estimation

Machine learning provides tools for automated construction of predictive models in data intensive areas of engineering and science. The family of regularized kernel methods have in the recent years become one of the mainstream approaches to machine learning, due to a number of advantages the methods share. The approach provides theoretically well-founded solutions to the problems of under- and overfitting, allows learning from structured data, and has been empirically demonstrated to yield high predictive performance on a wide range of application domains. Historically, the problems of classification and regression have gained the majority of attention in the field. In this thesis we focus on another type of learning problem, that of learning to rank. In learning to rank, the aim is from a set of past observations to learn a ranking function that can order new objects according to how well they match some underlying criterion of goodness. As an important special case of the setting, we can recover the bipartite ranking problem, corresponding to maximizing the area under the ROC curve (AUC) in binary classification. Ranking applications appear in a large variety of settings, examples encountered in this thesis include document retrieval in web search, recommender systems, information extraction and automated parsing of natural language. We consider the pairwise approach to learning to rank, where ranking models are learned by minimizing the expected probability of ranking any two randomly drawn test examples incorrectly. The development of computationally efficient kernel methods, based on this approach, has in the past proven to be challenging. Moreover, it is not clear what techniques for estimating the predictive performance of learned models are the most reliable in the ranking setting, and how the techniques can be implemented efficiently. The contributions of this thesis are as follows. First, we develop RankRLS, a computationally efficient kernel method for learning to rank, that is based on minimizing a regularized pairwise least-squares loss. In addition to training methods, we introduce a variety of algorithms for tasks such as model selection, multi-output learning, and cross-validation, based on computational shortcuts from matrix algebra. Second, we improve the fastest known training method for the linear version of the RankSVM algorithm, which is one of the most well established methods for learning to rank. Third, we study the combination of the empirical kernel map and reduced set approximation, which allows the large-scale training of kernel machines using linear solvers, and propose computationally efficient solutions to cross-validation when using the approach. Next, we explore the problem of reliable cross-validation when using AUC as a performance criterion, through an extensive simulation study. We demonstrate that the proposed leave-pair-out cross-validation approach leads to more reliable performance estimation than commonly used alternative approaches. Finally, we present a case study on applying machine learning to information extraction from biomedical literature, which combines several of the approaches considered in the thesis. The thesis is divided into two parts. Part I provides the background for the research work and summarizes the most central results, Part II consists of the five original research articles that are the main contribution of this thesis.

Linguistic models for decision support

Linguistic modelling is a rather new branch of mathematics that is still undergoing rapid development. It is closely related to fuzzy set theory and fuzzy logic, but knowledge and experience from other fields of mathematics, as well as other fields of science including linguistics and behavioral sciences, is also necessary to build appropriate mathematical models. This topic has received considerable attention as it provides tools for mathematical representation of the most common means of human communication - natural language. Adding a natural language level to mathematical models can provide an interface between the mathematical representation of the modelled system and the user of the model - one that is sufficiently easy to use and understand, but yet conveys all the information necessary to avoid misinterpretations. It is, however, not a trivial task and the link between the linguistic and computational level of such models has to be established and maintained properly during the whole modelling process. In this thesis, we focus on the relationship between the linguistic and the mathematical level of decision support models. We discuss several important issues concerning the mathematical representation of meaning of linguistic expressions, their transformation into the language of mathematics and the retranslation of mathematical outputs back into natural language. In the first part of the thesis, our view of the linguistic modelling for decision support is presented and the main guidelines for building linguistic models for real-life decision support that are the basis of our modeling methodology are outlined. From the theoretical point of view, the issues of representation of meaning of linguistic terms, computations with these representations and the retranslation process back into the linguistic level (linguistic approximation) are studied in this part of the thesis. We focus on the reasonability of operations with the meanings of linguistic terms, the correspondence of the linguistic and mathematical level of the models and on proper presentation of appropriate outputs. We also discuss several issues concerning the ethical aspects of decision support - particularly the loss of meaning due to the transformation of mathematical outputs into natural language and the issue or responsibility for the final decisions. In the second part several case studies of real-life problems are presented. These provide background and necessary context and motivation for the mathematical results and models presented in this part. A linguistic decision support model for disaster management is presented here – formulated as a fuzzy linear programming problem and a heuristic solution to it is proposed. Uncertainty of outputs, expert knowledge concerning disaster response practice and the necessity of obtaining outputs that are easy to interpret (and available in very short time) are reflected in the design of the model. Saaty’s analytic hierarchy process (AHP) is considered in two case studies - first in the context of the evaluation of works of art, where a weak consistency condition is introduced and an adaptation of AHP for large matrices of preference intensities is presented. The second AHP case-study deals with the fuzzified version of AHP and its use for evaluation purposes – particularly the integration of peer-review into the evaluation of R&D outputs is considered. In the context of HR management, we present a fuzzy rule based evaluation model (academic faculty evaluation is considered) constructed to provide outputs that do not require linguistic approximation and are easily transformed into graphical information. This is achieved by designing a specific form of fuzzy inference. Finally the last case study is from the area of humanities - psychological diagnostics is considered and a linguistic fuzzy model for the interpretation of outputs of multidimensional questionnaires is suggested. The issue of the quality of data in mathematical classification models is also studied here. A modification of the receiver operating characteristics (ROC) method is presented to reflect variable quality of data instances in the validation set during classifier performance assessment. Twelve publications on which the author participated are appended as a third part of this thesis. These summarize the mathematical results and provide a closer insight into the issues of the practicalapplications that are considered in the second part of the thesis.

Sentence Compression with Supervised Machine Learning

The subject of the thesis is automatic sentence compression with machine learning, so that the compressed sentences remain both grammatical and retain their essential meaning. There are multiple possible uses for the compression of natural language sentences. In this thesis the focus is generation of television program subtitles, which often are compressed version of the original script of the program. The main part of the thesis consists of machine learning experiments for automatic sentence compression using different approaches to the problem. The machine learning methods used for this work are linear-chain conditional random fields and support vector machines. Also we take a look which automatic text analysis methods provide useful features for the task. The data used for machine learning is supplied by Lingsoft Inc. and consists of subtitles in both compressed an uncompressed form. The models are compared to a baseline system and comparisons are made both automatically and also using human evaluation, because of the potentially subjective nature of the output. The best result is achieved using a CRF - sequence classification using a rich feature set. All text analysis methods help classification and most useful method is morphological analysis. Tutkielman aihe on suomenkielisten lauseiden automaattinen tiivistäminen koneellisesti, niin että lyhennetyt lauseet säilyttävät olennaisen informaationsa ja pysyvät kieliopillisina. Luonnollisen kielen lauseiden tiivistämiselle on monta käyttötarkoitusta, mutta tässä tutkielmassa aihetta lähestytään television ohjelmien tekstittämisen kautta, johon käytännössä kuuluu alkuperäisen tekstin lyhentäminen televisioruudulle paremmin sopivaksi. Tutkielmassa kokeillaan erilaisia koneoppimismenetelmiä tekstin automaatiseen lyhentämiseen ja tarkastellaan miten hyvin erilaiset luonnollisen kielen analyysimenetelmät tuottavat informaatiota, joka auttaa näitä menetelmiä lyhentämään lauseita. Lisäksi tarkastellaan minkälainen lähestymistapa tuottaa parhaan lopputuloksen. Käytetyt koneoppimismenetelmät ovat tukivektorikone ja lineaarisen sekvenssin mallinen CRF. Koneoppimisen tukena käytetään tekstityksiä niiden eri käsittelyvaiheissa, jotka on saatu Lingsoft OY:ltä. Luotuja malleja vertaillaan Lopulta mallien lopputuloksia evaluoidaan automaattisesti ja koska teksti lopputuksena on jossain määrin subjektiivinen myös ihmisarviointiin perustuen. Vertailukohtana toimii kirjallisuudesta poimittu menetelmä. Tutkielman tuloksena paras lopputulos saadaan aikaan käyttäen CRF sekvenssi-luokittelijaa laajalla piirrejoukolla. Kaikki kokeillut teksin analyysimenetelmät auttavat luokittelussa, joista tärkeimmän panoksen antaa morfologinen analyysi.

Generating Relation Algebras for Qualitative Spatial Reasoning

Basic relationships between certain regions of space are formulated in natural language in everyday situations. For example, a customer specifies the outline of his future home to the architect by indicating which rooms should be close to each other. Qualitative spatial reasoning as an area of artificial intelligence tries to develop a theory of space based on similar notions. In formal ontology and in ontological computer science, mereotopology is a first-order theory, embodying mereological and topological concepts, of the relations among wholes, parts, parts of parts, and the boundaries between parts. We shall introduce abstract relation algebras and present their structural properties as well as their connection to algebras of binary relations. This will be followed by details of the expressiveness of algebras of relations for region based models. Mereotopology has been the main basis for most region based theories of space. Since its earliest inception many theories have been proposed for mereotopology in artificial intelligence among which Region Connection Calculus is most prominent. The expressiveness of the region connection calculus in relational logic is far greater than its original eight base relations might suggest. In the thesis we formulate ways to automatically generate representable relation algebras using spatial data based on region connection calculus. The generation of new algebras is a two pronged approach involving splitting of existing relations to form new algebras and refinement of such newly generated algebras. We present an implementation of a system for automating aforementioned steps and provide an effective and convenient interface to define new spatial relations and generate representable relational algebras.

Region Connection Calculus: Composition Tables and Constraint Satisfaction Problems

Qualitative spatial reasoning (QSR) is an important field of AI that deals with qualitative aspects of spatial entities. Regions and their relationships are described in qualitative terms instead of numerical values. This approach models human based reasoning about such entities closer than other approaches. Any relationships between regions that we encounter in our daily life situations are normally formulated in natural language. For example, one can outline one's room plan to an expert by indicating which rooms should be connected to each other. Mereotopology as an area of QSR combines mereology, topology and algebraic methods. As mereotopology plays an important role in region based theories of space, our focus is on one of the most widely referenced formalisms for QSR, the region connection calculus (RCC). RCC is a first order theory based on a primitive connectedness relation, which is a binary symmetric relation satisfying some additional properties. By using this relation we can define a set of basic binary relations which have the property of being jointly exhaustive and pairwise disjoint (JEPD), which means that between any two spatial entities exactly one of the basic relations hold. Basic reasoning can now be done by using the composition operation on relations whose results are stored in a composition table. Relation algebras (RAs) have become a main entity for spatial reasoning in the area of QSR. These algebras are based on equational reasoning which can be used to derive further relations between regions in a certain situation. Any of those algebras describe the relation between regions up to a certain degree of detail. In this thesis we will use the method of splitting atoms in a RA in order to reproduce known algebras such as RCC15 and RCC25 systematically and to generate new algebras, and hence a more detailed description of regions, beyond RCC25.

L’approche psycholinguistique de la mémoire à court terme verbale : études neuropsychologiques

L’approche psycholinguistique suggère que la rétention à court terme verbale et le langage dépendent de mécanismes communs. Elle prédit que les caractéristiques linguistiques des items verbaux (e.g. phonologiques, lexicales, sémantiques) influencent le rappel immédiat (1) et que la contribution des niveaux de représentations linguistiques dépend du contexte de rappel, certaines conditions expérimentales (e.g. format des stimuli) favorisant l’utilisation de codes spécifiques (2). Ces prédictions sont évaluées par le biais de deux études empiriques réalisées auprès d’une patiente cérébrolésée qui présente une atteinte du traitement phonologique (I.R.) et de participants contrôles. Une première étude (Article 1) teste l’impact des modes de présentation et de rappel sur les effets de similarité phonologique et de catégorie sémantique de listes de mots. Une seconde étude (Article 2) évalue la contribution du code orthographique en mémoire à court terme (MCT) verbale en testant l’effet de la densité du voisinage orthographique des mots sur le rappel sériel immédiat de mots présentés visuellement. Compte tenu du rôle déterminant du code phonologique en MCT et du type d’atteinte de I.R., des effets linguistiques distincts étaient attendus chez elle et chez les contrôles. Selon le contexte de rappel, des effets sémantiques (Article 1) et orthographiques (Article 2) plus importants étaient prédits chez I.R. et des effets phonologiques plus marqués étaient attendus chez les participants contrôles. Chez I.R., le rappel est influencé par les caractéristiques sémantiques et orthographiques des mots, mais peu par leurs caractéristiques phonologiques et le contexte de rappel module l’utilisation de différents niveaux de représentations linguistiques. Chez les contrôles, une contribution relativement plus stable des représentations phonologiques est observée. Les données appuient une approche psycholinguistique qui postule que des mécanismes communs régissent la rétention à court terme verbale et le langage. Les implications théoriques et cliniques des résultats sont discutées en regard de modèles psycholinguistiques actuels.

Vieillissement et réorganisation neurofonctionnelle pour le traitement du sens métaphorique des mots

Compte tenu de l ’importante augmentation de l ’espérance de vie de la population générale observée dans les dernières décennies, les études portant sur les modifications des fonctions cognitives lors du vieillissement normal et pathologique se révèlent d'un grand intérêt. Les résultats rapportés dans cette thèse contribuent à une meilleure compréhension de la nature des modifications avec l ’âge du traitement du sens métaphorique des mots et du phénomène de réorganisation fonctionnelle sous-tendant ces processus. Après une revue de littérature (chapitre 1), un premier article définissant la problématique générale du traitement du langage lors du vieillissement normal inaugure la série de travaux présentés dans cette thèse. Cet article, présenté dans le chapitre 2, confirme l ’importance du développement d ’études spécifiques permettant de faire le lien entre les différentes hypothèses portant sur les changements cognitifs propres au vieillissement normal et celles portant sur les changements propres au substrat neurobiologique du langage. Le chapitre 3 présente une étude comportementale ayant pour objectif d ’évaluer la disponibilité des ressources attentionnelles pour le traitement phonologique et sémantique des mots ainsi que son évolution possible avec l ’âge. Les conclusions tirées de cette étude vont dans le sens d ’une restriction des ressources attentionnelles particulièrement pour le traitement du sens métaphorique des mots lors du vieillissement normal. Le chapitre 4 présente une étude en neuroimagerie fonctionnelle. Cette étude a été réalisée afin de comparer les profils d'activation cérébrale des participants jeunes et âgés lors du traitement du sens métaphorique des mots. Les résultats obtenus soulignent qu ’autant pour les participants jeunes que pour les participants âgés, le traitement du sens métaphorique des mots pourrait imposer au cerveau le partage des ressources attentionnelles. Néanmoins, ils montrent une réorganisation fonctionnelle chez les participants âgés. L ’ensemble des travaux présentés appuie l ’hypothèse d ’une attribution différentielle des ressources attentionnelles ainsi que celle d ’une réorganisation fonctionnelle chez les participants âgés pour le traitement du sens métaphorique des mots. Les résultats viennent enrichir la compréhension des modèles neurocognitifs du vieillissement en ce qui concerne l ’évolution des bases neurobiologiques du langage.

Modeling High-Dimensional Audio Sequences with Recurrent Neural Networks

Cette thèse étudie des modèles de séquences de haute dimension basés sur des réseaux de neurones récurrents (RNN) et leur application à la musique et à la parole. Bien qu'en principe les RNN puissent représenter les dépendances à long terme et la dynamique temporelle complexe propres aux séquences d'intérêt comme la vidéo, l'audio et la langue naturelle, ceux-ci n'ont pas été utilisés à leur plein potentiel depuis leur introduction par Rumelhart et al. (1986a) en raison de la difficulté de les entraîner efficacement par descente de gradient. Récemment, l'application fructueuse de l'optimisation Hessian-free et d'autres techniques d'entraînement avancées ont entraîné la recrudescence de leur utilisation dans plusieurs systèmes de l'état de l'art. Le travail de cette thèse prend part à ce développement. L'idée centrale consiste à exploiter la flexibilité des RNN pour apprendre une description probabiliste de séquences de symboles, c'est-à-dire une information de haut niveau associée aux signaux observés, qui en retour pourra servir d'à priori pour améliorer la précision de la recherche d'information. Par exemple, en modélisant l'évolution de groupes de notes dans la musique polyphonique, d'accords dans une progression harmonique, de phonèmes dans un énoncé oral ou encore de sources individuelles dans un mélange audio, nous pouvons améliorer significativement les méthodes de transcription polyphonique, de reconnaissance d'accords, de reconnaissance de la parole et de séparation de sources audio respectivement. L'application pratique de nos modèles à ces tâches est détaillée dans les quatre derniers articles présentés dans cette thèse. Dans le premier article, nous remplaçons la couche de sortie d'un RNN par des machines de Boltzmann restreintes conditionnelles pour décrire des distributions de sortie multimodales beaucoup plus riches. Dans le deuxième article, nous évaluons et proposons des méthodes avancées pour entraîner les RNN. Dans les quatre derniers articles, nous examinons différentes façons de combiner nos modèles symboliques à des réseaux profonds et à la factorisation matricielle non-négative, notamment par des produits d'experts, des architectures entrée/sortie et des cadres génératifs généralisant les modèles de Markov cachés. Nous proposons et analysons également des méthodes d'inférence efficaces pour ces modèles, telles la recherche vorace chronologique, la recherche en faisceau à haute dimension, la recherche en faisceau élagué et la descente de gradient. Finalement, nous abordons les questions de l'étiquette biaisée, du maître imposant, du lissage temporel, de la régularisation et du pré-entraînement.

Développement et implémentation du jeu des vingt questions

Ce document est un rapport de stage de maitrise qui portait sur la réalisation d'un jeu de 20 questions (20Q) consistant à faire deviner par l’ordinateur un objet d'une maison ou un environnement choisi par le joueur. L’ordinateur pose des questions en langue naturelle et analyse les réponses des joueurs. Ce jeu de 20Q a pour but de faire la publicité gratuite de l'entreprise d'accueil, North Side Inc. 20Q est lié au projet Bot Colony, un jeu vidéo développé par l'entreprise basé sur la capacité de conversation et de compréhension des personnages du jeu. Cette technologie est utilisée dans 20Q sous forme de digressions et aussi indirectement au sein de l'algorithme, des définitions et des liens avec les besoins humains. 20Q est présenté sur une plateforme web qui permet au joueur un accès libre et gratuit à travers le portail de Bot Colony. Pour susciter l'intérêt des joueurs et attirer plus d'internautes, nous avons ajouté un aspect de compétition avec un système de classement et de points. Nous présentons également le déroulement du stage au sein de l’entreprise.

Changes in cortical and sub-cortical patterns of activity associated with aging during the performance of a lexical set-shifting task

Bien que le passage du temps altère le cerveau, la cognition ne suit pas nécessairement le même destin. En effet, il existe des mécanismes compensatoires qui permettent de préserver la cognition (réserve cognitive) malgré le vieillissement. Les personnes âgées peuvent utiliser de nouveaux circuits neuronaux (compensation neuronale) ou des circuits existants moins susceptibles aux effets du vieillissement (réserve neuronale) pour maintenir un haut niveau de performance cognitive. Toutefois, la façon dont ces mécanismes affectent l’activité corticale et striatale lors de tâches impliquant des changements de règles (set-shifting) et durant le traitement sémantique et phonologique n’a pas été extensivement explorée. Le but de cette thèse est d’explorer comment le vieillissement affecte les patrons d’activité cérébrale dans les processus exécutifs d’une part et dans l’utilisation de règles lexicales d’autre part. Pour cela nous avons utilisé l’imagerie par résonance magnétique fonctionnelle (IRMf) lors de la performance d’une tâche lexicale analogue à celle du Wisconsin. Cette tâche a été fortement liée à de l’activité fronto-stritale lors des changements de règles, ainsi qu’à la mobilisation de régions associées au traitement sémantique et phonologique lors de décisions sémantiques et phonologiques, respectivement. Par conséquent, nous avons comparé l’activité cérébrale de jeunes individus (18 à 35 ans) à celle d’individus âgés (55 à 75 ans) lors de l’exécution de cette tâche. Les deux groupes ont montré l’implication de boucles fronto-striatales associées à la planification et à l’exécution de changements de règle. Toutefois, alors que les jeunes semblaient activer une « boucle cognitive » (cortex préfrontal ventrolatéral, noyau caudé et thalamus) lorsqu’ils se voyaient indiquer qu’un changement de règle était requis, et une « boucle motrice » (cortex postérieur préfrontal et putamen) lorsqu’ils devaient effectuer le changement, les participants âgés montraient une activation des deux boucles lors de l’exécution des changements de règle seulement. Les jeunes adultes tendaient à présenter une augmentation de l’activité du cortex préfrontal ventrolatéral, du gyrus fusiforme, du lobe ventral temporale et du noyau caudé lors des décisions sémantiques, ainsi que de l’activité au niveau de l’aire de Broca postérieur, de la junction temporopariétale et du cortex moteur lors de décisions phonologiques. Les participants âgés ont montré de l’activité au niveau du cortex préfrontal latéral et moteur durant les deux types de décisions lexicales. De plus, lorsque les décisions sémantiques et phonologiques ont été comparées entre elles, les jeunes ont montré des différences significatives au niveau de plusieurs régions cérébrales, mais pas les âgés. En conclusion, notre première étude a montré, lors du set-shifting, un délai de l’activité cérébrale chez les personnes âgées. Cela nous a permis de conceptualiser l’Hypothèse Temporelle de Compensation (troisième manuscrit) qui consiste en l’existence d’un mécanisme compensatoire caractérisé par un délai d’activité cérébrale lié au vieillissement permettant de préserver la cognition au détriment de la vitesse d’exécution. En ce qui concerne les processus langagiers (deuxième étude), les circuits sémantiques et phonologiques semblent se fusionner dans un seul circuit chez les individus âgés, cela représente vraisemblablement des mécanismes de réserve et de compensation neuronales qui permettent de préserver les habilités langagières.

Design and Development of a Frame Based MT System for English-to-ISL

This paper presents the design and development of a frame based approach for speech to sign language machine translation system in the domain of railways and banking. This work aims to utilize the capability of Artificial intelligence for the improvement of physically challenged, deaf-mute people. Our work concentrates on the sign language used by the deaf community of Indian subcontinent which is called Indian Sign Language (ISL). Input to the system is the clerk’s speech and the output of this system is a 3D virtual human character playing the signs for the uttered phrases. The system builds up 3D animation from pre-recorded motion capture data. Our work proposes to build a Malayalam to ISL

Boundaries and Topological Algorithms

This thesis develops a model for the topological structure of situations. In this model, the topological structure of space is altered by the presence or absence of boundaries, such as those at the edges of objects. This allows the intuitive meaning of topological concepts such as region connectivity, function continuity, and preservation of topological structure to be modeled using the standard mathematical definitions. The thesis shows that these concepts are important in a wide range of artificial intelligence problems, including low-level vision, high-level vision, natural language semantics, and high-level reasoning.

The Unsupervised Acquisition of a Lexicon from Continuous Speech

We present an unsupervised learning algorithm that acquires a natural-language lexicon from raw speech. The algorithm is based on the optimal encoding of symbol sequences in an MDL framework, and uses a hierarchical representation of language that overcomes many of the problems that have stymied previous grammar-induction procedures. The forward mapping from symbol sequences to the speech stream is modeled using features based on articulatory gestures. We present results on the acquisition of lexicons and language models from raw speech, text, and phonetic transcripts, and demonstrate that our algorithm compares very favorably to other reported results with respect to segmentation performance and statistical efficiency.