Apprentissage d'espaces sémantiques

Dans cette dissertation, nous présentons plusieurs techniques d’apprentissage d’espaces sémantiques pour plusieurs domaines, par exemple des mots et des images, mais aussi à l’intersection de différents domaines. Un espace de représentation est appelé sémantique si des entités jugées similaires par un être humain, ont leur similarité préservée dans cet espace. La première publication présente un enchaînement de méthodes d’apprentissage incluant plusieurs techniques d’apprentissage non supervisé qui nous a permis de remporter la compétition “Unsupervised and Transfer Learning Challenge” en 2011. Le deuxième article présente une manière d’extraire de l’information à partir d’un contexte structuré (177 détecteurs d’objets à différentes positions et échelles). On montrera que l’utilisation de la structure des données combinée à un apprentissage non supervisé permet de réduire la dimensionnalité de 97% tout en améliorant les performances de reconnaissance de scènes de +5% à +11% selon l’ensemble de données. Dans le troisième travail, on s’intéresse à la structure apprise par les réseaux de neurones profonds utilisés dans les deux précédentes publications. Plusieurs hypothèses sont présentées et testées expérimentalement montrant que l’espace appris a de meilleures propriétés de mixage (facilitant l’exploration de différentes classes durant le processus d’échantillonnage). Pour la quatrième publication, on s’intéresse à résoudre un problème d’analyse syntaxique et sémantique avec des réseaux de neurones récurrents appris sur des fenêtres de contexte de mots. Dans notre cinquième travail, nous proposons une façon d’effectuer de la recherche d’image ”augmentée” en apprenant un espace sémantique joint où une recherche d’image contenant un objet retournerait aussi des images des parties de l’objet, par exemple une recherche retournant des images de ”voiture” retournerait aussi des images de ”pare-brises”, ”coffres”, ”roues” en plus des images initiales.

On the remoteness function in median graphs

A profile on a graph G is any nonempty multiset whose elements are vertices from G. The corresponding remoteness function associates to each vertex x 2 V.G/ the sum of distances from x to the vertices in the profile. Starting from some nice and useful properties of the remoteness function in hypercubes, the remoteness function is studied in arbitrary median graphs with respect to their isometric embeddings in hypercubes. In particular, a relation between the vertices in a median graph G whose remoteness function is maximum (antimedian set of G) with the antimedian set of the host hypercube is found. While for odd profiles the antimedian set is an independent set that lies in the strict boundary of a median graph, there exist median graphs in which special even profiles yield a constant remoteness function. We characterize such median graphs in two ways: as the graphs whose periphery transversal number is 2, and as the graphs with the geodetic number equal to 2. Finally, we present an algorithm that, given a graph G on n vertices and m edges, decides in O.mlog n/ time whether G is a median graph with geodetic number 2

Distributional semantics and machine learning for statistical machine translation

[EU]Lan honetan semantika distribuzionalaren eta ikasketa automatikoaren erabilera aztertzen dugu itzulpen automatiko estatistikoa hobetzeko. Bide horretan, erregresio logistikoan oinarritutako ikasketa automatikoko eredu bat proposatzen dugu hitz-segiden itzulpen- probabilitatea modu dinamikoan modelatzeko. Proposatutako eredua itzulpen automatiko estatistikoko ohiko itzulpen-probabilitateen orokortze bat dela frogatzen dugu, eta testuinguruko nahiz semantika distribuzionaleko informazioa barneratzeko baliatu ezaugarri lexiko, hitz-cluster eta hitzen errepresentazio bektorialen bidez. Horretaz gain, semantika distribuzionaleko ezagutza itzulpen automatiko estatistikoan txertatzeko beste hurbilpen bat lantzen dugu: hitzen errepresentazio bektorial elebidunak erabiltzea hitz-segiden itzulpenen antzekotasuna modelatzeko. Gure esperimentuek proposatutako ereduen baliagarritasuna erakusten dute, emaitza itxaropentsuak eskuratuz oinarrizko sistema sendo baten gainean. Era berean, gure lanak ekarpen garrantzitsuak egiten ditu errepresentazio bektorialen mapaketa elebidunei eta hitzen errepresentazio bektorialetan oinarritutako hitz-segiden antzekotasun neurriei dagokienean, itzulpen automatikoaz haratago balio propio bat dutenak semantika distribuzionalaren arloan.

Finite-dimensional global attractors in Banach spaces

We provide bounds on the upper box-counting dimension of negatively invariant subsets of Banach spaces, a problem that is easily reduced to covering the image of the unit ball under a linear map by a collection of balls of smaller radius. As an application of the abstract theory we show that the global attractors of a very broad class of parabolic partial differential equations (semilinear equations in Banach spaces) are finite-dimensional. (C) 2010 Elsevier Inc. All rights reserved.

TAUT REPRESENTATIONS OF COMPACT SIMPLE LIE GROUPS

The concept of taut submanifold of Euclidean space is due to Carter and West, and can be traced back to the work of Chern and Lashof on immersions with minimal total absolute curvature and the subsequent reformulation of that work by Kuiper in terms of critical point theory. In this paper, we classify the reducible representations of compact simple Lie groups, all of whose orbits are tautly embedded in Euclidean space, with respect to Z(2)-coefficients.

Associated Family of G-Structure Preserving Minimal Immersions in Semi-Riemannian Manifolds

We prove the existence of an associated family of G-structure preserving minimal immersions into semi-Riemannian manifolds endowed with a compatible infinitesimally homogeneous G-structure. We will study in more details minimal embeddings into product of space forms.

Approximate controllability for the semilinear heat equation in RN involving gradient terms

We prove the approximate controllability of the semilinear heat equation in R^N, when the nonlinear term is globally Lipschitz and depends both on the state u and its spatial gradient Ñu. The approximate controllability is viewed as the limit of a sequence of optimal control problems. In order to avoid the difficulties related to the lack of compactness of the Sobolev embeddings, we work with the similarity variables and use weighted Sobolev spaces.

Anomalous gauge couplings from composite Higgs and warped extra dimensions

Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)

Sobre a dimensão do quadrado de um espaço métrico compacto X de dimensão n e o conjunto dos mergulhos de X em R2n

Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)

Social Support Quality in Internet Based Information and Communication: From "Digital Divide" to "Voice Divide"

National and international studies demonstrate that the number of teenagers using the inter-net increases. But even though they actually do have access from different places to the in-formation and communication pool of the internet, there is evidence that the ways in which teenagers use the net - regarding the scope and frequency in which services are used as well as the preferences for different contents of these services - differ significantly in relation to socio-economic status, education, and gender. The results of the regarding empirical studies may be summarised as such: teenager with low (formal ) education especially use internet services embracing 'entertainment, play and fun' while higher educated teenagers (also) prefer intellectually more demanding and particularly services supplying a greater variety of communicative and informative activities. More generally, pedagogical and sociological studies investigating "digital divide" in a dif-ferentiated and sophisticated way - i.e. not only in terms of differences between those who do have access to the Internet and those who do not - suggest that the internet is no space beyond 'social reality' (e.g. DiMaggio & Hargittai 2001, 2003; Vogelgesang, 2002; Welling, 2003). Different modes of utilisation, that structure the internet as a social space are primarily a specific contextualisation of the latter - and thus, the opportunities and constraints in virtual world of the internet are not less than those in the 'real world' related to unequal distribu-tions of material, social and cultural resources as well as social embeddings of the actors involved. This fact of inequality is also true regarding the outcomes of using the internet. Empirical and theoretical results concerning forms and processes of networking and commu-nity building - i.e. sociability in the internet, as well as the social embeddings of the users which are mediated through the internet - suggest that net based communication and infor-mation processes may entail the resource 'social support'. Thus, with reference to social work and the task of compensating the reproduction of social disadvantages - whether they are medial or not - the ways in which teenagers get access to and utilize net based social sup-port are to be analysed.

A feasible theory of truth over combinatory algebra

We define an applicative theory of truth TPT which proves totality exactly for the polynomial time computable functions. TPT has natural and simple axioms since nearly all its truth axioms are standard for truth theories over an applicative framework. The only exception is the axiom dealing with the word predicate. The truth predicate can only reflect elementhood in the words for terms that have smaller length than a given word. This makes it possible to achieve the very low proof-theoretic strength. Truth induction can be allowed without any constraints. For these reasons the system TPT has the high expressive power one expects from truth theories. It allows embeddings of feasible systems of explicit mathematics and bounded arithmetic. The proof that the theory TPT is feasible is not easy. It is not possible to apply a standard realisation approach. For this reason we develop a new realisation approach whose realisation functions work on directed acyclic graphs. In this way, we can express and manipulate realisation information more efficiently.

CB-norm estimates for maps between noncommutative Lp-spaces and quantum channel theory.

In the first part of this work, we show how certain techniques from quantum information theory can be used in order to obtain very sharp embeddings between noncommutative Lp-spaces. Then, we use these estimates to study the classical capacity with restricted assisted entanglement of the quantum erasure channel and the quantum depolarizing channel. In particular, we exactly compute the capacity of the first one and we show that certain nonmultiplicative results hold for the second one.

Learning representations for Information Retrieval

La recherche d'informations s'intéresse, entre autres, à répondre à des questions comme: est-ce qu'un document est pertinent à une requête ? Est-ce que deux requêtes ou deux documents sont similaires ? Comment la similarité entre deux requêtes ou documents peut être utilisée pour améliorer l'estimation de la pertinence ? Pour donner réponse à ces questions, il est nécessaire d'associer chaque document et requête à des représentations interprétables par ordinateur. Une fois ces représentations estimées, la similarité peut correspondre, par exemple, à une distance ou une divergence qui opère dans l'espace de représentation. On admet généralement que la qualité d'une représentation a un impact direct sur l'erreur d'estimation par rapport à la vraie pertinence, jugée par un humain. Estimer de bonnes représentations des documents et des requêtes a longtemps été un problème central de la recherche d'informations. Le but de cette thèse est de proposer des nouvelles méthodes pour estimer les représentations des documents et des requêtes, la relation de pertinence entre eux et ainsi modestement avancer l'état de l'art du domaine. Nous présentons quatre articles publiés dans des conférences internationales et un article publié dans un forum d'évaluation. Les deux premiers articles concernent des méthodes qui créent l'espace de représentation selon une connaissance à priori sur les caractéristiques qui sont importantes pour la tâche à accomplir. Ceux-ci nous amènent à présenter un nouveau modèle de recherche d'informations qui diffère des modèles existants sur le plan théorique et de l'efficacité expérimentale. Les deux derniers articles marquent un changement fondamental dans l'approche de construction des représentations. Ils bénéficient notamment de l'intérêt de recherche dont les techniques d'apprentissage profond par réseaux de neurones, ou deep learning, ont fait récemment l'objet. Ces modèles d'apprentissage élicitent automatiquement les caractéristiques importantes pour la tâche demandée à partir d'une quantité importante de données. Nous nous intéressons à la modélisation des relations sémantiques entre documents et requêtes ainsi qu'entre deux ou plusieurs requêtes. Ces derniers articles marquent les premières applications de l'apprentissage de représentations par réseaux de neurones à la recherche d'informations. Les modèles proposés ont aussi produit une performance améliorée sur des collections de test standard. Nos travaux nous mènent à la conclusion générale suivante: la performance en recherche d'informations pourrait drastiquement être améliorée en se basant sur les approches d'apprentissage de représentations.

Learning representations for Information Retrieval

La recherche d'informations s'intéresse, entre autres, à répondre à des questions comme: est-ce qu'un document est pertinent à une requête ? Est-ce que deux requêtes ou deux documents sont similaires ? Comment la similarité entre deux requêtes ou documents peut être utilisée pour améliorer l'estimation de la pertinence ? Pour donner réponse à ces questions, il est nécessaire d'associer chaque document et requête à des représentations interprétables par ordinateur. Une fois ces représentations estimées, la similarité peut correspondre, par exemple, à une distance ou une divergence qui opère dans l'espace de représentation. On admet généralement que la qualité d'une représentation a un impact direct sur l'erreur d'estimation par rapport à la vraie pertinence, jugée par un humain. Estimer de bonnes représentations des documents et des requêtes a longtemps été un problème central de la recherche d'informations. Le but de cette thèse est de proposer des nouvelles méthodes pour estimer les représentations des documents et des requêtes, la relation de pertinence entre eux et ainsi modestement avancer l'état de l'art du domaine. Nous présentons quatre articles publiés dans des conférences internationales et un article publié dans un forum d'évaluation. Les deux premiers articles concernent des méthodes qui créent l'espace de représentation selon une connaissance à priori sur les caractéristiques qui sont importantes pour la tâche à accomplir. Ceux-ci nous amènent à présenter un nouveau modèle de recherche d'informations qui diffère des modèles existants sur le plan théorique et de l'efficacité expérimentale. Les deux derniers articles marquent un changement fondamental dans l'approche de construction des représentations. Ils bénéficient notamment de l'intérêt de recherche dont les techniques d'apprentissage profond par réseaux de neurones, ou deep learning, ont fait récemment l'objet. Ces modèles d'apprentissage élicitent automatiquement les caractéristiques importantes pour la tâche demandée à partir d'une quantité importante de données. Nous nous intéressons à la modélisation des relations sémantiques entre documents et requêtes ainsi qu'entre deux ou plusieurs requêtes. Ces derniers articles marquent les premières applications de l'apprentissage de représentations par réseaux de neurones à la recherche d'informations. Les modèles proposés ont aussi produit une performance améliorée sur des collections de test standard. Nos travaux nous mènent à la conclusion générale suivante: la performance en recherche d'informations pourrait drastiquement être améliorée en se basant sur les approches d'apprentissage de représentations.

Canonical simplification of finite objects, well quasi-ordered by tree embedding /

"UILU-ENG 79 1727."