A Fuzzy Decision Strategy for Topic Identification and Dynamic Selection of Language Models

International audience

Self-supervised information retrieval: a novel approach based on Deep Metric Learning and Neural Language Models

Most of the existing open-source search engines, utilize keyword or tf-idf based techniques to find relevant documents and web pages relative to an input query. Although these methods, with the help of a page rank or knowledge graphs, proved to be effective in some cases, they often fail to retrieve relevant instances for more complicated queries that would require a semantic understanding to be exploited. In this Thesis, a self-supervised information retrieval system based on transformers is employed to build a semantic search engine over the library of Gruppo Maggioli company. Semantic search or search with meaning can refer to an understanding of the query, instead of simply finding words matches and, in general, it represents knowledge in a way suitable for retrieval. We chose to investigate a new self-supervised strategy to handle the training of unlabeled data based on the creation of pairs of ’artificial’ queries and the respective positive passages. We claim that by removing the reliance on labeled data, we may use the large volume of unlabeled material on the web without being limited to languages or domains where labeled data is abundant.

BAMoL Formalização da linguagem e validação sintática de modelos

A BAMoL (Business Application Modeling Language) é uma linguagem de domínio específico utilizada para o desenvolvimento de soluções para a plataforma myMIS, no âmbito dos sistemas de informação para a gestão. Esta linguagem carecia de dois aspetos, nomeadamente a sua formalização e a existência de mecanismos de validação sintática das soluções desenvolvidas. Estes problemas identificados tornam impossível a validação sintática das soluções desenvolvidas utilizando esta linguagem, aumentando assim a probabilidade de existência de erros, podendo fazer com que as mesmas sejam mais ineficientes e podendo até trazer um aumento de custos de manutenção da plataforma. De forma a resolver os problemas enunciados, foi realizada, para o primeiro, uma descrição textual de todos os constituintes da linguagem e criada uma gramática representativa da mesma, em que constam todos os seus elementos e regras. No caso do segundo problema, a sua resolução passou pela criação de uma ferramenta que utiliza a gramática criada e que permite validar sintaticamente e encontrar as falhas das soluções desenvolvidas. Desta forma, passa a ser possível detetar os erros existentes nas soluções, permitindo assim à equipa de desenvolvimento ter maior controlo sobre as mesmas, podendo torná-las mais corretas, na perspetiva das regras da linguagem.

La Llengua de l'heroi: notes sobre la llengua del segle XX a partir de les traduccions catalanes de David Copperfield de Charles Dickens

Estudi comparatiu de les dues traduccions catalanes publicades de David Copperfield de Charles Dickens. La primera de Josep Carner feta l’any 1930 però publicada el 1964 i la segona obra deJoan Sellent del 2003. L’anàlisi mostra que ambdues traduccions, excel·lents, reflecteixen una evolució singular i força accelerada del model de llengua que els traductors fan arribar al seu públic, que és reflex de la complexa història de la llengua catalana del segle xx, que encara s’had’escriure.

A propòsit de l'edició de Tintín en alguerès i dels problemes de codificació

Based on the experience of the Maria Montessori Teaching Resources Center in Alghero, the Algherese adaptation of 'Tintín al país de l'or negre' (Barcelona, 1995), coordinated by the author of the present article, constitues one of the most successful publications in terms of the creation and utilization of a useful Algherese language model for schoools. On the basis of criteria presented in the paper 'L'ensenyament del català a l'Alguer i la qüestió del model de llengua' at a meeting of the Philological Section of the Institut d'Estudis Catalans in 2000, the model employed applies Catalan spelling standards but, at the same time, is in greater alignment with the Catalan spoken in Alghero from a morphological, lexical and syntactic point of view. the article reflects upon two possible methods of codification, e.g. of Algherese, put forward by the sociolinguist Enrico Chessa who in the process regarded the disparities and differences between spelling and phonetic transcription.

Els manlleus en la revista “Time Out Barcelona”

El present treball constitueix un estudi i una anàlisi sobre les dades obtingudes del buidatge dels manlleus recollits en dos números de la revista catalana Time Out Barcelona. L’objectiu és aprofundir en el tema dels préstecs i extreure algunes conclusions sobre els tipus d’unitats manllevades i el seu tractament.

La llengua de l’heroi : notes sobre la llengua del segle xx a partir de les traduccions catalanes de David Copperfield de Charles Dickens

A comparative study of the two published Catalan translations of Charles Dickens’ David Copperfield, the first translated by Josep Carner in 1930 but not published until 1964, and the second by Joan Sellent in 2003. The analysis shows that both translations, magnificent, reflect the unique evolution of the language model that the translators pass on to their readers, an evolution shaped by the complex history of the Catalan language in the 20th century, which is still to be written

Désambiguisation de sens par modèles de contextes et son application à la Recherche d’Information

Il est connu que les problèmes d'ambiguïté de la langue ont un effet néfaste sur les résultats des systèmes de Recherche d'Information (RI). Toutefois, les efforts de recherche visant à intégrer des techniques de Désambiguisation de Sens (DS) à la RI n'ont pas porté fruit. La plupart des études sur le sujet obtiennent effectivement des résultats négatifs ou peu convaincants. De plus, des investigations basées sur l'ajout d'ambiguïté artificielle concluent qu'il faudrait une très haute précision de désambiguation pour arriver à un effet positif. Ce mémoire vise à développer de nouvelles approches plus performantes et efficaces, se concentrant sur l'utilisation de statistiques de cooccurrence afin de construire des modèles de contexte. Ces modèles pourront ensuite servir à effectuer une discrimination de sens entre une requête et les documents d'une collection. Dans ce mémoire à deux parties, nous ferons tout d'abord une investigation de la force de la relation entre un mot et les mots présents dans son contexte, proposant une méthode d'apprentissage du poids d'un mot de contexte en fonction de sa distance du mot modélisé dans le document. Cette méthode repose sur l'idée que des modèles de contextes faits à partir d'échantillons aléatoires de mots en contexte devraient être similaires. Des expériences en anglais et en japonais montrent que la force de relation en fonction de la distance suit généralement une loi de puissance négative. Les poids résultant des expériences sont ensuite utilisés dans la construction de systèmes de DS Bayes Naïfs. Des évaluations de ces systèmes sur les données de l'atelier Semeval en anglais pour la tâche Semeval-2007 English Lexical Sample, puis en japonais pour la tâche Semeval-2010 Japanese WSD, montrent que les systèmes ont des résultats comparables à l'état de l'art, bien qu'ils soient bien plus légers, et ne dépendent pas d'outils ou de ressources linguistiques. La deuxième partie de ce mémoire vise à adapter les méthodes développées à des applications de Recherche d'Information. Ces applications ont la difficulté additionnelle de ne pas pouvoir dépendre de données créées manuellement. Nous proposons donc des modèles de contextes à variables latentes basés sur l'Allocation Dirichlet Latente (LDA). Ceux-ci seront combinés à la méthodes de vraisemblance de requête par modèles de langue. En évaluant le système résultant sur trois collections de la conférence TREC (Text REtrieval Conference), nous observons une amélioration proportionnelle moyenne de 12% du MAP et 23% du GMAP. Les gains se font surtout sur les requêtes difficiles, augmentant la stabilité des résultats. Ces expériences seraient la première application positive de techniques de DS sur des tâches de RI standard.

Distributed conditional computation

L'objectif de cette thèse est de présenter différentes applications du programme de recherche de calcul conditionnel distribué. On espère que ces applications, ainsi que la théorie présentée ici, mènera à une solution générale du problème d'intelligence artificielle, en particulier en ce qui a trait à la nécessité d'efficience. La vision du calcul conditionnel distribué consiste à accélérer l'évaluation et l'entraînement de modèles profonds, ce qui est très différent de l'objectif usuel d'améliorer sa capacité de généralisation et d'optimisation. Le travail présenté ici a des liens étroits avec les modèles de type mélange d'experts. Dans le chapitre 2, nous présentons un nouvel algorithme d'apprentissage profond qui utilise une forme simple d'apprentissage par renforcement sur un modèle d'arbre de décisions à base de réseau de neurones. Nous démontrons la nécessité d'une contrainte d'équilibre pour maintenir la distribution d'exemples aux experts uniforme et empêcher les monopoles. Pour rendre le calcul efficient, l'entrainement et l'évaluation sont contraints à être éparse en utilisant un routeur échantillonnant des experts d'une distribution multinomiale étant donné un exemple. Dans le chapitre 3, nous présentons un nouveau modèle profond constitué d'une représentation éparse divisée en segments d'experts. Un modèle de langue à base de réseau de neurones est construit à partir des transformations éparses entre ces segments. L'opération éparse par bloc est implémentée pour utilisation sur des cartes graphiques. Sa vitesse est comparée à deux opérations denses du même calibre pour démontrer le gain réel de calcul qui peut être obtenu. Un modèle profond utilisant des opérations éparses contrôlées par un routeur distinct des experts est entraîné sur un ensemble de données d'un milliard de mots. Un nouvel algorithme de partitionnement de données est appliqué sur un ensemble de mots pour hiérarchiser la couche de sortie d'un modèle de langage, la rendant ainsi beaucoup plus efficiente. Le travail présenté dans cette thèse est au centre de la vision de calcul conditionnel distribué émis par Yoshua Bengio. Elle tente d'appliquer la recherche dans le domaine des mélanges d'experts aux modèles profonds pour améliorer leur vitesse ainsi que leur capacité d'optimisation. Nous croyons que la théorie et les expériences de cette thèse sont une étape importante sur la voie du calcul conditionnel distribué car elle cadre bien le problème, surtout en ce qui concerne la compétitivité des systèmes d'experts.

Concept oriented biomedical information retrieval

Le domaine biomédical est probablement le domaine où il y a les ressources les plus riches. Dans ces ressources, on regroupe les différentes expressions exprimant un concept, et définit des relations entre les concepts. Ces ressources sont construites pour faciliter l’accès aux informations dans le domaine. On pense généralement que ces ressources sont utiles pour la recherche d’information biomédicale. Or, les résultats obtenus jusqu’à présent sont mitigés : dans certaines études, l’utilisation des concepts a pu augmenter la performance de recherche, mais dans d’autres études, on a plutôt observé des baisses de performance. Cependant, ces résultats restent difficilement comparables étant donné qu’ils ont été obtenus sur des collections différentes. Il reste encore une question ouverte si et comment ces ressources peuvent aider à améliorer la recherche d’information biomédicale. Dans ce mémoire, nous comparons les différentes approches basées sur des concepts dans un même cadre, notamment l’approche utilisant les identificateurs de concept comme unité de représentation, et l’approche utilisant des expressions synonymes pour étendre la requête initiale. En comparaison avec l’approche traditionnelle de "sac de mots", nos résultats d’expérimentation montrent que la première approche dégrade toujours la performance, mais la seconde approche peut améliorer la performance. En particulier, en appariant les expressions de concepts comme des syntagmes stricts ou flexibles, certaines méthodes peuvent apporter des améliorations significatives non seulement par rapport à la méthode de "sac de mots" de base, mais aussi par rapport à la méthode de Champ Aléatoire Markov (Markov Random Field) qui est une méthode de l’état de l’art dans le domaine. Ces résultats montrent que quand les concepts sont utilisés de façon appropriée, ils peuvent grandement contribuer à améliorer la performance de recherche d’information biomédicale. Nous avons participé au laboratoire d’évaluation ShARe/CLEF 2014 eHealth. Notre résultat était le meilleur parmi tous les systèmes participants.

Relating Dependent Terms in Information Retrieval

Les moteurs de recherche font partie de notre vie quotidienne. Actuellement, plus d’un tiers de la population mondiale utilise l’Internet. Les moteurs de recherche leur permettent de trouver rapidement les informations ou les produits qu'ils veulent. La recherche d'information (IR) est le fondement de moteurs de recherche modernes. Les approches traditionnelles de recherche d'information supposent que les termes d'indexation sont indépendants. Pourtant, les termes qui apparaissent dans le même contexte sont souvent dépendants. L’absence de la prise en compte de ces dépendances est une des causes de l’introduction de bruit dans le résultat (résultat non pertinents). Certaines études ont proposé d’intégrer certains types de dépendance, tels que la proximité, la cooccurrence, la contiguïté et de la dépendance grammaticale. Dans la plupart des cas, les modèles de dépendance sont construits séparément et ensuite combinés avec le modèle traditionnel de mots avec une importance constante. Par conséquent, ils ne peuvent pas capturer correctement la dépendance variable et la force de dépendance. Par exemple, la dépendance entre les mots adjacents "Black Friday" est plus importante que celle entre les mots "road constructions". Dans cette thèse, nous étudions différentes approches pour capturer les relations des termes et de leurs forces de dépendance. Nous avons proposé des méthodes suivantes: ─ Nous réexaminons l'approche de combinaison en utilisant différentes unités d'indexation pour la RI monolingue en chinois et la RI translinguistique entre anglais et chinois. En plus d’utiliser des mots, nous étudions la possibilité d'utiliser bi-gramme et uni-gramme comme unité de traduction pour le chinois. Plusieurs modèles de traduction sont construits pour traduire des mots anglais en uni-grammes, bi-grammes et mots chinois avec un corpus parallèle. Une requête en anglais est ensuite traduite de plusieurs façons, et un score classement est produit avec chaque traduction. Le score final de classement combine tous ces types de traduction. Nous considérons la dépendance entre les termes en utilisant la théorie d’évidence de Dempster-Shafer. Une occurrence d'un fragment de texte (de plusieurs mots) dans un document est considérée comme représentant l'ensemble de tous les termes constituants. La probabilité est assignée à un tel ensemble de termes plutôt qu’a chaque terme individuel. Au moment d’évaluation de requête, cette probabilité est redistribuée aux termes de la requête si ces derniers sont différents. Cette approche nous permet d'intégrer les relations de dépendance entre les termes. Nous proposons un modèle discriminant pour intégrer les différentes types de dépendance selon leur force et leur utilité pour la RI. Notamment, nous considérons la dépendance de contiguïté et de cooccurrence à de différentes distances, c’est-à-dire les bi-grammes et les paires de termes dans une fenêtre de 2, 4, 8 et 16 mots. Le poids d’un bi-gramme ou d’une paire de termes dépendants est déterminé selon un ensemble des caractères, en utilisant la régression SVM. Toutes les méthodes proposées sont évaluées sur plusieurs collections en anglais et/ou chinois, et les résultats expérimentaux montrent que ces méthodes produisent des améliorations substantielles sur l'état de l'art.

Techniques to Improve the word alignments in Statistical Machine Translation from English to Malayalam

In Statistical Machine Translation from English to Malayalam, an unseen English sentence is translated into its equivalent Malayalam translation using statistical models like translation model, language model and a decoder. A parallel corpus of English-Malayalam is used in the training phase. Word to word alignments has to be set up among the sentence pairs of the source and target language before subjecting them for training. This paper is deals with the techniques which can be adopted for improving the alignment model of SMT. Incorporating the parts of speech information into the bilingual corpus has eliminated many of the insignificant alignments. Also identifying the name entities and cognates present in the sentence pairs has proved to be advantageous while setting up the alignments. Moreover, reduction of the unwanted alignments has brought in better training results. Experiments conducted on a sample corpus have generated reasonably good Malayalam translations and the results are verified with F measure, BLEU and WER evaluation metrics

La Llengua de l'heroi: notes sobre la llengua del segle XX a partir de les traduccions catalanes de David Copperfield de Charles Dickens

Estudi comparatiu de les dues traduccions catalanes publicades de David Copperfield de Charles Dickens. La primera de Josep Carner feta l’any 1930 però publicada el 1964 i la segona obra de Joan Sellent del 2003. L’anàlisi mostra que ambdues traduccions, excel·lents, reflecteixen una evolució singular i força accelerada del model de llengua que els traductors fan arribar al seu públic, que és reflex de la complexa història de la llengua catalana del segle xx, que encara s’ha d’escriure.

Linguagem e educação matemática: um mapeamento de usos na sala de aula

Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)

Considerações sobre o uso da linguagem na sala de aula de Matemática

The main goal of this work is to build a sketch on how language is used in mathematics classrooms. We specifically try to understand how teachers use language in order to share meanings with their students. We initially present our main intentions, summarizing some studies that are close to our purposes. The two theoretical frameworks which support our study – the Model of Semantic Fields and the Wittgensteinian “games of language” – are then presented and discussed about their similarities and distinctions. Our empirical data are some classroom activities recorded and turned into “clips”. Such clips were transcribed and our analysis was based on these transcriptions. Data analysis – developed according to our theoretical framework – allowed us to build the so-called “events” and, then, comment on some understandings on how language can be used in mathematics classrooms.