From Word Embeddings to Large Vocabulary Neural Machine Translation

Dans ce mémoire, nous examinons certaines propriétés des représentations distribuées de mots et nous proposons une technique pour élargir le vocabulaire des systèmes de traduction automatique neurale. En premier lieu, nous considérons un problème de résolution d'analogies bien connu et examinons l'effet de poids adaptés à la position, le choix de la fonction de combinaison et l'impact de l'apprentissage supervisé. Nous enchaînons en montrant que des représentations distribuées simples basées sur la traduction peuvent atteindre ou dépasser l'état de l'art sur le test de détection de synonymes TOEFL et sur le récent étalon-or SimLex-999. Finalament, motivé par d'impressionnants résultats obtenus avec des représentations distribuées issues de systèmes de traduction neurale à petit vocabulaire (30 000 mots), nous présentons une approche compatible à l'utilisation de cartes graphiques pour augmenter la taille du vocabulaire par plus d'un ordre de magnitude. Bien qu'originalement développée seulement pour obtenir les représentations distribuées, nous montrons que cette technique fonctionne plutôt bien sur des tâches de traduction, en particulier de l'anglais vers le français (WMT'14).

Deutsch als L4 für Muttersprachler des Persischen

Das Erkenntnisinteresse der vorliegenden Arbeit besteht darin, im Rahmen einer explorativ-interpretativen Querschnittstudie vertiefte Einblicke in den Sprachgebrauch von mehrsprachigen Deutschlernenden am Beispiel von Verb-Nomen Kollokationen zu gewinnen. Unter Berücksichtigung der in diesem Zusammenhang bisher nicht untersuchten Sprachenkonstellation L1 Persisch, L2 Englisch, L3 Arabisch und L4 Deutsch sollen die von den Lernenden angewendeten lexikalischen Transferstrategien erforscht werden. Der Untersuchungsgegenstand sind die soziokognitiven Löseprozesse der ProbandInnen bei der dyadischen Bearbeitung von Kollokationsaufgaben. Zur Identifizierung der Transferphänomene und der TL-Strategien (Target Language-Strategien) werden Gesprächs-protokolle ausgewählter Dyaden analysiert. Überdies werden zwecks Rekonstruktion und Interpretation der Löseprozesse stimulated recall-Interviews mit den ProbandInnen herangezogen, wodurch die Datensets miteinander trianguliert werden. Zudem wird ermittelt, inwieweit ausgewählte Faktoren (Psychotypologie, Kompetenz in der Zielsprache und Kompetenz in den zuvor gelernten Sprachen) den Transferprozess beeinflussen. Hierzu dienen die Erkenntnisse aus begleitend durchgeführten Leitfadeninterviews und Sprachstandstests (TOEFL- und Arabischtest). Ferner wird der Arbeitsstil der ProbandInnen bei der dyadischen Aufgabenbearbeitung anhand des Fragebogens Style Analysis Survey von Oxford (1995) bestimmt. An der Studie, die im Deutschen Sprachinstitut Teheran durchgeführt wurde, nahmen 14 iranische Deutschlernende auf dem Niveau B2.1 und C2.2 teil. Sie wurden aufgrund ihrer mittels eines Fragebogens erhobenen Sprachlernbiografien ausgewählt. Die Gesprächsprotokolle der Dyadenarbeit und die Interviews wurden vollständig transkribiert bzw. transliteriert und anschließend qualitativ-interpretativ ausgewertet. Um ihre Wissenslücken bei der Bearbeitung der Kollokationsaufgaben zu kompensieren, setzten die ProbandInnen verschiedene inter- und intralinguale Strategien ein. Dabei ist der L1 Persisch und der L4 Deutsch insgesamt der größte Einfluss beizumessen. Diesbezüglich wird deutlich, dass zwischen Sprachniveau und Transferverhalten der Lernenden ein Zusammenhang besteht, insofern als fortgeschrittene Lernende stärker zu intralingualem Transfer neigen. Zudem lässt sich festhalten, dass ein Zusammenhang zwischen der empfundenen psychotypologischen Distanz und der Rolle der Muttersprache besteht, d.h. bei als größer empfundener psychotypologischer Distanz zwischen Persisch und Deutsch wird seltener aus dem Persischen transferiert. Überdies ist festzustellen, dass die L2 Englisch zwar gelegentlich mitaktiviert wird, jedoch nur eine untergeordnete Rolle spielt. Ein Einfluss der L3 Arabisch kann aus verschiedenen Gründen (u.a. geringes Niveau und mangelnder Gebrauch dieser Sprache) nicht festgestellt werden. Die vorliegende Arbeit versteht sich als ein Plädoyer für die Relevanz der Schulung von Kollokationen im Fremdsprachenunterricht, da die produktive Kollokationskompetenz der ProbandInnen auch auf einem hohen Niveau gravierende Defizite aufweist.

Análise de testes de proficiência em língua inglesa: subsídios à elaboração de um exame para professores de inglês no Brasil

Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)

Expressões idiomáticas do inglês de origem projetiva (metáfora e metonímia): um estudo na interface com o português

Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)

The effect of bilingual representation in prose reading on explicit and implicit memory

Chinese-English bilingual students were randomly assigned to three reading conditions: In the English-English (E-E) condition (n = 44), a text in English was read twice; in the English-Chinese (E-C) condition (n = 30), the English text was read first and its Chinese translation was read second; in the Chinese-English (C-E) condition (n = 30), the Chinese text was read first and English second. An expected explicit memory test on propositions in the format of sentence verification was given followed by an unexpected implicit memory test on unfamiliar word-forms.^ Analyses of covariance were conducted with explicit and implicit memory scores as the dependent variables, reading condition (bilingual versus monolingual) as the independent variable, and TOEFL reading score as the covariate.^ The results showed that the bilingual reading groups outperformed the monolingual reading group on explicit memory tested by sentence-verification but not on implicit memory tested by forced-choice word-identification, implying that bilingual representation facilitates explicit memory of propositional information but not implicit memory of lexical forms. The findings were interpreted as consistent with separate bilingual memory-storage models and the implications of such models in the study of cognitive structures were discussed in relationship to issues of dual coding theory, multiple memory systems, and the linguistic relativity philosophy. ^

Game-Theoretically Allocating Resources to Catch Evaders and Payments to Stabilize Teams

Allocating resources optimally is a nontrivial task, especially when multiple

self-interested agents with conflicting goals are involved. This dissertation

uses techniques from game theory to study two classes of such problems:

allocating resources to catch agents that attempt to evade them, and allocating

payments to agents in a team in order to stabilize it. Besides discussing what

allocations are optimal from various game-theoretic perspectives, we also study

how to efficiently compute them, and if no such algorithms are found, what

computational hardness results can be proved.

The first class of problems is inspired by real-world applications such as the

TOEFL iBT test, course final exams, driver's license tests, and airport security

patrols. We call them test games and security games. This dissertation first

studies test games separately, and then proposes a framework of Catcher-Evader

games (CE games) that generalizes both test games and security games. We show

that the optimal test strategy can be efficiently computed for scored test

games, but it is hard to compute for many binary test games. Optimal Stackelberg

strategies are hard to compute for CE games, but we give an empirically

efficient algorithm for computing their Nash equilibria. We also prove that the

Nash equilibria of a CE game are interchangeable.

The second class of problems involves how to split a reward that is collectively

obtained by a team. For example, how should a startup distribute its shares, and

what salary should an enterprise pay to its employees. Several stability-based

solution concepts in cooperative game theory, such as the core, the least core,

and the nucleolus, are well suited to this purpose when the goal is to avoid

coalitions of agents breaking off. We show that some of these solution concepts

can be justified as the most stable payments under noise. Moreover, by adjusting

the noise models (to be arguably more realistic), we obtain new solution

concepts including the partial nucleolus, the multiplicative least core, and the

multiplicative nucleolus. We then study the computational complexity of those

solution concepts under the constraint of superadditivity. Our result is based

on what we call Small-Issues-Large-Team games and it applies to popular

representation schemes such as MC-nets.

Item and task difficulty in a B2 reading examination: perceptions of test-takers and CEFR alignment experts compared with psychometric measurements

The article presents a study of a CEFR B2-level reading subtest that is part of the Slovenian national secondary school leaving examination in English as a foreign language, and compares the test-taker actual performance (objective difficulty) with the test-taker and expert perceptions of item difficulty (subjective difficulty). The study also analyses the test-takers’ comments on item difficulty obtained from a while-reading questionnaire. The results are discussed in the framework of the existing research in the fields of (the assessment of) reading comprehension, and are addressed with regard to their implications for item-writing, FL teaching and curriculum development.