On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

Welfare criteria from choice: the sequential solution

We study the problem of deriving a complete welfare ordering from a choice function. Under the sequential solution, the best alternative is the alternative chosen from the universal set; the second best is the one chosen when the best alternative is removed; and so on. We show that this is the only completion of Bernheim and Rangel's (2009) welfare relation that satisfies two natural axioms: neutrality, which ensures that the names of the alternatives are welfare-irrelevant; and persistence, which stipulates that every choice function between two welfare-identical choice functions must exhibit the same welfare ordering.

Problème du paradigme dans l'approche écologique de l'individualité chez Turner : une solution méréologique inspirée de Dupré et O'Malley

Ce mémoire propose une étude de la théorie de l’individualité biologique développée par Turner, des problèmes inhérents à celle-ci ainsi qu’une approche qui permet de surmonter les problèmes de la théorie de Turner tout en prenant en compte les aspects importants de cette dernière. Nous montrerons en premier lieu pourquoi, selon Turner, l’individualité est une question écologique et que l’individu ne peut être compris sans ses parties abiotiques si celles-ci jouent un rôle dans la fonctionnalité de l’individu. Par la suite, nous démontrerons que l’approche de Turner est sujette au problème du paradigme développé par Haber. Enfin, en s’inspirant de la théorie de l’individualité de Dupré et O’Malley et de leurs études sur les bactéries, nous forgerons une nouvelle théorie portée sur la fonctionnalité, qualifiée d’approche méréologique, qui surmonte les problèmes exposés tout en prenant en compte le rôle que les parties abiotiques jouent dans le fonctionnement de l’individu.

The berth allocation problem at port terminals : a column generation framework

Le problème d'allocation de postes d'amarrage (PAPA) est l'un des principaux problèmes de décision aux terminaux portuaires qui a été largement étudié. Dans des recherches antérieures, le PAPA a été reformulé comme étant un problème de partitionnement généralisé (PPG) et résolu en utilisant un solveur standard. Les affectations (colonnes) ont été générées a priori de manière statique et fournies comme entrée au modèle %d'optimisation. Cette méthode est capable de fournir une solution optimale au problème pour des instances de tailles moyennes. Cependant, son inconvénient principal est l'explosion du nombre d'affectations avec l'augmentation de la taille du problème, qui fait en sorte que le solveur d'optimisation se trouve à court de mémoire. Dans ce mémoire, nous nous intéressons aux limites de la reformulation PPG. Nous présentons un cadre de génération de colonnes où les affectations sont générées de manière dynamique pour résoudre les grandes instances du PAPA. Nous proposons un algorithme de génération de colonnes qui peut être facilement adapté pour résoudre toutes les variantes du PAPA en se basant sur différents attributs spatiaux et temporels. Nous avons testé notre méthode sur un modèle d'allocation dans lequel les postes d'amarrage sont considérés discrets, l'arrivée des navires est dynamique et finalement les temps de manutention dépendent des postes d'amarrage où les bateaux vont être amarrés. Les résultats expérimentaux des tests sur un ensemble d'instances artificielles indiquent que la méthode proposée permet de fournir une solution optimale ou proche de l'optimalité même pour des problème de très grandes tailles en seulement quelques minutes.

Glycosidation avec protection minimale en solution et sur support solide

Les glycosides sont reconnus pour leur potentiel pharmaceutique tels que les antibiotiques, les agents anticancéreux et antiviraux. Ils sont impliqués dans plusieurs processus biologiques entre autres la reconnaissance cellulaire, l’inflammation, la réponse immunitaire, la croissance, le transport cellulaire, l’adhésion cellulaire et les groupes sanguin. Notre groupe excelle dans la glycosidation stéréocontrôlée avec un minimum de protection suivant le concept d’activation à distance d’aglycones hétérocycliques anomériques. La présence d’une quantité sous stoechiométrique d’acide de Lewis, les (2-pyridyl)-β-D-glycosides déprotégés sont d’excellents donneurs permettant de haute sélectivité pour l’anomère- α-D de glycosides simples et complexes. Inversement, (2-pyridyl)-α-D-glycosides donnent les β-D-glycosides avec de bonne sélectivité. Des exemples de formation stéréocontrôlée de glycosides sont présentés dans cette thèse avec des accepteurs tels que les phénols, les stéroïdes, les terpènes et les acides hydroxyaminés. Cette méthodologie de glycosidation a été appliquée sur support solide.

The effects of additives and chemical modification on the solution properties of thermo-sensitive polymers

Cette thèse concerne l’étude de phase de séparation de deux polymères thermosensibles connus-poly(N-isopropylacylamide) (PNIPAM) et poly(2-isopropyl-2-oxazoline) (PIPOZ). Parmi des études variées sur ces deux polymères, il y a encore deux parties de leurs propriétés thermiques inexplicites à être étudiées. Une partie concerne l’effet de consolvant de PNIPAM dans l’eau et un autre solvant hydromiscible. L’autre est l’effet de propriétés de groupes terminaux de chaînes sur la séparation de phase de PIPOZ. Pour ce faire, nous avons d’abord étudié l’effet de l’architecture de chaînes sur l’effet de cosolvant de PNIPAMs dans le mélange de méthanol/eau en utilisant un PNIPAM en étoile avec 4 branches et un PNIPAM cyclique comme modèles. Avec PNIPAM en étoile, l’adhérence de branches PNIPAM de à un cœur hydrophobique provoque une réduction de Tc (la température du point de turbidité) et une enthalpie plus faible de la transition de phase. En revanche, la Tc de PNIPAM en étoile dépend de la masse molaire de polymère. La coopérativité de déhydratation diminue pour PNIPAM en étoile et PNIPAM cyclique à cause de la limite topologique. Une étude sur l’influence de concentration en polymère sur l’effet de cosolvant de PNIPAM dans le mélange méthanol/eau a montré qu’une séparation de phase liquide-liquide macroscopique (MLLPS) a lieu pour une solution de PNIPAM dans le mélange méthanol/eau avec la fraction molaire de méthanol entre 0.127 et 0.421 et la concentration en PNIPAM est constante à 10 g.L-1. Après deux jours d’équilibration à température ambiante, la suspension turbide de PNIPAM dans le mélange méthanol/eau se sépare en deux phases dont une phase possède beaucoup plus de PNIPAM que l’autre. Un diagramme de phase qui montre la MLLPS pour le mélange PNIPAM/eau/méthanol a été établi à base de données expérimentales. La taille et la morphologie de gouttelettes dans la phase riche en polymère condensée dépendent de la fraction molaire de méthanol. Parce que la présence de méthanol influence la tension de surface des gouttelettes liquides, un équilibre lent de la séparation de phase pour PNIPAM/eau/méthanol système a été accéléré et une séparation de phase liquide-liquide macroscopique apparait. Afin d’étudier l’effet de groupes terminaux sur les propriétés de solution de PIPOZ, deux PIPOZs téléchéliques avec groupe perfluorodécanyle (FPIPOZ) ou groupe octadécyle (C18PIPOZ) comme extrémités de chaîne ont été synthétisés. Les valeurs de Tc des polymères téléchéliques ont beaucoup diminué par rapport à celle de PIPOZ. Des micelles stables se forment dans des solutions aqueuses de polymères téléchéliques. La micellization et la séparation de phase de ces polymères dans l’eau ont été étudiées. La séparation de phase de PIPOZs téléchéliques suit le mécanisme de MLLPS. Des différences en tailles de gouttelettes formées à l’intérieur de solutions de deux polymères ont été observées. Pour étudier profondément les différences dans le comportement d’association entre deux polymères téléchéliques, les intensités des signaux de polymères correspondants et les temps de relaxation T1, T2 ont été mesurés. Des valeurs de T2 de protons correspondants aux IPOZs sont plus hautes.

Rubber Solution Adhesives for Wood-to-Wood Bonding

Rubber solutions were prepared and used for bonding wood pieces. The effect of the variation of chlorinated natural rubber (CNR) and phenolformaldehyde (PF) resin in the adhesive solutions on lap shear strength was determined. Natural rubber and neoprene-based adhesive solutions were compared for their lap shear strength. The storage stability of the adhesive prepared was determined. The change in lap shear strength before and after being placed in cold water, hot water, acid, and alkali was tested. The bonding character of these adhesives was compared with different commercially available solution adhesives. The room-temperature aging resistance of wood joints was also determined. In all the studies, the adhesive prepared in the laboratory was found to be superior compared to the commercial adhesives.

Preparation of high surface area TiO (anatase) by thermal hydrolysis 2 of titanyl sulphate solution

Highly crystalline, ultra fine TiO (anatase) having high surface area has been prepared by thermal hydrolysis of titanyl sulphate 2 solution and characterized using B.E.T surface area measurements, XRD and chemical analysis. The dependence of surface area on concentration of staffing solution, temperature of hydrolysis, duration of boiling and calcination temperature were also studied. As the boiling temperature, duration of boiling and calcination temperature increased, the surface area of TiO formed decreased significantly. 2 On increasing calcination temperature, the crystallite size of TiO also increased and gradually the phase transformation to rutile took 2 place. The onset and completion temperatures of rutilation were 700 and 10008C, respectively

Anomalous variation of thermal lens signal with concentration from rhodamine B in methanol solution

Thermal lens signals in solutions of rhodamine B laser dye in methanol are measured using the dual beam pump-probe technique. The nature of variations of signal strength with concentration is found to be different for 514 and 488 nm Ar + laser excitations. However, both the pump wavelengths produce an oscillatory type variation of thermal lens signal amplitude with the concentration of the dye solution. Probable reasons for this peculiar behaviour (which is absent in the case of fluorescent intensity) are mentioned.

Measurement of the absolute fluorescence quantum yield of rhodamine B solution using a dual-beam thermal lens technique

The dual-beam thermal lens technique has been found to be very effective for the measurement of fluorescence quantum yields of dye solutions. The concentration-dependence of the quantum yield of rhodamine B in methanol is studied here using this technique. The observed results are in line with the conclusion that the reduction in the quantum yield in the quenching region is essentially due to the non-radiative relaxation of the absorbed energy. The thermal lens has been found to become abberated above 40 mW of pump laser power. This low value for the upper limit of pump power is due to the fact that the medium is a resonantly absorbing one.

Photoacoustic signal saturation and optical limiting in C70-toluene solution

Pulsed photoacoustic studies in solutions of C70 in toluene are made using the 532-nm radiation from a frequency-doubled Nd:YAG laser. It is found that contrary to expectation, there is no photoacoustic (PA) signal enhancement in the power-limiting range of laser fluences. Instead, the PA signal tends to saturate during optical power-limiting phenomenon. This could be due to the enhanced optical absorption from the photoexcited state and hence the depletion of the ground-state population. PA measurements also ruled out the possibility of multiphoton absorption in the C70 solution. We demonstrate that the nonlinear absorption leading to optical limiting is mainly due to reverse saturable absorption.

A Study of Photoacoustic Effects and Optical Limiting in the Solution of C60 in Toluene

Pulsed photoacoustic studies in solution of C60 in toluene have been made using the 532 nm radiation from a frequency doubled Nd:YAG laser. Though C60 is found to exhibit the phenomenon of optical limiting, the results on photoacoustic measurements do not give any indication of multiphoton transitions as suggested in some of the earlier works. Results of photoacoustic measurements show that excited state absorption is the dominant process responsible for optical limiting while phenomena like nonlinear scattering may contribute to a lesser extent.

Study of solvent effect in laser emission from Coumarin 540 dye solution

The results of a brief investigation of the amplified spontaneous emission and lasing characteristics of Coumarin 540 dye in as many as ten different solvents are reported. It has been found that C 540 dye solutions contained within a rectangular quartz cuvette give laser emission with well resolved equally spaced modes when pumped with a 476 nm beam. The modes were found to originate from the subcavities formed by the plane-parallel walls of the cuvette containing the high-gain medium. While the quantum yield remains a decisive factor, a clear correlation between the total width of the emission spectra and the refractive indices of the solvents of the respective samples has been demonstrated. The well-resolved mode structure exhibited by the emission spectra gives clear evidence of the lasing action taking place in the gain medium, and the number of modes enables us to compare the gain of the media in different samples. A detailed discussion of the solvent effect in the lasing characteristics of C540 in different solutions is given.