Apprentissage machine efficace : théorie et pratique

Malgré des progrès constants en termes de capacité de calcul, mémoire et quantité de données disponibles, les algorithmes d'apprentissage machine doivent se montrer efficaces dans l'utilisation de ces ressources. La minimisation des coûts est évidemment un facteur important, mais une autre motivation est la recherche de mécanismes d'apprentissage capables de reproduire le comportement d'êtres intelligents. Cette thèse aborde le problème de l'efficacité à travers plusieurs articles traitant d'algorithmes d'apprentissage variés : ce problème est vu non seulement du point de vue de l'efficacité computationnelle (temps de calcul et mémoire utilisés), mais aussi de celui de l'efficacité statistique (nombre d'exemples requis pour accomplir une tâche donnée). Une première contribution apportée par cette thèse est la mise en lumière d'inefficacités statistiques dans des algorithmes existants. Nous montrons ainsi que les arbres de décision généralisent mal pour certains types de tâches (chapitre 3), de même que les algorithmes classiques d'apprentissage semi-supervisé à base de graphe (chapitre 5), chacun étant affecté par une forme particulière de la malédiction de la dimensionalité. Pour une certaine classe de réseaux de neurones, appelés réseaux sommes-produits, nous montrons qu'il peut être exponentiellement moins efficace de représenter certaines fonctions par des réseaux à une seule couche cachée, comparé à des réseaux profonds (chapitre 4). Nos analyses permettent de mieux comprendre certains problèmes intrinsèques liés à ces algorithmes, et d'orienter la recherche dans des directions qui pourraient permettre de les résoudre. Nous identifions également des inefficacités computationnelles dans les algorithmes d'apprentissage semi-supervisé à base de graphe (chapitre 5), et dans l'apprentissage de mélanges de Gaussiennes en présence de valeurs manquantes (chapitre 6). Dans les deux cas, nous proposons de nouveaux algorithmes capables de traiter des ensembles de données significativement plus grands. Les deux derniers chapitres traitent de l'efficacité computationnelle sous un angle différent. Dans le chapitre 7, nous analysons de manière théorique un algorithme existant pour l'apprentissage efficace dans les machines de Boltzmann restreintes (la divergence contrastive), afin de mieux comprendre les raisons qui expliquent le succès de cet algorithme. Finalement, dans le chapitre 8 nous présentons une application de l'apprentissage machine dans le domaine des jeux vidéo, pour laquelle le problème de l'efficacité computationnelle est relié à des considérations d'ingénierie logicielle et matérielle, souvent ignorées en recherche mais ô combien importantes en pratique.

Relevé spectroscopique et étude des propriétés physiques des étoiles naines blanches à moins de 40 parsecs du Soleil

Les étoiles naines blanches représentent la fin de l’évolution de 97% des étoiles de notre galaxie, dont notre Soleil. L’étude des propriétés globales de ces étoiles (distribution en température, distribution de masse, fonction de luminosité, etc.) requiert l’élaboration d’ensembles statistiquement complets et bien définis. Bien que plusieurs relevés d’étoiles naines blanches existent dans la littérature, la plupart de ceux-ci souffrent de biais statistiques importants pour ce genre d’analyse. L’échantillon le plus représentatif de la population d’étoiles naines blanches demeure à ce jour celui défini dans un volume complet, restreint à l’environnement immédiat du Soleil, soit à une distance de 20 pc (∼ 65 années-lumière) de celui-ci. Malheureusement, comme les naines blanches sont des étoiles intrinsèquement peu lumineuses, cet échantillon ne contient que ∼ 130 objets, compromettant ainsi toute étude statistique significative. Le but de notre étude est de recenser la population d’étoiles naines blanches dans le voisinage solaire a une distance de 40 pc, soit un volume huit fois plus grand. Nous avons ainsi entrepris de répertorier toutes les étoiles naines blanches à moins de 40 pc du Soleil à partir de SUPERBLINK, un vaste catalogue contenant le mouvement propre et les données photométriques de plus de 2 millions d’étoiles. Notre approche est basée sur la méthode des mouvements propres réduits qui permet d’isoler les étoiles naines blanches des autres populations stellaires. Les distances de toutes les candidates naines blanches sont estimées à l’aide de relations couleur-magnitude théoriques afin d’identifier les objets se situant à moins de 40 pc du Soleil, dans l’hémisphère nord. La confirmation spectroscopique du statut de naine blanche de nos ∼ 1100 candidates a ensuite requis 15 missions d’observations astronomiques sur trois grands télescopes à Kitt Peak en Arizona, ainsi qu’une soixantaine d’heures allouées sur les télescopes de 8 m des observatoires Gemini Nord et Sud. Nous avons ainsi découvert 322 nouvelles étoiles naines blanches de plusieurs types spectraux différents, dont 173 sont à moins de 40 pc, soit une augmentation de 40% du nombre de naines blanches connues à l’intérieur de ce volume. Parmi ces nouvelles naines blanches, 4 se trouvent probablement à moins de 20 pc du Soleil. De plus, nous démontrons que notre technique est très efficace pour identifier les étoiles naines blanches dans la région peuplée du plan de la Galaxie. Nous présentons ensuite une analyse spectroscopique et photométrique détaillée de notre échantillon à l’aide de modèles d’atmosphère afin de déterminer les propriétés physiques de ces étoiles, notamment la température, la gravité de surface et la composition chimique. Notre analyse statistique de ces propriétés, basée sur un échantillon presque trois fois plus grand que celui à 20 pc, révèle que nous avons identifié avec succès les étoiles les plus massives, et donc les moins lumineuses, de cette population qui sont souvent absentes de la plupart des relevés publiés. Nous avons également identifié plusieurs naines blanches très froides, et donc potentiellement très vieilles, qui nous permettent de mieux définir le côté froid de la fonction de luminosité, et éventuellement l’âge du disque de la Galaxie. Finalement, nous avons aussi découvert plusieurs objets d’intérêt astrophysique, dont deux nouvelles étoiles naines blanches variables de type ZZ Ceti, plusieurs naines blanches magnétiques, ainsi que de nombreux systèmes binaires non résolus.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Genetic diversity of Mycoplasma hyopneumoniae isolates of abattoir pigs.

Mycoplasma hyopneumoniae, the causative agent of porcine enzootic pneumonia, is present in swine herds worldwide. However, there is little information on strains infecting herds in Canada. A total of 160 swine lungs with lesions suggestive of enzootic pneumonia originating from 48 different farms were recovered from two slaughterhouses and submitted for gross pathology. The pneumonic lesion scores ranged from 2% to 84%. Eighty nine percent of the lungs (143/160) were positive for M. hyopneumoniae by real-time PCR whereas 10% (16/160) and 8.8% (14/160) were positive by PCR for M. hyorhinis and M. flocculare, respectively. By culture, only 6% of the samples were positive for M. hyopneumoniae (10/160). Among the selected M. hyopneumoniae-positive lungs (n = 25), 9 lungs were co-infected with M. hyorhinis, 9 lungs with PCV2, 2 lungs with PRRSV, 12 lungs with S. suis and 10 lungs with P. multocida. MLVA and PCR-RFLP clustering of M. hyopneumoniae revealed that analyzed strains were distributed among three and five clusters respectively, regardless of severity of lesions, indicating that no cluster is associated with virulence. However, strains missing a specific MLVA locus showed significantly less severe lesions and lower numbers of bacteria. MLVA and PCR-RFLP analyses also showed a high diversity among field isolates of M. hyopneumoniae with a greater homogeneity within the same herd. Almost half of the field isolates presented less than 55% homology with selected vaccine and reference strains.

Determination of the laser-induced damage threshold of bulk polymer samples at 1.06 mu m using the pulsed photothermal deflection technique

A pulsed Nd-YAG laser beam is used to produce a transient refractive index gradient in air adjoining the plane surface of the sample material. This refractive index gradient is probed by a continuous He-Ne laser beam propagating parallel to the sample surface. The observed deflection signals produced by the probe beam exhibit drastic variations when the pump laser energy density crosses the damage threshold for the sample. The measurements are used to estimate the damage threshold for a few polymer samples. The present values are found to be in good agreement with those determined by other methods.

Evaluation of laser ablation threshold in polymer samples using pulsed photoacoustic technique

The acoustic signals generated in solids due to interaction with pulsed laser beam is used to determine the ablation threshold of bulk polymer samples of teflon (polytetrafluoroethylene) and nylon under the irradiation from a Q-switched Nd:YAG laser at 1.06µm wavelength. A suitably designed piezoelectric transducer is employed for the detection of photoacoustic (PA) signals generated in this process. It has been observed that an abrupt increase in the amplitude of the PA signal occurs at the ablation threshold. Also there exist distinct values for the threshold corresponding to different mechanisms operative in producing damages like surface morphology, bond breaking and melting processes at different laser energy densities.

Simultaneous determination of nonlinear optical and thermo-optic parameters of liquid samples

The authors apply the theory of photothermal lens formation and also that of pure optical nonlinearity to account for the phase modulation in a beam as it traverses a nonlinear medium. It is used to simultaneously determine the nonlinear optical refraction and the thermo-optic coefficient. They demonstrate this technique using some metal phthalocyanines dissolved in dimethyl sulfoxide, irradiated by a Q-switched Nd:YAG laser with 10 Hz repetition rate and a pulse width of 8 ns. The mechanism for reverse saturable absorption in these materials is also discussed.

Damage threshold determination of bulk polymer samples using pulsed photothermal deflection technique

Photothermal deflection technique was used for determining the laser damage threshold of polymer samples of teflon (PTFE) and nylon. The experiment was conducted using a Q-switched Nd-YAG laser operating at its fundamental wavelength (1-06μm, pulse width 10 nS FWHM) as irradiation source and a He-Ne laser as the probe beam, along with a position sensitive detector. The damage threshold values determined by photothermal deflection method were in good agreement with those determined by other methods.

Realization of a Scanning Photoacoustic Technique: Thermal properties of Bulk and Film Samples

Among the large number of photothcrmal techniques available, photoacoustics assumes a very significant place because of its essential simplicity and the variety of applications it finds in science and technology. The photoacoustic (PA) effect is the generation of an acoustic signal when a sample, kept inside an enclosed volume, is irradiated by an intensity modulated beam of radiation. The radiation absorbed by the sample is converted into thermal waves by nonradiative de-excitation processes. The propagating thermal waves cause a corresponding expansion and contraction of the gas medium surrounding the sample, which in tum can be detected as sound waves by a sensitive microphone. These sound waves have the same frequency as the initial modulation frequency of light. Lock-in detection method enables one to have a sufficiently high signal to noise ratio for the detected signal. The PA signal amplitude depends on the optical absorption coefficient of the sample and its thermal properties. The PA signal phase is a function of the thermal diffusivity of the sample.Measurement of the PA amplitude and phase enables one to get valuable information about the thermal and optical properties of the sample. Since the PA signal depends on the optical and thennal properties of the sample, their variation will get reflected in the PA signal. Therefore, if the PA signal is collected from various points on a sample surface it will give a profile of the variations in the optical/thennal properties across the sample surface. Since the optical and thermal properties are affected by the presence of defects, interfaces, change of material etc. these will get reflected in the PA signal. By varying the modulation frequency, we can get information about the subsurface features also. This is the basic principle of PA imaging or PA depth profiling. It is a quickly expanding field with potential applications in thin film technology, chemical engineering, biology, medical diagnosis etc. Since it is a non-destructive method, PA imaging has added advantages over some of the other imaging techniques. A major part of the work presented in this thesis is concemed with the development of a PA imaging setup that can be used to detect the presence of surface and subsmface defects in solid samples.Determination of thermal transport properties such as thermal diffusivity, effusivity, conductivity and heat capacity of materials is another application of photothennal effect. There are various methods, depending on the nature of the sample, to determine these properties. However, there are only a few methods developed to determine all these properties simultaneously. Even though a few techniques to determine the above thermal properties individually for a coating can be found in literature, no technique is available for the simultaneous measurement of these parameters for a coating. We have developed a scanning photoacoustic technique that can be used to determine all the above thermal transport properties simultaneously in the case of opaque coatings such as paints. Another work that we have presented in this thesis is the determination of thermal effusivity of many bulk solids by a scanning photoacoustic technique. This is one of the very few methods developed to determine thermal effiisivity directly.

Development of Free Space Method for Material Characterisation and GPR Study & A Case Study on Biological Samples

The thesis mainly focuses on material characterization in different environments: freely available samples taken in planar fonn, biological samples available in small quantities and buried objects.Free space method, finds many applications in the fields of industry, medicine and communication. As it is a non-contact method, it can be employed for monitoring the electrical properties of materials moving through a conveyor belt in real time. Also, measurement on such systems at high temperature is possible. NID theory can be applied to the characterization of thin films. Dielectric properties of thin films deposited on any dielectric substrate can be determined. ln chemical industry, the stages of a chemical reaction can be monitored online. Online monitoring will be more efficient as it saves time and avoids risk of sample collection.Dielectric contrast is one of the main factors, which decides the detectability of a system. lt could be noted that the two dielectric objects of same dielectric constant 3.2 (s, of plastic mine) placed in a medium of dielectric constant 2.56 (er of sand) could even be detected employing the time domain analysis of the reflected signal. This type of detection finds strategic importance as it provides solution to the problem of clearance of non-metallic mines. The demining of these mines using the conventional techniques had been proved futile. The studies on the detection of voids and leakage in pipes find many applications.The determined electrical properties of tissues can be used for numerical modeling of cells, microwave imaging, SAR test etc. All these techniques need the accurate determination of dielectric constant. ln the modem world, the use of cellular and other wireless communication systems is booming up. At the same time people are concemed about the hazardous effects of microwaves on living cells. The effect is usually studied on human phantom models. The construction of the models requires the knowledge of the dielectric parameters of the various body tissues. lt is in this context that the present study gains significance. The case study on biological samples shows that the properties of normal and infected body tissues are different. Even though the change in the dielectric properties of infected samples from that of normal one may not be a clear evidence of an ailment, it is an indication of some disorder.ln medical field, the free space method may be adapted for imaging the biological samples. This method can also be used in wireless technology. Evaluation of electrical properties and attenuation of obstacles in the path of RF waves can be done using free waves. An intelligent system for controlling the power output or frequency depending on the feed back values of the attenuation may be developed.The simulation employed in GPR can be extended for the exploration of the effects due to the factors such as the different proportion of water content in the soil, the level and roughness of the soil etc on the reflected signal. This may find applications in geological explorations. ln the detection of mines, a state-of-the art technique for scanning and imaging an active mine field can be developed using GPR. The probing antenna can be attached to a robotic arm capable of three degrees of rotation and the whole detecting system can be housed in a military vehicle. In industry, a system based on the GPR principle can be developed for monitoring liquid or gas through a pipe, as pipe with and without the sample gives different reflection responses. lt may also be implemented for the online monitoring of different stages of extraction and purification of crude petroleum in a plant.Since biological samples show fluctuation in the dielectric nature with time and other physiological conditions, more investigation in this direction should be done. The infected cells at various stages of advancement and the normal cells should be analysed. The results from these comparative studies can be utilized for the detection of the onset of such diseases. Studying the properties of infected tissues at different stages, the threshold of detectability of infected cells can be determined.

Topological magnetic irreversibility in superconducting Pb samples of various shapes

The magnetic-field dependence of the magnetization of cylinders, disks, and spheres of pure type-I superconducting lead was investigated by means of isothermal measurements of first magnetization curves and hysteresis cycles. Depending on the geometry of the sample and the direction and intensity of the applied magnetic field, the intermediate state exhibits different irreversible features that become particularly highlighted in minor hysteresis cycles. The irreversibility is noticeably observed in cylinders and disks only when the magnetic field is parallel to the axis of revolution and is very subtle in spheres. When the magnetic field decreases from the normal state, the irreversibility appears at a temperature-dependent value whose distance to the thermodynamic critical field depends on the sample geometry. The irreversible features in the disks are altered when they are submitted to an annealing process. These results agree well with very recent high-resolution magneto-optical experiments in similar materials that were interpreted in terms of transitions between different topological structures for the flux configuration in the intermediate state. A discussion of the relative role of geometrical barriers for flux entry and exit and pinning effects as responsible for the magnetic irreversibility is given.