Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

La production de connaissances dans le cluster montréalais de l’aérospatiale. Le cas d’un réseau local d’innovation

L’importance que revêt la localisation des entreprises dans le fonctionnement et la compétitivité de celles-ci amène à porter l’attention sur la problématique des clusters et l’influence qu’ils peuvent avoir sur la production de connaissances. À travers une perspective théorique qui repose sur la prise en compte des travaux portant sur les districts industriels et ceux plus récents, sur les clusters, nous mettons en évidence une évolution conceptuelle du phénomène de la localisation des entreprises. La place qu’occupe la production de connaissances constitue désormais un élément central des travaux récents qui portent sur les districts et les clusters industriels. Notre examen des dynamiques de fonctionnement de ces systèmes permet d’affirmer que la production de connaissances est une caractéristique centrale des clusters ainsi que leur principal avantage compétitif. Étroitement liée aux réseaux inter-organisationnels, la production de connaissances n’est pas un phénomène naturel, elle découle des mécanismes intrinsèques aux clusters, qu’on cherche à mettre en évidence. Pour ce faire, notre méthodologie qui emprunte les principaux repères de l’analyse stratégique des organisations conduit à l’étude du fonctionnement concret d’un réseau local d’innovation, constitué d’entreprises et d’institutions locales présentes dans le cluster montréalais de l’aérospatiale. Un réseau constitué par l’intermédiaire du Consortium de Recherche et d’Innovation en Aérospatiale du Québec, une institution centrale dans le fonctionnement de ce cluster.

Ressources résidentielles pour adultes avec un trouble mental : développement d'un modèle et d'un instrument de mesure

Ce projet de recherche revisite la conceptualisation du logement et des ressources résidentielles pour les adultes avec un trouble mental. Les objectifs visent : (1) à identifier les attributs, dimensions et domaines ; (2) à développer un nouveau modèle ; (3) à concevoir un instrument de mesure pour décrire l’éventail des ressources résidentielles en santé mentale. Méthodologie : Phase 1: Le devis de recherche s’articule autour de la cartographie de concepts, caractérisée par une méthodologie mixte. L’échantillonnage, par choix raisonné, a permis de recueillir une pluralité de perceptions et d’expériences (p.ex. personnes utilisatrices de services, proches, responsables de ressources résidentielles, gestionnaires). Les participants proviennent de cinq régions du Québec (nombre total de participations = 722). Au cours des six étapes de la cartographie de concepts, les participants ont généré des attributs décrivant le logement (n = 221), leur ont accordé une cote numérique (n = 416) et les ont regroupés en catégories (n = 73). Douze participants ont interprété des cartes conceptuelles produites par des analyses multivariées, soit l’échelonnage multidimensionnel (MDS) et la typologie hiérarchique. Des analyses par composantes principales (PCAs) ont été utilisées pour raffiner la conceptualisation (n = 228). Phase II: L’instrument a été développé, utilisé et ajusté à la suite de deux groupes de discussions (n = 23) et d’une étude transversale auprès de ressources résidentielles (n = 258). La passation se fait via une entrevue téléphonique semi-structurée enregistrée, d’une durée moyenne de 130 minutes. Résultats : Les participants ont généré 1382 idées (99.5% de saturation). Les cartes conceptuelles issues de la cartographie de concepts comprennent 140 idées (attributs du logement), 12 dimensions et cinq domaines (indice de stress MDS = 0.2302, 10 itérations). Les analyses PCAs ont permis de retenir quatre domaines, 11 composantes (α = 0.600 à 0.933) et 81 attributs. Les domaines sont : (1) environnement géophysique; (2) atmosphère et fonctionnement du milieu; (3) soutien et interventions offerts; (4) pratiques organisationnelles et managériales. L’instrument développé comprend quatre domaines, 10 dimensions et 83 attributs. À cela s’ajoutent des variables descriptives. L’instrument résulte des Phases I et II de ce projet. Conclusion : L’instrument a été développé en collaboration avec diverses parties prenantes, à partir de considérations ontologiques, réalistes, causales et statistiques. Il dresse le profil détaillé d’une ressource résidentielle sous ses différentes facettes et s’appuie sur la prémisse qu’il n’existe pas de milieu résidentiel idéal pour tous.

Limited sampling strategies for estimation of cyclosporine exposure in pediatric hematopoietic stem cell transplant recipients : methodological improvement and introduction of sampling time deviation analysis.

Le suivi thérapeutique est recommandé pour l’ajustement de la dose des agents immunosuppresseurs. La pertinence de l’utilisation de la surface sous la courbe (SSC) comme biomarqueur dans l’exercice du suivi thérapeutique de la cyclosporine (CsA) dans la transplantation des cellules souches hématopoïétiques est soutenue par un nombre croissant d’études. Cependant, pour des raisons intrinsèques à la méthode de calcul de la SSC, son utilisation en milieu clinique n’est pas pratique. Les stratégies d’échantillonnage limitées, basées sur des approches de régression (R-LSS) ou des approches Bayésiennes (B-LSS), représentent des alternatives pratiques pour une estimation satisfaisante de la SSC. Cependant, pour une application efficace de ces méthodologies, leur conception doit accommoder la réalité clinique, notamment en requérant un nombre minimal de concentrations échelonnées sur une courte durée d’échantillonnage. De plus, une attention particulière devrait être accordée à assurer leur développement et validation adéquates. Il est aussi important de mentionner que l’irrégularité dans le temps de la collecte des échantillons sanguins peut avoir un impact non-négligeable sur la performance prédictive des R-LSS. Or, à ce jour, cet impact n’a fait l’objet d’aucune étude. Cette thèse de doctorat se penche sur ces problématiques afin de permettre une estimation précise et pratique de la SSC. Ces études ont été effectuées dans le cadre de l’utilisation de la CsA chez des patients pédiatriques ayant subi une greffe de cellules souches hématopoïétiques. D’abord, des approches de régression multiple ainsi que d’analyse pharmacocinétique de population (Pop-PK) ont été utilisées de façon constructive afin de développer et de valider adéquatement des LSS. Ensuite, plusieurs modèles Pop-PK ont été évalués, tout en gardant à l’esprit leur utilisation prévue dans le contexte de l’estimation de la SSC. Aussi, la performance des B-LSS ciblant différentes versions de SSC a également été étudiée. Enfin, l’impact des écarts entre les temps d’échantillonnage sanguins réels et les temps nominaux planifiés, sur la performance de prédiction des R-LSS a été quantifié en utilisant une approche de simulation qui considère des scénarios diversifiés et réalistes représentant des erreurs potentielles dans la cédule des échantillons sanguins. Ainsi, cette étude a d’abord conduit au développement de R-LSS et B-LSS ayant une performance clinique satisfaisante, et qui sont pratiques puisqu’elles impliquent 4 points d’échantillonnage ou moins obtenus dans les 4 heures post-dose. Une fois l’analyse Pop-PK effectuée, un modèle structural à deux compartiments avec un temps de délai a été retenu. Cependant, le modèle final - notamment avec covariables - n’a pas amélioré la performance des B-LSS comparativement aux modèles structuraux (sans covariables). En outre, nous avons démontré que les B-LSS exhibent une meilleure performance pour la SSC dérivée des concentrations simulées qui excluent les erreurs résiduelles, que nous avons nommée « underlying AUC », comparée à la SSC observée qui est directement calculée à partir des concentrations mesurées. Enfin, nos résultats ont prouvé que l’irrégularité des temps de la collecte des échantillons sanguins a un impact important sur la performance prédictive des R-LSS; cet impact est en fonction du nombre des échantillons requis, mais encore davantage en fonction de la durée du processus d’échantillonnage impliqué. Nous avons aussi mis en évidence que les erreurs d’échantillonnage commises aux moments où la concentration change rapidement sont celles qui affectent le plus le pouvoir prédictif des R-LSS. Plus intéressant, nous avons mis en exergue que même si différentes R-LSS peuvent avoir des performances similaires lorsque basées sur des temps nominaux, leurs tolérances aux erreurs des temps d’échantillonnage peuvent largement différer. En fait, une considération adéquate de l'impact de ces erreurs peut conduire à une sélection et une utilisation plus fiables des R-LSS. Par une investigation approfondie de différents aspects sous-jacents aux stratégies d’échantillonnages limités, cette thèse a pu fournir des améliorations méthodologiques notables, et proposer de nouvelles voies pour assurer leur utilisation de façon fiable et informée, tout en favorisant leur adéquation à la pratique clinique.

Whither RDS? An investigation of respondent driven sampling as a method of recruiting mainstream marijuana users.

Background: An important challenge in conducting social research of specific relevance to harm reduction programs is locating hidden populations of consumers of substances like cannabis who typically report few adverse or unwanted consequences of their use. Much of the deviant, pathologized perception of drug users is historically derived from, and empirically supported, by a research emphasis on gaining ready access to users in drug treatment or in prison populations with higher incidence of problems of dependence and misuse. Because they are less visible, responsible recreational users of illicit drugs have been more difficult to study. Methods: This article investigates Respondent Driven Sampling (RDS) as a method of recruiting experienced marijuana users representative of users in the general population. Based on sampling conducted in a multi-city study (Halifax, Montreal, Toronto, and Vancouver), and compared to samples gathered using other research methods, we assess the strengths and weaknesses of RDS recruitment as a means of gaining access to illicit substance users who experience few harmful consequences of their use. Demographic characteristics of the sample in Toronto are compared with those of users in a recent household survey and a pilot study of Toronto where the latter utilized nonrandom self-selection of respondents. Results: A modified approach to RDS was necessary to attain the target sample size in all four cities (i.e., 40 'users' from each site). The final sample in Toronto was largely similar, however, to marijuana users in a random household survey that was carried out in the same city. Whereas well-educated, married, whites and females in the survey were all somewhat overrepresented, the two samples, overall, were more alike than different with respect to economic status and employment. Furthermore, comparison with a self-selected sample suggests that (even modified) RDS recruitment is a cost-effective way of gathering respondents who are more representative of users in the general population than nonrandom methods of recruitment ordinarily produce. Conclusions: Research on marijuana use, and other forms of drug use hidden in the general population of adults, is important for informing and extending harm reduction beyond its current emphasis on 'at-risk' populations. Expanding harm reduction in a normalizing context, through innovative research on users often overlooked, further challenges assumptions about reducing harm through prohibition of drug use and urges consideration of alternative policies such as decriminalization and legal regulation.

Chronic catheterization using vascular-access-port in rats: blood sampling with minimal stress for plasma catecholamine determination

Chronic catheterization is illustrated using vascular-access-port model SLA where the port is surgically placed subcutaneously on the back of the rat. The catheter is tunnelled to the neck and inserted into the jugular vein . Within 24 h rats showed normal blood pressure and blood samples were collected at intervals with minimal stress to the animals . A comparison of the plasma catecholamine of blood collected from vascular-access-ports with that obtained from decapitation indicates that there was minimal stress to the rats when blood was drawn through the vascular-access-port.

Magnetic field-induced cluster formation and variation of magneto-optical signals in zinc-substituted ferrofluids

Fine magnetic particles (size≅100 Å) belonging to the series ZnxFe1−xFe2O4 were synthesized by cold co-precipitation methods and their structural properties were evaluated using X-ray diffraction. Magnetization studies have been carried out using vibrating sample magnetometry (VSM) showing near-zero loss loop characteristics. Ferrofluids were then prepared employing these fine magnetic powders using oleic acid as surfactant and kerosene as carrier liquid by modifying the usually reported synthesis technique in order to induce anisotropy and enhance the magneto-optical signals. Liquid thin films of these fluids were prepared and field-induced laser transmission through these films was studied. The transmitted light intensity decreases at the centre with applied magnetic field in a linear fashion when subjected to low magnetic fields and saturate at higher fields. This is in accordance with the saturation in cluster formation. The pattern exhibited by these films in the presence of different magnetic fields was observed with the help of a CCD camera and was recorded photographically.

Energy-Efficient Cluster based Routing Schemes for Static and Mobile Sensor Networks

The theme of the thesis is centred around one important aspect of wireless sensor networks; the energy-efficiency.The limited energy source of the sensor nodes calls for design of energy-efficient routing protocols. The schemes for protocol design should try to minimize the number of communications among the nodes to save energy. Cluster based techniques were found energy-efficient. In this method clusters are formed and data from different nodes are collected under a cluster head belonging to each clusters and then forwarded it to the base station.Appropriate cluster head selection process and generation of desirable distribution of the clusters can reduce energy consumption of the network and prolong the network lifetime. In this work two such schemes were developed for static wireless sensor networks.In the first scheme, the energy wastage due to cluster rebuilding incorporating all the nodes were addressed. A tree based scheme is presented to alleviate this problem by rebuilding only sub clusters of the network. An analytical model of energy consumption of proposed scheme is developed and the scheme is compared with existing cluster based scheme. The simulation study proved the energy savings observed.The second scheme concentrated to build load-balanced energy efficient clusters to prolong the lifetime of the network. A voting based approach to utilise the neighbor node information in the cluster head selection process is proposed. The number of nodes joining a cluster is restricted to have equal sized optimum clusters. Multi-hop communication among the cluster heads is also introduced to reduce the energy consumption. The simulation study has shown that the scheme results in balanced clusters and the network achieves reduction in energy consumption.The main conclusion from the study was the routing scheme should pay attention on successful data delivery from node to base station in addition to the energy-efficiency. The cluster based protocols are extended from static scenario to mobile scenario by various authors. None of the proposals addresses cluster head election appropriately in view of mobility. An elegant scheme for electing cluster heads is presented to meet the challenge of handling cluster durability when all the nodes in the network are moving. The scheme has been simulated and compared with a similar approach.The proliferation of sensor networks enables users with large set of sensor information to utilise them in various applications. The sensor network programming is inherently difficult due to various reasons. There must be an elegant way to collect the data gathered by sensor networks with out worrying about the underlying structure of the network. The final work presented addresses a way to collect data from a sensor network and present it to the users in a flexible way.A service oriented architecture based application is built and data collection task is presented as a web service. This will enable composition of sensor data from different sensor networks to build interesting applications. The main objective of the thesis was to design energy-efficient routing schemes for both static as well as mobile sensor networks. A progressive approach was followed to achieve this goal.

Performance of correlation functionals in ab initio chemisorption cluster-model calculations: Alkali metals on Si(111)

The performance of different correlation functionals has been tested for alkali metals, Li to Cs, interacting with cluster models simulating different active sites of the Si(111) surface. In all cases, the ab initio Hartree-Fock density has been obtained and used as a starting point. The electronic correlation energy is then introduced as an a posteriori correction to the Hartree-Fock energy using different correlation functionals. By making use of the ionic nature of the interaction and of different dissociation limits we have been able to prove that all functionals tested introduce the right correlation energy, although to a different extent. Hence, correlation functionals appear as an effective and easy way to introduce electronic correlation in the ab initio Hartree-Fock description of the chemisorption bond in complex systems where conventional configuration interaction techniques cannot be used. However, the calculated energies may differ by some tens of eV. Therefore, these methods can be employed to get a qualitative idea of how important correlation effects are, but they have some limitations if accurate binding energies are to be obtained.

An adaptive cluster based routing scheme for mobile wireless sensor networks

Clustering schemes improve energy efficiency of wireless sensor networks. The inclusion of mobility as a new criterion for the cluster creation and maintenance adds new challenges for these clustering schemes. Cluster formation and cluster head selection is done on a stochastic basis for most of the algorithms. In this paper we introduce a cluster formation and routing algorithm based on a mobility factor. The proposed algorithm is compared with LEACH-M protocol based on metrics viz. number of cluster head transitions, average residual energy, number of alive nodes and number of messages lost

Efficacy of Cluster- Based Approach for the revival of Handloom Co-operative Societies in Kerala- with special reference to Thiruvananthapuram and Kannur Districts

one of the key sectors, identified by the Department of Industries Government of Kerala, for the cluster development initiative is Handloom, which gives employment to over over 50,000 people directly. Despite its age old tradition and fame, the performance of the sector vis-à-vis power looms is not very rosy owing to (i) competition from cheap power loom cloth from other states (ii) scarcity of quality yarn (iii) price escalation of yarn, dyes, chemicals and other raw materials (iv) the shrinking market for handlooms in Kerala (v) non-demand based production and inadequacy of new designs and (vi) inefficiencies in the system, particularly in the co-operative sector. Cluster based approach is adopted in the handloom sector with the objective of providing necessary support mechanism to come out of the crisis that the sector faces now. While four cluster schemes are being implemented in Kerala, it is under IHDS-CDP that the State got a sizeable number of clusters benefiting a large number of societies and weavers- 24 handloom clusters, bringing 152 handloom co-operative societies and over 19,800 handloom workers under the Programme. This research attempts to revisit the underlying rationale and context of the new direction and would attempt to broadly analyze the growth trends under the influence of cluster model adopted by the State IHDS-CDP for the revival of handloom sector through a detailed study of the handloom co-operative societies in Kerala. If handloom sector in Kerala can be revived using cluster based approach, it can be easily concluded that cluster is capable of taking the MSME in Kerala to a ‘high growth path.’ The study is aimed at understanding how best clusters emerge as appropriate industrial organization suitable for the current global structure of manufacture

Energy Aware Cluster-based Multihop Routing Protocol for Sensor Networks

Clustering combined with multihop communication is a promising solution to cope with the energy requirements of large scale Wireless Sensor Networks. In this work, a new cluster based routing protocol referred to as Energy Aware Cluster-based Multihop (EACM) Routing Protocol is introduced, with multihop communication between cluster heads for transmitting messages to the base station and direct communication within clusters. We propose EACM with both static and dynamic clustering. The network is partitioned into near optimal load balanced clusters by using a voting technique, which ensures that the suitability of a node to become a cluster head is determined by all its neighbors. Results show that the new protocol performs better than LEACH on network lifetime and energy dissipation

Studies on the optical band gap and cluster size of the polyaniline thin films irradiated with swift heavy Si ions

Polyaniline thin films prepared by RF plasma polymerisation were irradiated with 92MeV Si ions for various fluences of 1 1011, 1 1012 and 1 1013 ions/cm2. FTIR and UV–vis–NIR measurements were carried out on the pristine and Si ion irradiated polyaniline thin films for structural evaluation and optical band gap determination. The effect of swift heavy ions on the structural and optical properties of plasma-polymerised aniline thin film is investigated. Their properties are compared with that of the pristine sample. The FTIR spectrum indicates that the structure of the irradiated sample is altered. The optical studies show that the band gap of irradiated thin film has been considerably modified. This has been attributed to the rearrangement in the ring structure and the formation of CRC terminals. This results in extended conjugated structure causing reduction in optical band gap