Techniques for batch reinforcement learning in robotics

This thesis addresses the Batch Reinforcement Learning methods in Robotics. This sub-class of Reinforcement Learning has shown promising results and has been the focus of recent research. Three contributions are proposed that aim to extend the state-of-art methods allowing for a faster and more stable learning process, such as required for learning in Robotics. The Q-learning update-rule is widely applied, since it allows to learn without the presence of a model of the environment. However, this update-rule is transition-based and does not take advantage of the underlying episodic structure of collected batch of interactions. The Q-Batch update-rule is proposed in this thesis, to process experiencies along the trajectories collected in the interaction phase. This allows a faster propagation of obtained rewards and penalties, resulting in faster and more robust learning. Non-parametric function approximations are explored, such as Gaussian Processes. This type of approximators allows to encode prior knowledge about the latent function, in the form of kernels, providing a higher level of exibility and accuracy. The application of Gaussian Processes in Batch Reinforcement Learning presented a higher performance in learning tasks than other function approximations used in the literature. Lastly, in order to extract more information from the experiences collected by the agent, model-learning techniques are incorporated to learn the system dynamics. In this way, it is possible to augment the set of collected experiences with experiences generated through planning using the learned models. Experiments were carried out mainly in simulation, with some tests carried out in a physical robotic platform. The obtained results show that the proposed approaches are able to outperform the classical Fitted Q Iteration.

Development of ultra-high-performance concrete (UHPC) using waste glass materials ─ towards innovative eco-friendly concrete

Le béton conventionnel (BC) a de nombreux problèmes tels que la corrosion de l’acier d'armature et les faibles résistances des constructions en béton. Par conséquent, la plupart des structures fabriquées avec du BC exigent une maintenance fréquent. Le béton fibré à ultra-hautes performances (BFUP) peut être conçu pour éliminer certaines des faiblesses caractéristiques du BC. Le BFUP est défini à travers le monde comme un béton ayant des propriétés mécaniques, de ductilité et de durabilité supérieures. Le BFUP classique comprend entre 800 kg/m³ et 1000 kg/m³ de ciment, de 25 à 35% massique (%m) de fumée de silice (FS), de 0 à 40%m de poudre de quartz (PQ) et 110-140%m de sable de quartz (SQ) (les pourcentages massiques sont basés sur la masse totale en ciment des mélanges). Le BFUP contient des fibres d'acier pour améliorer sa ductilité et sa résistance aux efforts de traction. Les quantités importantes de ciment utilisées pour produire un BFUP affectent non seulement les coûts de production et la consommation de ressources naturelles comme le calcaire, l'argile, le charbon et l'énergie électrique, mais affectent également négativement les dommages sur l'environnement en raison de la production substantielle de gaz à effet de serre dont le gas carbonique (CO[indice inférieur 2]). Par ailleurs, la distribution granulométrique du ciment présente des vides microscopiques qui peuvent être remplis avec des matières plus fines telles que la FS. Par contre, une grande quantité de FS est nécessaire pour combler ces vides uniquement avec de la FS (25 à 30%m du ciment) ce qui engendre des coûts élevés puisqu’il s’agit d’une ressource limitée. Aussi, la FS diminue de manière significative l’ouvrabilité des BFUP en raison de sa surface spécifique Blaine élevée. L’utilisation du PQ et du SQ est également coûteuse et consomme des ressources naturelles importantes. D’ailleurs, les PQ et SQ sont considérés comme des obstacles pour l’utilisation des BFUP à grande échelle dans le marché du béton, car ils ne parviennent pas à satisfaire les exigences environnementales. D’ailleurs, un rapport d'Environnement Canada stipule que le quartz provoque des dommages environnementaux immédiats et à long terme en raison de son effet biologique. Le BFUP est généralement vendu sur le marché comme un produit préemballé, ce qui limite les modifications de conception par l'utilisateur. Il est normalement transporté sur de longues distances, contrairement aux composantes des BC. Ceci contribue également à la génération de gaz à effet de serre et conduit à un coût plus élevé du produit final. Par conséquent, il existe le besoin de développer d’autres matériaux disponibles localement ayant des fonctions similaires pour remplacer partiellement ou totalement la fumée de silice, le sable de quartz ou la poudre de quartz, et donc de réduire la teneur en ciment dans BFUP, tout en ayant des propriétés comparables ou meilleures. De grandes quantités de déchets verre ne peuvent pas être recyclées en raison de leur fragilité, de leur couleur, ou des coûts élevés de recyclage. La plupart des déchets de verre vont dans les sites d'enfouissement, ce qui est indésirable puisqu’il s’agit d’un matériau non biodégradable et donc moins respectueux de l'environnement. Au cours des dernières années, des études ont été réalisées afin d’utiliser des déchets de verre comme ajout cimentaire alternatif (ACA) ou comme granulats ultrafins dans le béton, en fonction de la distribution granulométrique et de la composition chimique de ceux-ci. Cette thèse présente un nouveau type de béton écologique à base de déchets de verre à ultra-hautes performances (BEVUP) développé à l'Université de Sherbrooke. Les bétons ont été conçus à l’aide de déchets verre de particules de tailles variées et de l’optimisation granulaire de la des matrices granulaires et cimentaires. Les BEVUP peuvent être conçus avec une quantité réduite de ciment (400 à 800 kg/m³), de FS (50 à 220 kg/m³), de PQ (0 à 400 kg/m³), et de SQ (0-1200 kg/m³), tout en intégrant divers produits de déchets de verre: du sable de verre (SV) (0-1200 kg/m³) ayant un diamètre moyen (d[indice inférieur 50]) de 275 µm, une grande quantité de poudre de verre (PV) (200-700 kg/m³) ayant un d50 de 11 µm, une teneur modérée de poudre de verre fine (PVF) (50-200 kg/m³) avec d[indice inférieur] 50 de 3,8 µm. Le BEVUP contient également des fibres d'acier (pour augmenter la résistance à la traction et améliorer la ductilité), du superplastifiants (10-60 kg/m³) ainsi qu’un rapport eau-liant (E/L) aussi bas que celui de BFUP. Le remplacement du ciment et des particules de FS avec des particules de verre non-absorbantes et lisse améliore la rhéologie des BEVUP. De plus, l’utilisation de la PVF en remplacement de la FS réduit la surface spécifique totale nette d’un mélange de FS et de PVF. Puisque la surface spécifique nette des particules diminue, la quantité d’eau nécessaire pour lubrifier les surfaces des particules est moindre, ce qui permet d’obtenir un affaissement supérieur pour un même E/L. Aussi, l'utilisation de déchets de verre dans le béton abaisse la chaleur cumulative d'hydratation, ce qui contribue à minimiser le retrait de fissuration potentiel. En fonction de la composition des BEVUP et de la température de cure, ce type de béton peut atteindre des résistances à la compression allant de 130 à 230 MPa, des résistances à la flexion supérieures à 20 MPa, des résistances à la traction supérieure à 10 MPa et un module d'élasticité supérieur à 40 GPa. Les performances mécaniques de BEVUP sont améliorées grâce à la réactivité du verre amorphe, à l'optimisation granulométrique et la densification des mélanges. Les produits de déchets de verre dans les BEVUP ont un comportement pouzzolanique et réagissent avec la portlandite générée par l'hydratation du ciment. Cependant, ceci n’est pas le cas avec le sable de quartz ni la poudre de quartz dans le BFUP classique, qui réagissent à la température élevée de 400 °C. L'addition des déchets de verre améliore la densification de l'interface entre les particules. Les particules de déchets de verre ont une grande rigidité, ce qui augmente le module d'élasticité du béton. Le BEVUP a également une très bonne durabilité. Sa porosité capillaire est très faible, et le matériau est extrêmement résistant à la pénétration d’ions chlorure (≈ 8 coulombs). Sa résistance à l'abrasion (indice de pertes volumiques) est inférieure à 1,3. Le BEVUP ne subit pratiquement aucune détérioration aux cycles de gel-dégel, même après 1000 cycles. Après une évaluation des BEVUP en laboratoire, une mise à l'échelle a été réalisée avec un malaxeur de béton industriel et une validation en chantier avec de la construction de deux passerelles. Les propriétés mécaniques supérieures des BEVUP a permis de concevoir les passerelles avec des sections réduites d’environ de 60% par rapport aux sections faites de BC. Le BEVUP offre plusieurs avantages économiques et environnementaux. Il réduit le coût de production et l’empreinte carbone des structures construites de béton fibré à ultra-hautes performances (BFUP) classique, en utilisant des matériaux disponibles localement. Il réduit les émissions de CO[indice inférieur 2] associées à la production de clinkers de ciment (50% de remplacement du ciment) et utilise efficacement les ressources naturelles. De plus, la production de BEVUP permet de réduire les quantités de déchets de verre stockés ou mis en décharge qui causent des problèmes environnementaux et pourrait permettre de sauver des millions de dollars qui pourraient être dépensés dans le traitement de ces déchets. Enfin, il offre une solution alternative aux entreprises de construction dans la production de BFUP à moindre coût.

Modélisation et analyse d'une machine à absorption/compression hybride fonctionnant à partir de rejets thermiques basse température

Les applications de réfrigération sont aujourd’hui majoritairement réalisées par des machines à compression alimentées en électricité. Animées à partir d’une source chaude, l’utilisation de machines à absorption permet d’utiliser très peu d’électricité comparée à une machine à compression et d’utiliser des réfrigérants écologiques. Le faible coefficient de performance et le coût élevé de ces machines est compensé par l’utilisation de rejets thermiques industriels destinés à être rejeté dans l’environnement et donc considérés comme gratuits. Le but de cette étude est de modéliser une machine à absorption hybride, utilisant le couple de fluide eau et ammoniac, en y ajoutant un compresseur ou booster dans la zone haute pression du circuit et d’évaluer ses performances. Cette modification crée une pression intermédiaire au désorbeur permettant de diminuer la température des rejets thermiques exploitables. Une température de rejets réutilisable de 50°C, contre 80°C actuellement, ouvrirait alors la voie à de nouvelles sources communes d’énergie. Le logiciel ASPEN Plus de simulation des procédés a été choisi afin de modéliser en régime permanent le système. Le modèle est en partie validé par l’étude expérimentale d’une machine à absorption commerciale de 10kW pour des applications de climatisation. Cette machine est située au Laboratoire des Technologies de l’Énergie d’Hydro-Québec. Ensuite, une étude de design permet de montrer, à puissance de réfrigération constante, les impacts bénéfiques de la technologie hybride sur le rendement exergétique, mais également sur la taille globale des échangeurs nécessaires. La technologie hybride est alors analysée économiquement face à une machine à absorption chauffée au gaz pour montrer sa rentabilité.

Étude du comportement des fluides magnétorhéologiques (MR) en compression-cisaillement simultanée

Les fluides magnétorhéologiques (MR) sont des fluides intelligents dont la viscosité apparente peut être modifiée rapidement (<1ms) par l'application d'un champ magnétique externe. À l'aide de cette caractéristique unique, les embrayages MR permettent de moduler rapidement un couple entre deux surfaces sans contact mécanique direct. De construction simple et robuste, les embrayages MR offrent ainsi un potentiel remarquable d'innovation pour diverses applications robotiques nécessitant un contrôle rapide et une haute fiabilité, comme dans les domaines de l'automobile [10], de l'aéronautique [16] ou de l'interaction humaine [77]. À ce jour, les embrayages MR exploitent le fluide MR strictement en cisaillement pur. Dans de telles conditions, la densité de couple des embrayages est limitée par l'optimisation de la mécanique des embrayages (ex. : poids) [63] et les propriétés fondamentales des fluides MR (ex. : contrainte) [11]. Alors qu'en cisaillement pur, la contrainte des fluides MR est limitée à ∼100 kPa, des études récentes démontrent qu'elle peut être augmentée d'un ordre de grandeur (>1000 kPa) lorsque le fluide MR est soumis à une compression, avant d'être cisaillé [89]. La combinaison de la compression et du cisaillement du fluide MR pourrait ainsi décupler la densité de couple des embrayages MR, mais ce phénomène d'agrégation assistée par compression, aussi appelé squeeze-strengthening ou super-strong} (SS), est toujours très mal compris. Beaucoup d'incertitude persiste quant à l'origine exacte du phénomène [45], des conditions qui le favorisent [55] [75] et des effets qu'il engendre [31]. Dans le but ultime d'augmenter la densité de couple des embrayages MR à l'aide du phénomène SS, le présent projet de recherche vise à étudier le comportement rhéologique des fluides MR dans des conditions de compression et de cisaillement simultané afin d'en comprendre les conditions qui favorisent le phénomène d'augmentation des contraintes. Pour ce faire, un banc d'essai permettant la compression pure, le cisaillement pur et la compression-cisaillement simultanée des fluides MR est conçu et utilisé pour étudier le fluide MR lorsque soumis à des conditions de chargement typique des embrayages MR. Les résultats expérimentaux issus de cette vaste étude expérimentale permettront d'établir un lien direct entre ce phénomène et le celui de filtration, duquel un modèle prédictif sera proposé. À l'aide du modèle théorique, le phénomène SS sera étudié à l'aide de diverses compositions de fluide MR (ex. : concentration, taille des particules, viscosité) et différentes géométries de compression, ce qui permettra de valoriser le modèle pour la conception préliminaire d'embrayages MR qui exploitent le phénomène SS.

BATTERY POWERED PORTABLE VAPOR COMPRESSION CYCLE SYSTEM WITH PCM CONDENSER

A battery powered air-conditioning device was developed to provide an improved thermal comfort level for individuals in inadequately cooled environments. This device is a battery powered air-conditioning system with the phase change material (PCM) for heat storage. The condenser heat is stored in the PCM during the cooling operation and is discharged while the battery is charged by using the vapor compression cycle as a thermosiphon loop. The main focus of the current research was on the development of the cooling system. The cooling capacity of the vapor compression cycle measured was 165.6 W with system COP at 2.85. It was able to provide 2 hours cooling without discharging heat to the ambient. The PCM was recharged in nearly 8 hours under thermosiphon mode.

Compression stockings and the prevention of symptomatic venous thromboembolism: data from the Tinzaparin in Acute Ischaemic Stroke Trial

Background: Venous thromboembolism (VTE) is a well recognised and preventable complication of acute stroke. While graduated compression stockings reduce the risk of VTE in surgical patients their benefit in acute stroke remains uncertain. Methods: The relationship between symptomatic VTE and use of stockings using observational data from the ‘Tinzaparin in Acute Ischaemic Stroke Trial’, which compared 10 days of treatment with tinzaparin (175 IU.kg-1 or 100 IU.kg-1) with, aspirin (300 mg od), was assessed using logistic regression adjusted for known VTE risk factors and treatment. Results: Symptomatic VTE occurred in 28 patients (1.9%, DVT 18, PE 13) within 15 days of enrolment in 1,479 patients. Patients wearing one or two stockings for any period of time during the first 10 days (n=803) had a non-significant increase (odds ratio, OR 2.45, 95% confidence interval, CI 0.95 - 6.32) in the risk of symptomatic VTE. In contrast, those wearing bilateral stockings for 10 days (n=374) had a non-significant reduction in the odds of symptomatic VTE as compared to those who wore no stockings or wore them for less than 10 days (OR 0.65, 95% CI 0.26-1.65). Mild stroke and treatment with tinzaparin were associated with a reduced risk of VTE. Conclusions: Bilateral graduated compression stockings may reduce the incidence of VTE by one-third in patients with acute ischaemic stroke. However, the uncertainty in this finding, low frequency of symptomatic VTE, potential for stockings to cause harm, and cost of stockings highlight the need for a large randomised-controlled trial to examine the safety and efficacy of stockings in acute stroke.

3D Porous Architecture of Stacks of β-TCP Granules Compared with That of Trabecular Bone: A microCT, Vector Analysis, and Compression Study

International audience

The impact of mechanical compression on cortical microtubules in Arabidopsis: a quantitative pipeline

Exogenous mechanical perturbations on living tissues are commonly used to investigate whether cell effectors can respond to mechanical cues. However, in most of these experiments, the applied mechanical stress and/or the biological response are described only qualitatively. We developed a quantitative pipeline based on microindentation and image analysis to investigate the impact of a controlled and prolonged compression on microtubule behaviour in the Arabidopsis shoot apical meristem, using microtubule fluorescent marker lines. We found that a compressive stress, in the order of magnitude of turgor pressure, induced apparent microtubule bundling. Importantly, that response could be reversed several hours after the release of compression. Next, we tested the contribution of microtubule severing to compression-induced bundling: microtubule bundling seemed less pronounced in the katanin mutant, in which microtubule severing is dramatically reduced. Conversely, some microtubule bundles could still be observed 16 hours after the release of compression in the spiral2 mutant, in which severing rate is instead increased. To quantify the impact of mechanical stress on anisotropy and orientation of microtubule arrays, we used the nematic tensor based FibrilTool ImageJ/Fiji plugin. To assess the degree of apparent bundling of the network, we developed several methods, some of which were borrowed from geostatistics. The final microtubule bundling response could notably be related to tissue growth velocity that was recorded by the indenter during compression. Because both input and output are quantified, this pipeline is an initial step towards correlating more precisely the cytoskeleton response to mechanical stress in living tissues.

Commentary on: Are we overpathologizing everyday life? A tenable blueprint for behavioral addiction research: On functional and compulsive aspects of reinforcement pathologies

Background: This paper is a commentary to a debate article entitled: "Are we overpathologizing everyday life? A tenable blueprint for behavioral addiction research", by Billieux et al. (2015). Methods and aim: This brief response focused on the necessity to better characterize psychological and related neurocognitive determinants of persistent deleterious actions associated or not with substance utilization. Results: A majority of addicted people could be driven by psychological functional reasons to keep using drugs, gambling or buying despite the growing number of related negative consequences. In addition, a non-negligible proportion of them would need assistance to restore profound disturbances in basic learning processes involved in compulsive actions. Conclusions: The distinction between psychological functionality and compulsive aspects of addictive behaviors should represent a big step towards more efficient treatments.

Gender, Behavioral Assessment of Negative Reinforcement Driven Risk Taking Propensity, and Cigarette Smoking

Cigarette smoking remains the leading preventable cause of death and disability in the United States and most often is initiated during adolescence. An emerging body of research suggests that a negative reinforcement model may explain factors that contribute to tobacco use during adolescence and that negative reinforcement processes may contribute to tobacco use to a greater extent among female adolescents than among male adolescents. However, the extant literature both on the relationship between negative reinforcement processes and adolescent tobacco use as well as on the relationship between gender, negative reinforcement processes, and adolescent tobacco use is limited by the sole reliance on self-report measures of negative reinforcement processes that may contribute to cigarette smoking. The current study aimed to further disentangle the relationships between negative reinforcement based risk taking, gender and tobacco use during older adolescence by utilizing a behavioral analogue measure of negative reinforcement based risk taking, the Maryland Resource for the Behavioral Utilization of the Reinforcement of Negative Stimuli (MRBURNS). Specifically, we examined the relationship between pumps on the MRBURNS, an indicator of risk taking, and smoking status as well as the interaction between MRBURNS pumps and gender for predicting smoking status. Participants included 103 older adolescents (n=51 smokers, 50.5% female, Age (M(SD) = 19.41(1.06)) who all attended one experimental session during which they completed the MRBURNS as well as self-report measures of tobacco use, nicotine dependence, alcohol use, depression, and anxiety. We utilized binary logistic regressions to examine the relationship between MRBURNS pumps and smoking status as well as the interactive effect of MRBURNS pumps and gender for predicting smoking status. Controlling for relevant covariates, pumps on the MRBURNS did not significantly predict smoking status and the interaction between pumps on the MRBURNS and gender also did not significantly predict smoking status. These findings highlight the importance of future research examining various task modifications to the MRBURNS as well as the need for replications of this study with larger, more diverse samples.

Compósitos poliméricos a base de fibras de licuri: efeitos da hibridização e do envelhecimento ambiental acelerado

The gradual replacement of conventional materials by the ones called composite materials is becoming a concern about the response of these composites against adverse environmental conditions, such as ultraviolet radiation, high temperature and moist. Also the search for new composite using natural fibers or a blend of it with synthetic fibers as reinforcement has been studied. In this sense, this research begins with a thorough study of microstructural characterization of licuri fiber, as a proposal of alternative reinforcement to polymeric composites. Thus, a study about the development of two composite laminates was done. The first one, involving only the fiber of licuri and the second comprising a hybrid composite based of fiber glass E and the fiber of licuri, in order to know the performance of the fiber when of fiber across the hybridization process. The laminates were made in the form of plates using the tereftálica ortho-polyester resin as matrix. The composite laminate made only by licuri fiber had two reinforcing fabric layers of unidirectional licuri and the hybrid composite had two reinforcing layers of unidirectional licuri fabric and three layers of fiber short glass-E mat. Finally, both laminates was exposed to aging acceleration in order to study the influence of environmental degradation involving the mechanical properties and fracture characteristics thereof. Regarding the mechanical properties of composites, these were determined through uniaxial tensile tests, uniaxial compression and three bending points for both laminates in original state, and uniaxial tensile tests and three bending points after accelerated aging. As regards the study of structural degradation due to aging of the laminates, it was carried out based on microscopic analysis and microstructure, as well as measuring weight loss. The characteristics of the fracture was performed by macroscopic and microscopic (optical and SEM) analysis. In general, the laminated composites based on fiber licuri showed some advantages in their responses to environmental aging. These advantages are observed in the behavior related to stiffness as well as the microstructural degradation and photo-oxidation processes. However, the structural integrity of this laminate was more affected in case the action of uniaxial tensile loads, where it was noted a lower rate of withholding his last resistance property

Plásticos reforçados a base de tecidos híbridos: efeitos da anisotropia e geometria normativa na caracterização mecânica e da fratura

As most current studies, reinforced plastics have been, in recent years, a viable alternative in building structural elements of medium and large, since the lightness accompanied by high performance possible. The design of hybrid polymer composites (combination of different types of reinforcements) may enable structural applications thereof, facing the most severe service conditions. Within this class of composite materials, reinforced the underlying tissues hybrid high performance are taking space when your application requires high load bearing and high rigidity. The objective of this research work is to study the challenges in designing these fabrics bring these materials as to its mechanical characterization and fracture mechanisms involved. Some parameters associated with the process and / or form of hybridization stand out as influential factors in the final performance of the material such as the presence of anisotropy, so the fabric weave, the process of making the same, normative geometry of the specimens, among others. This sense, four laminates were developed based hybrid reinforcement fabrics involving AS4 carbon fiber, kevlar and glass 49-E as the matrix epoxy vinyl ester resin (DERAKANE 411-350). All laminates were formed each with four layers of reinforcements. Depending on the hybrid fabric, all the influencing factors mentioned above have been studied for laminates. All laminates were manufactured industrially used being the lamination process manual (hand-lay-up). All mechanical characterization and study of the mechanism of fracture (fracture mechanics) was developed for laminates subjected to uniaxial tensile test, bending in three and uniaxial compression. The analysis of fracture mechanisms were held involving the macroscopic, optical microscopy and scanning electron microscopy