Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

I-SS: integrated supervision systems approach based on interactive components

Process supervision is the activity focused on monitoring the process operation in order to deduce conditions to maintain the normality including when faults are present Depending on the number/distribution/heterogeneity of variables, behaviour situations, sub-processes, etc. from processes, human operators and engineers do not easily manipulate the information. This leads to the necessity of automation of supervision activities. Nevertheless, the difficulty to deal with the information complicates the design and development of software applications. We present an approach called "integrated supervision systems". It proposes multiple supervisors coordination to supervise multiple sub-processes whose interactions permit one to supervise the global process

Development of a Computer Controlled Underbody Plow: TR412, Final Report, January 2006

Underbody plows can be very useful tools in winter maintenance, especially when compacted snow or hard ice must be removed from the roadway. By the application of significant down-force, and the use of an appropriate cutting edge angle, compacted snow and ice can be removed very effectively by such plows, with much greater efficiency than any other tool under those circumstances. However, the successful operation of an underbody plow requires considerable skill. If too little down pressure is applied to the plow, then it will not cut the ice or compacted snow. However, if too much force is applied, then either the cutting edge may gouge the road surface, causing significant damage often to both the road surface and the plow, or the plow may ride up on the cutting edge so that it is no longer controllable by the operator. Spinning of the truck in such situations is easily accomplished. Further, excessive down force will result in rapid wear of the cutting edge. Given this need for a high level of operator skill, the operation of an underbody plow is a candidate for automation. In order to successfully automate the operation of an underbody plow, a control system must be developed that follows a set of rules that represent appropriate operation of such a plow. These rules have been developed, based upon earlier work in which operational underbody plows were instrumented to determine the loading upon them (both vertical and horizontal) and the angle at which the blade was operating.These rules have been successfully coded into two different computer programs, both using the MatLab® software. In the first program, various load and angle inputs are analyzed to determine when, whether, and how they violate the rules of operation. This program is essentially deterministic in nature. In the second program, the Simulink® package in the MatLab® software system was used to implement these rules using fuzzy logic. Fuzzy logic essentially replaces a fixed and constant rule with one that varies in such a way as to improve operational control. The development of the fuzzy logic in this simulation was achieved simply by using appropriate routines in the computer software, rather than being developed directly. The results of the computer testing and simulation indicate that a fully automated, computer controlled underbody plow is indeed possible. The issue of whether the next steps toward full automation should be taken (and by whom) has also been considered, and the possibility of some sort of joint venture between a Department of Transportation and a vendor has been suggested.

Control de dispositivos con Android

Este proyecto de final de carrera de la titulación de Ingeniería en Informática de Gestión consiste en el diseño y desarrollo de un sistema de control de dispositivos conectados a Raspberry Pi y gestionados desde un dispositivo Android. Se podrán llevar a cabo diferentes acciones como encender, apagar, programar la calefacción y consultar la temperatura actual remotamente desde un dispostivo conectado a la red wifi doméstica o desde de cualquier red que esté conectada a internet.

Implementation of a Pilot Continuous Monitoring System: Iowa Falls Arch Bridge, HR-1088, 2015

The goal of this work was to move structural health monitoring (SHM) one step closer to being ready for mainstream use by the Iowa Department of Transportation (DOT) Office of Bridges and Structures. To meet this goal, the objective of this project was to implement a pilot multi-sensor continuous monitoring system on the Iowa Falls Arch Bridge such that autonomous data analysis, storage, and retrieval can be demonstrated. The challenge with this work was to develop the open channels for communication, coordination, and cooperation of various Iowa DOT offices that could make use of the data. In a way, the end product was to be something akin to a control system that would allow for real-time evaluation of the operational condition of a monitored bridge. Development and finalization of general hardware and software components for a bridge SHM system were investigated and completed. This development and finalization was framed around the demonstration installation on the Iowa Falls Arch Bridge. The hardware system focused on using off-the-shelf sensors that could be read in either “fast” or “slow” modes depending on the desired monitoring metric. As hoped, the installed system operated with very few problems. In terms of communications—in part due to the anticipated installation on the I-74 bridge over the Mississippi River—a hardline digital subscriber line (DSL) internet connection and grid power were used. During operation, this system would transmit data to a central server location where the data would be processed and then archived for future retrieval and use. The pilot monitoring system was developed for general performance evaluation purposes (construction, structural, environmental, etc.) such that it could be easily adapted to the Iowa DOT’s bridges and other monitoring needs. The system was developed allowing easy access to near real-time data in a format usable to Iowa DOT engineers.

Pituusleikkurin turvaväylät ja koneturvallisuus

Turvallisuuteen liittyvän ohjausjärjestelmän tehtävänä on siirtää ja käsitellä turvallisuuskriittistä tietoa. Esimerkiksi anturin (turvalaitteen) havaitessa vaaravyöhykkeelle pyrkivän ihmisen tulee ensimmäisenä tiedon välittyä ohjausjärjestelmään. Ohjausjärjestelmän on muodostettava saapuneen tiedon perusteella käsky tehonohjauselimille. Tehonohjauselimillä säädellään koneen käyttöenergian syöttöä ja sitä kautta on mahdollista pysäyttää koneen liike ennen mahdollisen vahingon sattumista. Perinteiset turvaratkaisut ovat perustuneet pakkotoimintaisiin releisiin ja kahdennuksiin. Tällämenetelmällä on toteutettu varmatoimintaisia turvaratkaisuja, joissa yksittäiset viat ovat paljastuneet. Nykyisin on kuitenkin yhä enemmän tarvetta integroida turvatoiminnot automaatiojärjestelmään ja toteuttaa turvaratkaisut hajautetuillajärjestelmillä. Hajautetut järjestelmät sisältävät osittain ohjelmoitavien järjestelmien etuja ja haittoja, mutta tuovat mukanaan myös uudenlaisia vikoja. Työn tarkoitus oli selvittää, millaisia rajoituksia koneturvallisuus asettaa paperiteollisuuden pituusleikkurien turvallisuuteen liittyville ohjausjärjestelmille, sekä selvittää turvallisuuteen liittyvien järjestelmien rakennetta ja ominaisuuksia. Tässä työssä tutkittiin AS-i, EsaLan ja ProfiSafe turvajärjestelmiä teknisten tietojen perusteella. Tutkitut järjestelmät ovat erilaisia ja soveltuvat tämän vuoksi hieman erilaisiin kohteisiin. Kaikilla näillä järjestelmillä on kuitenkin mahdollista toteuttaa pituusleikkurin turvaväyläjärjestelmässä riittävä turvallisuuden taso koneturvallisuuden näkökulmasta. Tämä edellyttää oikein tehtyä riskianalyysiä ja oikeita suunnittelumenetelmiä. Teknisten tietojen perusteella otettiin testattavaksi AS-i safety at workja EsaLan:in Compact järjestelmät, joille suoritettiin sähkömagneettiseen yhteensopivuuteen (EMC) ja toiminnallisuuteen liittyviä testejä.

Implementing theLean Manufacturing System

Tuottavuuden ja tehokkuuden parantaminen on keskeisimpiä menestystekijöitä glo-baaleilla markkinoilla. Yksi kehittämisen toimintamalli on lean manufacturing -ajattelutapa, joka perustuu imuohjaukseen. Sen lähtökohtana on asiakasarvo ja keskit-tyminen arvoa lisäävien toimintojen maksimointiin. Tutkimuksen tavoitteena oli parantaa Strömfors Electric Oy:n materiaalivirtauksia yhdellä tuotantolinjalla. Projektin oli tarkoitus olla pilotti lean-implementointiin koko tehtaalla. Projektissa otettiin käyttöön kanban-imuohjausjärjestelmä, jota varten teh-tiin analyysejä ja laskelmia arvovirtoihin, varastoihin ja ohjaukseen. Lean-ajattelutapaan ja -työkaluihin perustuvaa kirjallisuutta käytettiin pohjatietona pilotti-projektissa sekätulevien kehitysprojektien suunnittelussa. Pilottiprojektin tuloksena materiaalinohjaus tehostui ja keskeneräisen tuotannon va-rasto tasoittui käyttötarpeen mukaiseksi. Työntekijät ja työnjohtajat tutustuivat leanin perusteisiin osallistuessaan pilottiprojektiin. Pidemmän aikavälin suunnitelmissa ontoimitusvarmuuden ja laadun parantuminen ensin pilottiprojektia koskevalla linjalla ja myöhemmin koko tehtaalla imuohjauksen kokonaisvaltaisen käyttöönoton myötä.

Kuorimon automaatiojärjestelmän optimointi

Työn tavoitteena oli pienentää kuorinnassa syntyviä puuhäviöitä ja parantaa linjan käytettävyyttä nykyaikaisella puunkuorimolla. Tavoitteet toteutettiin automaatiojärjestelmään tehdyillä muutoksilla. Rumpukuorintaprosessi on säilynyt pitkään samanlaisena. Viime vuosina on markkinoille tullut uusia älykkäitä mittalaitteita ja optimointiin kykeneviä säätöjärjestelmiä. Uudenlaisella automaatiotekniikalla on mahdollista mitata kuorintatulosta ja kuorinnassa syntyneitä puuhäviöitä reaaliaikaisesti. Laaduntarkkailun lisäksi tietoja hyödynnetään kuorintaprosessin automaattisessa ohjauksessa. Optimaalisen kuorintatuloksen saavuttaminen edellyttää virheetöntä automaation toimintaa ja tarkkaa viritystä säädöiltä. Työssä perehdyttiin kuorimon perusautomaatioon ja ylemmän tason säädön toimintaan. Prosessinohjauksessa havaitut ongelmakohdat korjattiin. Lopputuloksena saatiin vakiokuorintatehon malli, joka pienentää puuhäviöitä ja parantaa linjaston käytettävyyttä. Saaduilla tuloksilla on merkittävä taloudellinen arvo, ja menetelmät ovat hyödynnettävissä myös toisilla rumpukuorimoilla.

Field Sales Management Control: Towards a Multi-Level Theory

The purpose of this dissertation is to increase the understanding and knowledge of field sales management control systems (i.e. sales managers monitoring, directing, evaluating and rewarding activities) and their potential consequences on salespeople. This topic is important because research conducted in the past has indicated that the choice of control system type can on the other hand have desirable consequences, such as high levels of motivation and performance, and on the other hand leadto harmful unintended consequences, such as opportunistic or unethical behaviors. Despite the fact that marketing and sales management control systems have been under rigorous research for over two decades, it still is at a very early stage of development, and several inconsistencies can be found in the research results. This dissertation argues that these inconsistencies are mainly derived from misspecification of the level of analysis in the past research. These different levels of analysis (i.e. strategic, tactical, and operational levels) involve very different decision-making situations regarding the control and motivation of sales force, which should be taken into consideration when conceptualizing the control. Moreover, the study of salesperson consequences of a field sales management control system is actually a cross-level phenomenon, which means that at least two levels of analysis are simultaneously involved. The results of this dissertation confirm the need to re-conceptualize the field sales management control system concept. It provides empirical evidence for the assertion that control should be conceptualized with more details atthe tactical/operational level of analysis than at the strategic levelof analysis. Moreover, the results show that some controls are more efficiently communicated to field salespeople than others. It is proposed that this difference is due to different purposes of control; some controls aredesigned for influencing salespersons' behavior (aim at motivating) whereas some controls are designed to aid decision-making (aim at providing information). According to the empirical results of this dissertation, the both types of controls have an impact to the sales force, but this impactis not as strong as expected. The results obtained in this dissertation shed some light to the nature of field sales management control systems, and their consequences on salespeopl

Converter-flux-based current control of voltage source PWM rectifiers - analysis and implementation

Pulsewidth-modulated (PWM) rectifier technology is increasingly used in industrial applications like variable-speed motor drives, since it offers several desired features such as sinusoidal input currents, controllable power factor, bidirectional power flow and high quality DC output voltage. To achieve these features,however, an effective control system with fast and accurate current and DC voltage responses is required. From various control strategies proposed to meet these control objectives, in most cases the commonly known principle of the synchronous-frame current vector control along with some space-vector PWM scheme have been applied. Recently, however, new control approaches analogous to the well-established direct torque control (DTC) method for electrical machines have also emerged to implement a high-performance PWM rectifier. In this thesis the concepts of classical synchronous-frame current control and DTC-based PWM rectifier control are combined and a new converter-flux-based current control (CFCC) scheme is introduced. To achieve sufficient dynamic performance and to ensure a stable operation, the proposed control system is thoroughly analysed and simple rules for the controller design are suggested. Special attention is paid to the estimationof the converter flux, which is the key element of converter-flux-based control. Discrete-time implementation is also discussed. Line-voltage-sensorless reactive reactive power control methods for the L- and LCL-type line filters are presented. For the L-filter an open-loop control law for the d-axis current referenceis proposed. In the case of the LCL-filter the combined open-loop control and feedback control is proposed. The influence of the erroneous filter parameter estimates on the accuracy of the developed control schemes is also discussed. A newzero vector selection rule for suppressing the zero-sequence current in parallel-connected PWM rectifiers is proposed. With this method a truly standalone and independent control of the converter units is allowed and traditional transformer isolation and synchronised-control-based solutions are avoided. The implementation requires only one additional current sensor. The proposed schemes are evaluated by the simulations and laboratory experiments. A satisfactory performance and good agreement between the theory and practice are demonstrated.

Kenttäväylien hyödyntäminen voimalaitosten ohjausjärjestelmissä

Tässä diplomityössä on tutkittu eri kenttäväylätekniikoita, sekä niiden hyödyntämisellä saatavia taloudellisia ja teknisiä etuja Finreilan tuotevalikoimaan kuuluvien prosessilaitosten ohjausjärjestelmissä. Työssä on vertailtu laitosautomaation toteutuskustannukset sekä perinteisellä että kenttäväyliä hyödyntävillä ohjausjärjestelmillä. Kustannukset on huomioitu läpi koko projektin, sähkösuunnittelusta laitoksen käyttöönottoon. Markkinoilla on tänä päivänä useita, erityyppisiä väyläratkaisuja. Väyläratkaisujen tarpeen ja niille asetettujen vaatimuksien selvittämiseksi esitellään työssä ensin ohjausjärjestelmien rakenne, yleisimmät kenttälaitteet sekä tiedonsiirron kerrosmalli. Kenttäväylätekniikasta esitellään perusrakenteet ja –komponentit, standardointi sekä kaupalliset kenttäväyläsovellukset. Kustannusten ja suunnitteluprosessin painotusten selvittämiseksi suunnitellaan esimerkkilaitokseen ohjausjärjestelmä, hyödyntäen kenttäväylätekniikkaa. Vertailua varten on haettu tiedot vuonna 1998 perinteisellä automaatiolla toteutetun laitoksen kustannuksista Finreila Oy:n taloushallintajärjestelmästä ja projektiaineistosta. Kenttäväylätoteutuksen kustannusarviot perustuvat laitetoimittajien tarjouksiin, sähkö- ja automaatiosuunnittelijoiden haastatteluihin sekä saatuihin käyttökokemuksiin kenttäväylistä. Työ on laadittu siten, että sitä voidaan käyttää yrityksen uusien työntekijöiden koulutuksessa, mikäli laitoksissa siirrytään käyttämään kenttäväylätekniikkaa. Kustannusvertailujen perusteella voidaan sanoa, että kyseisen tyyppisessä laitoksessa saavutetaan noin 17 % kustannussäästö automaatiojärjestelmän toteutuksessa. Suurin hyöty kenttäväylistä saadaan kuitenkin järjestelmän käyttöaikana tarkentuneiden mittausten ja paremmin kohdennettavien huoltotoimenpiteiden kautta tulevista säästöistä.

Production Control Principles in Printed Wiring Board Fabrication

Työn tavoitteena oli kuvata piirilevyvalmistaja Aspocomp Oy:n Espoon tehtaan tämän hetkinen tuotannonohjausperiaate ja tunnistaa siinä esiintyvät puutteet sekä kehittää vaihtoehtoinen tuotannonohjausperiaate piirilevyvalmistukseen. Vaihtoehtoisen ohjausperiaatteen lähtökohtana oli tuotannonohjauksen sopeuttaminen vaativaan ja jatkuvasti muuttuvaan liiketoimintaympäristöön. Työn teoreettinen osa keskittyi tuotannonohjauksen eri lähestymistapoihin. Kirjallisuuskatsauksessa esitetään eri tuotannonohjausperiaatteiden keskeiset sisällöt, jotka muodostavat rungon toimivalle tuotannonohjauskäytännölle. Työn kokeellinen osa keskittyi Espoon piirilevytehtaan tuotannonohjausperiaatteen selvittämiseen. Espoon piirilevytehtaan nykyisessä tuotannonohjausperiaatteessa havaittujen ongelmakohtien ja liiketoimintaympäristön vaatimusten perusteella kehitettiin vaihtoehtoinen tuotannonohjaustapa. Vaihtoehtoisen tuotannonohjaustavan päämääränä oli läpimenoajan lyhentäminen sekä tuotannon parempi hallittavuus. Vaihtoehtoinen toimintamalli tavoitteiden saavuttamiseksi perustuu pullonkaulateoriaan, jossa keskeisin muutos nykyiseen toimintamalliin oli puolivalmisteiden varastointi toimitusajan lyhentämiseksi sekä tuotantovolyymin heilahdusten vaikutusten vähentämiseksi. Työn kokeellisessa osassa ilmeni, että kysynnän muutokset ja kapasiteetin suunnittelun puute aiheuttivat ongelmia piirilevytehtaan tuotannonohjauksessa.

Digitalización del sistema de control de nivel en calentadores y tanques de drenaje de una Central Nuclear

Contexto Una central nuclear, al igual que cualquier otro tipo de central generadora de energía eléctrica, mediante turbinas de vapor, está basada en un proceso termodinámico. El rendimiento de las mismas es función del salto entálpico del vapor, para mejorarlo las centrales están constituidas por un ciclo compound formado por turbina de alta presión y turbinas de baja presión, y un ciclo regenerativo consistente en calentar el agua de alimentación antes de su introducción a los generadores de vapor. Un ciclo regenerativo está basado en etapas de calentadores o cambiadores de calor para aprovechar al máximo la energía térmica del vapor, este proyecto está basado en la mejora y optimización del proceso de control de estos para contribuir a mejorar el rendimiento de la central. Objetivo Implementar un sistema de control que nos permita modernizar los clásicos sistemas basados en controles locales y comunicaciones analógicas. Mejorar el rendimiento del ciclo regenerativo de la central, aprovechando las mejoras tecnológicas que ofrece el mercado, tanto en el hardware como en el software de los sistemas de instrumentación y control. Optimizar el rendimiento de los lazos de control de cada uno de los elementos del ciclo regenerativo mediante estrategias de control. Procedimiento Desarrollo de un sistema de control actualizado considerando, como premisa principal, la fiabilidad del sistema, el análisis de fallos y la jerarquización del riesgo. Análisis y cálculo de los lazos de control considerando las premisas establecidas. Configuración de los lazos mediante estrategias de control que nos permitan optimizar y minimizar los efectos del fallo. Para ello se han utilizado parámetros y datos extraídos de la Central Nuclear de Ascó. Conclusiones Se ha modernizado y optimizado el sistema de control mejorando el rendimiento del ciclo regenerativo. Se ha conseguido un sistema más fiable, reduciendo el riesgo del fallo y disminuyendo los efectos de los mismos. El coste de un proyecto de estas características es inferior al de un sistema convencional y ofrece más posibilidades. Es un sistema abierto que permite utilizar e interconectar equipos de diferentes fabricantes, lo que favorece tanto el mantenimiento como las posibles ampliaciones futuras del sistema.

System Investigation for Hybrid Electric Vehicle

A hybrid electric vehicle is a fast-growing concept in the field of vehicle industry. Nowadays two global problems make manufactures to develop such systems. These problems are: the growing cost of a fuel and environmental pollution. Also development of controlled electric drive with high control accuracy and reliability allows improving of vehicle drive characteristics. The objective of this Diploma Thesis is to investigate the possibilities of electrical drive application for new principle of parallel hybrid vehicle system. Electric motor calculations, selection of most suitable control system and other calculations are needed. This work is not final work for such topic. Further investigation with more precise calculations, modeling, measurements and cost calculations are needed to answer the question if such system is efficient.