Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

Robustness on resource allocation problems

En problemes d'assignació de recursos, normalment s'han de tenir en compte les incerteses que poden provocar canvis en les dades inicials. Aquests canvis dificulten l'aplicabilitat de les planificacions que s'hagin fet inicialment. Aquesta tesi se centra en l'elaboració de tècniques que consideren la incertesa alhora de cercar solucions robustes, és a dir solucions que puguin continuar essent vàlides encara que hi hagi canvis en l'entorn. Particularment, introduïm el concepte de robustesa basat en reparabilitat, on una solució robusta és una que pot ser reparada fàcilment en cas que hi hagi incidències. La nostra aproximació es basa en lògica proposicional, codificant el problema en una fórmula de satisfactibilitat Booleana, i aplicant tècniques de reformulació per a la generació de solucions robustes. També presentem un mecanisme per a incorporar flexibilitat a les solucions robustes, de manera que es pugui establir fàcilment el grau desitjat entre robustesa i optimalitat de les solucions.

Supervisory systems in waste water treatment plants: sistematise their implementation

La implantació de Sistemes de Suport a la presa de Decisions (SSD) en Estacions Depuradores d'Aigües Residuals Urbanes (EDAR) facilita l'aplicació de tècniques més eficients basades en el coneixement per a la gestió del procés, assegurant la qualitat de l'aigua de sortida tot minimitzant el cost ambiental de la seva explotació. Els sistemes basats en el coneixement es caracteritzen per la seva capacitat de treballar amb dominis molt poc estructurats, i gran part de la informació rellevant de tipus qualitatiu i/o incerta. Precisament aquests són els trets característics que es poden trobar en els sistemes biològics de depuració, i en conseqüència en una EDAR. No obstant, l'elevada complexitat dels SSD fa molt costós el seu disseny, desenvolupament i aplicació en planta real, pel que resulta determinant la generació d'un protocol que faciliti la seva exportació a EDARs de tecnologia similar. L'objectiu del present treball de Tesi és precisament el desenvolupament d'un protocol que faciliti l'exportació sistemàtica de SSD i l'aprofitament del coneixement del procés prèviament adquirit. El treball es desenvolupa en base al cas d'estudi resultant de l'exportació a l'EDAR Montornès del prototipus original de SSD implementat a l'EDAR Granollers. Aquest SSD integra dos tipus de sistemes basats en el coneixement, concretament els sistemes basats en regles (els quals són programes informàtics que emulen el raonament humà i la seva capacitat de solucionar problemes utilitzant les mateixes fonts d'informació) i els sistemes de raonament basats en casos (els quals són programes informàtics basats en el coneixement que volen solucionar les situacions anormals que pateix la planta en el moment actual mitjançant el record de l'acció efectuada en una situació passada similar). El treball està estructurat en diferents capítols, en el primer dels quals, el lector s'introdueix en el món dels sistemes de suport a la decisió i en el domini de la depuració d'aigües. Seguidament es fixen els objectius i es descriuen els materials i mètodes utilitzats. A continuació es presenta el prototipus de SSD desenvolupat per la EDAR Granollers. Una vegada el prototipus ha estat presentat es descriu el primer protocol plantejat pel mateix autor de la Tesi en el seu Treball de Recerca. A continuació es presenten els resultats obtinguts en l'aplicació pràctica del protocol per generar un nou SSD, per una planta depuradora diferent, partint del prototipus. L'aplicació pràctica del protocol permet l'evolució del mateix cap a un millor pla d'exportació. Finalment, es pot concloure que el nou protocol redueix el temps necessari per realitzar el procés d'exportació, tot i que el nombre de passos necessaris ha augmentat, la qual cosa significa que el nou protocol és més sistemàtic.

Localización de faltas en sistemas de distribución de energía eléctrica usando métodos basados en el modelo y métodos basados en el conocimiento

La calidad de energía eléctrica incluye la calidad del suministro y la calidad de la atención al cliente. La calidad del suministro a su vez se considera que la conforman dos partes, la forma de onda y la continuidad. En esta tesis se aborda la continuidad del suministro a través de la localización de faltas. Este problema se encuentra relativamente resuelto en los sistemas de transmisión, donde por las características homogéneas de la línea, la medición en ambos terminales y la disponibilidad de diversos equipos, se puede localizar el sitio de falta con una precisión relativamente alta. En sistemas de distribución, sin embargo, la localización de faltas es un problema complejo y aún no resuelto. La complejidad es debida principalmente a la presencia de conductores no homogéneos, cargas intermedias, derivaciones laterales y desbalances en el sistema y la carga. Además, normalmente, en estos sistemas sólo se cuenta con medidas en la subestación, y un modelo simplificado del circuito. Los principales esfuerzos en la localización han estado orientados al desarrollo de métodos que utilicen el fundamental de la tensión y de la corriente en la subestación, para estimar la reactancia hasta la falta. Como la obtención de la reactancia permite cuantificar la distancia al sitio de falta a partir del uso del modelo, el Método se considera Basado en el Modelo (MBM). Sin embargo, algunas de sus desventajas están asociadas a la necesidad de un buen modelo del sistema y a la posibilidad de localizar varios sitios donde puede haber ocurrido la falta, esto es, se puede presentar múltiple estimación del sitio de falta. Como aporte, en esta tesis se presenta un análisis y prueba comparativa entre varios de los MBM frecuentemente referenciados. Adicionalmente se complementa la solución con métodos que utilizan otro tipo de información, como la obtenida de las bases históricas de faltas con registros de tensión y corriente medidos en la subestación (no se limita solamente al fundamental). Como herramienta de extracción de información de estos registros, se utilizan y prueban dos técnicas de clasificación (LAMDA y SVM). Éstas relacionan las características obtenidas de la señal, con la zona bajo falta y se denominan en este documento como Métodos de Clasificación Basados en el Conocimiento (MCBC). La información que usan los MCBC se obtiene de los registros de tensión y de corriente medidos en la subestación de distribución, antes, durante y después de la falta. Los registros se procesan para obtener los siguientes descriptores: a) la magnitud de la variación de tensión ( dV ), b) la variación de la magnitud de corriente ( dI ), c) la variación de la potencia ( dS ), d) la reactancia de falta ( Xf ), e) la frecuencia del transitorio ( f ), y f) el valor propio máximo de la matriz de correlación de corrientes (Sv), cada uno de los cuales ha sido seleccionado por facilitar la localización de la falta. A partir de estos descriptores, se proponen diferentes conjuntos de entrenamiento y validación de los MCBC, y mediante una metodología que muestra la posibilidad de hallar relaciones entre estos conjuntos y las zonas en las cuales se presenta la falta, se seleccionan los de mejor comportamiento. Los resultados de aplicación, demuestran que con la combinación de los MCBC con los MBM, se puede reducir el problema de la múltiple estimación del sitio de falta. El MCBC determina la zona de falta, mientras que el MBM encuentra la distancia desde el punto de medida hasta la falta, la integración en un esquema híbrido toma las mejores características de cada método. En este documento, lo que se conoce como híbrido es la combinación de los MBM y los MCBC, de una forma complementaria. Finalmente y para comprobar los aportes de esta tesis, se propone y prueba un esquema de integración híbrida para localización de faltas en dos sistemas de distribución diferentes. Tanto los métodos que usan los parámetros del sistema y se fundamentan en la estimación de la impedancia (MBM), como aquellos que usan como información los descriptores y se fundamentan en técnicas de clasificación (MCBC), muestran su validez para resolver el problema de localización de faltas. Ambas metodologías propuestas tienen ventajas y desventajas, pero según la teoría de integración de métodos presentada, se alcanza una alta complementariedad, que permite la formulación de híbridos que mejoran los resultados, reduciendo o evitando el problema de la múltiple estimación de la falta.

An evaluation of private speech

This literature review examines the use of private speech among typically developing and hearing impaired children. This paper supports the view that private speech provides a self-regulatory function and guides behavior and problem-solving.

Towards a nutrient export risk matrix approach to managing agricultural pollution at source

A generic Nutrient Export Risk Matrix (NERM) approach is presented. This provides advice to farmers and policy makers on good practice for reducing nutrient loss and is intended to persuade them to implement such measures. Combined with a range of nutrient transport modelling tools and field experiments, NERMs can play an important role in reducing nutrient export from agricultural land. The Phosphorus Export Risk Matrix (PERM) is presented as an example NERM. The PERM integrates hydrological understanding of runoff with a number of agronomic and policy factors into a clear problem-solving framework. This allows farmers and policy makers to visualise strategies for reducing phosphorus loss through proactive land management. The risk Of Pollution is assessed by a series of informed questions relating to farming intensity and practice. This information is combined with the concept of runoff management to point towards simple, practical remedial strategies which do not compromise farmers' ability to obtain sound economic returns from their crop and livestock.

Metacognitive experience and transfer of logical reasoning

The experiments examine the influence of metacognitive experience on the transfer of logical processes in a problem solving setting. Subjects were presented with two versions of Wason's (1966) selection task. Although they were able to perform successfully on the concrete tasks (following a minimal explanation of the correct solution on an initial trial), the majority were not able to transfer a successful method to the abstract tasks. Verbalization during, or following, the concrete tasks produced substantial transfer effects however. It is suggested that verbalization may lead to an increased awareness of past behaviour, particularly of those aspects necessary for successful solution.

Working memory and working attention: What could possibly evolve?

The concept of “working” memory is traceable back to nineteenth century theorists (Baldwin, 1894; James 1890) but the term itself was not used until the mid-twentieth century (Miller, Galanter & Pribram, 1960). A variety of different explanatory constructs have since evolved which all make use of the working memory label (Miyake & Shah, 1999). This history is briefly reviewed and alternative formulations of working memory (as language-processor, executive attention, and global workspace) are considered as potential mechanisms for cognitive change within and between individuals and between species. A means, derived from the literature on human problem-solving (Newell & Simon, 1972), of tracing memory and computational demands across a single task is described and applied to two specific examples of tool-use by chimpanzees and early hominids. The examples show how specific proposals for necessary and/or sufficient computational and memory requirements can be more rigorously assessed on a task by task basis. General difficulties in connecting cognitive theories (arising from the observed capabilities of individuals deprived of material support) with archaeological data (primarily remnants of material culture) are discussed.

Informal communication networks and the diffusion of innovations in UK construction projects: A research design

The UK industry has been criticised for being slow to adopt construction process innovations. Research shows that the idiosyncrasies of participants, their roles in the system and the contextual differences between sections of the industry make this a highly complex problem. There is considerable evidence that informal social networks play a key role in diffusion of innovations. The aim is to identify informal communication networks of project participants and the role these play in the diffusion of construction innovations. The characteristics of this network will be analysed in order to understand how they can be used to accelerate innovation diffusion within and between projects. Social Network Analysis is used to determine informal communication routes. Control and experiment case study projects are used within two different organizations. This allows informal communication routes concerning innovations to be mapped, whilst testing if the informal routes can facilitate diffusion. Analysis will focus upon understanding the combination of informal strong and weak ties, and how these impede or facilitate the diffusion of the innovation. Initial work suggests the presence of an informal communication network. Actors within this informal network, and the organization's management are unaware of its' existence and their informal roles within it. Thus, the network remains an untapped medium regarding innovation diffusion. It is proposed that successful innovation diffusion is dependent upon understanding informal strong and weak ties, at project, organization and industry level.

Age and flexible thinking: an experimental demonstration of the beneficial effects of increased cognitively stimulating activity on fluid intelligence in healthy older adults

The disuse hypothesis of cognitive aging attributes decrements in fluid intelligence in older adults to reduced cognitively stimulating activity. This study experimentally tested the hypothesis that a period of increased mentally stimulating activities thus would enhance older adults' fluid intelligence performance. Participants (N = 44, mean age 67.82) were administered pre- and post-test measures, including the fluid intelligence measure, Cattell's Culture Fair (CCF) test. Experimental participants engaged in diverse, novel, mentally stimulating activities for 10-12 weeks and were compared to a control condition. Results supported the hypothesis; the experimental group showed greater pre- to post-CCF gain than did controls (effect size d = 0.56), with a similar gain on a spatial-perceptual task (WAIS-R Blocks). Even brief periods of increased cognitive stimulation can improve older adults' problem solving and flexible thinking.

Conversational success in Williams syndrome: communication in the face of cognitive and linguistic limitations

Williams syndrome (WS) is characterized by apparent relative strengths in language, facial processing and social cognition but by profound impairment in spatial cognition, planning and problem solving. Following recent research which suggests that individuals with WS may be less linguistically able than was once thought, in this paper we begin to investigate why and how they may give the impression of linguistic proficiency despite poor standardized test results. This case study of Brendan, a 12-year-old boy with WS, who presents with a considerable lack of linguistic ability, suggests that impressions of linguistic competence may to some extent be the result of conversational strategies which enable him to compensate for various cognitive and linguistic deficits with a considerable degree of success. These conversational strengths are not predicted by his standardized language test results, and provide compelling support for the use of approaches such as Conversation Analysis in the assessment of individuals with communication impairments.

Should we be utopophobes about democracy in particular?

In his book Democratic Authority, David Estlund puts forward a case for democracy, which he labels epistemic proceduralism, that relies on democracy's ability to produce good – that is, substantively just – results. Alongside this case for democracy Estlund attacks what he labels ‘utopophobia’, an aversion to idealistic political theory. In this article I make two points. The first is a general point about what the correct level of ‘idealisation’ is in political theory. Various debates are emerging on this question and, to the extent that they are focused on ‘political theory’ as a whole, I argue, they are flawed. This is because there are different kinds of political concept, and they require different kinds of ideal. My second point is about democracy in particular. If we understand democracy as Estlund does, then we should see it as a problem-solving concept – the problem being that we need coercive institutions and rules, but we do not know what justice requires. As democracy is a response to a problem, we should not allow our theories of it, even at the ideal level, to be too idealised – they must be embedded in the nature of the problem they are to solve, and the beings that have it.

Updated estimate of aerosol direct radiative forcing from satellite observations and comparison against the Hadley Centre climate model

The fourth assessment report of the Intergovernmental Panel on Climate Change (IPCC) includes a comparison of observation-based and modeling-based estimates of the aerosol direct radiative forcing. In this comparison, satellite-based studies suggest a more negative aerosol direct radiative forcing than modeling studies. A previous satellite-based study, part of the IPCC comparison, uses aerosol optical depths and accumulation-mode fractions retrieved by the Moderate Resolution Imaging Spectroradiometer (MODIS) at collection 4. The latest version of MODIS products, named collection 5, improves aerosol retrievals. Using these products, the direct forcing in the shortwave spectrum defined with respect to present-day natural aerosols is now estimated at −1.30 and −0.65 Wm−2 on a global clear-sky and all-sky average, respectively, for 2002. These values are still significantly more negative than the numbers reported by modeling studies. By accounting for differences between present-day natural and preindustrial aerosol concentrations, sampling biases, and investigating the impact of differences in the zonal distribution of anthropogenic aerosols, good agreement is reached between the direct forcing derived from MODIS and the Hadley Centre climate model HadGEM2-A over clear-sky oceans. Results also suggest that satellite estimates of anthropogenic aerosol optical depth over land should be coupled with a robust validation strategy in order to refine the observation-based estimate of aerosol direct radiative forcing. In addition, the complex problem of deriving the aerosol direct radiative forcing when aerosols are located above cloud still needs to be addressed.

The CURE scale: a multidimensional measure of service recovery strategy

Purpose – This paper aims to address the gaps in service recovery strategy assessment. An effective service recovery strategy that prevents customer defection after a service failure is a powerful managerial instrument. The literature to date does not present a comprehensive assessment of service recovery strategy. It also lacks a clear picture of the service recovery actions at managers’ disposal in case of failure and the effectiveness of individual strategies on customer outcomes. Design/methodology/approach – Based on service recovery theory, this paper proposes a formative index of service recovery strategy and empirically validates this measure using partial least-squares path modelling with survey data from 437 complainants in the telecommunications industry in Egypt. Findings – The CURE scale (CUstomer REcovery scale) presents evidence of reliability as well as convergent, discriminant and nomological validity. Findings also reveal that problem-solving, speed of response, effort, facilitation and apology are the actions that have an impact on the customer’s satisfaction with service recovery. Practical implications – This new formative index is of potential value in investigating links between strategy and customer evaluations of service by helping managers identify which actions contribute most to changes in the overall service recovery strategy as well as satisfaction with service recovery. Ultimately, the CURE scale facilitates the long-term planning of effective complaint management. Originality/value – This is the first study in the service marketing literature to propose a comprehensive assessment of service recovery strategy and clearly identify the service recovery actions that contribute most to changes in the overall service recovery strategy.