Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Prevalencia de dolor lumbar y su relación con la condición física: Estudio en trabajadores del área administrativa de una institución educativa en la ciudad de Bogotá, 2008

Objetivo: Determinar la prevalencia del dolor lumbar y su asociación con cinco variables de condición física en 346 trabajadores del área administrativa de una institución educativa en la ciudad de Bogotá, mediante la revisión y análisis de la base de datos de la empresa Ergosourcing Ltda. Métodos: La población de estudio estuvo conformada por los 346 trabajadores a quienes se les practicó evaluación de la condición física por parte de fisioterapeutas especialistas en prescripción de ejercicio, entre Julio y Septiembre de 2008. La variable dependiente fue el Dolor lumbar evaluando la morbilidad sentida, de acuerdo a una escala descriptiva simple de dolor. Las variables independientes fueron índice de masa corporal, adipometría, alineación postural, flexibilidad de Wells y potencia abdominal. Se practicó análisis bivariante y se ajustó un modelo de regresión logística incondicional para determinar la relación entre las variables. Resultados: La prevalencia de dolor lumbar en la población fue del 20,3%. Tras ajustar por todas las variables independientes, se observó asociación con la edad (p 0,007), el tiempo de servicio en el cargo (p 0,03) y el sobrepeso – obesidad, medidos a través de la adipometría (p 0,05). Se halló un riesgo 7 veces mayor entre las personas que tenían sobrepeso y obesidad comparados con los que presentaban peso normal y de 13,4 veces más en personas de 55 años o mayores al tomar como referencia el grupo de menores de 25 años. Conclusiones: se encontró que tienen más riesgo de dolor lumbar los trabajadores del grupo de mayor edad (> 55 años) y con más tiempo de exposición (> 20 años); al determinar sobrepeso y obesidad con la adipometría y no con el IMC, se encontró que si hay asociación significativa con dolor lumbar. Es necesario realizar un estudio en trabajadores con requerimientos físicos mayores y compararlos con los resultados de este estudio. Es de relevancia implementar la búsqueda de pruebas que permitan evaluar la condición física de los trabajadores, establecer su relación con el dolor lumbar y sean predictivas de su aparición.

Effects of memory load on visual search

Resumen tomado de la publicaci??n

TU Graz: Course: 707.000 Web Science and Web Technology: Lecture 7: Link Analysis and Search

What are ways of searching in graphs? In this class, we will discuss basics of link analysis, including Google's PageRank algorithm as an example. Readings: The PageRank Citation Ranking: Bringing Order to the Web, L. Page and S. Brin and R. Motwani and T. Winograd (1998) Stanford Tecnical Report

SPSS Topics Search - An animated guide

Need help on a given topic? Topics Search tab can help narrow down the search.

Efectividad y seguridad de las emulsiones de pescado en la colestasis asociada a nutrición parenteral en neonatos

El daño hepático asociado a Nutrición Parenteral es una complicación letal en pacientes con nutrición parenteral prolongada. Su etiología no es clara aún, y se cree que las emulsiones lipídicas tradicionales con en base aceite de soya pueden contribuir a su génesis. Recientemente la modificación del contenido de ácidos grasos de las emulsiones lipídicas tradicionalmente de ácidos grasos omega-6 a ricas en omega-3 se postula como terapia prometedora en niños con PNALD. Se realizó una búsqueda sistemática de la literatura en Cochrane y Pubmed, se seleccionaron ensayos clínicos controlados y estudios de cohorte prospectiva. Se utilizó le metodología SIGN para la calificación de los estudios y evaluación del grado de recomendación basada en la evidencia. El meta-análisis que se llevó a cabo incluyó dos artículos de cohorte prospectiva del grupo de Boston para la variable principal de desenlace considerada: tiempo de reverso de la colestasis. Los pacientes que recibieron emulsiones de lípidos de pescado experimentaron regresión de la colestasis significativamente más rápido que los que recibieron emulsiones de soya (HR=10.3, IC 95%:3.7,29,0, efectos fijos), menor mortalidad y menor necesidad de trasplante hepático. Su utilización no se asocia con deficiencia de ácidos grasos, hipertrigliceridemia, coagulopatía o retraso en el crecimiento. Se evidencio una correlación entre la disminución de los niveles de triglicéridos y aumento de los niveles de albúmina, sugiriendo un beneficio nutricional en los pacientes bajo infusiones de lípidos de pescado.

Library Guide: improving your search & Search Planner

A search planner to help structure a search (for journal articles in bibliographic databases). Also includes hints and tips on improving your search. This is a generic guide, useful for any subject.

Complex Variable and Integrals

Exercises and solutions for a third year engineering maths course. Diagrams for the question are all together in the support.zip file, as .eps files

Complex Variable Theory

Notes, exercises, exam questions and solutions for a second year complex variable course.

Una aproximación de la variable aleatoria a procesos de toma de decisión que implican condiciones de riesgo e incertidumbre

La variable aleatoria es una función matemática que permite asignar valores numéricos a cada uno de los posibles resultados obtenidos en un evento de naturaleza aleatoria. Si el número de estos resultados se puede contar, se tiene un conjunto discreto; por el contrario, cuando el número de resultados es infinito y no se puede contar, se tiene un conjunto continuo. El objetivo de la variable aleatoria es permitir adelantar estudios probabilísticos y estadísticos a partir del establecimiento de una asignación numérica a través de la cual se identifiquen cada uno de los resultados que pueden ser obtenidos en el desarrollo de un evento determinado. El valor esperado y la varianza son los parámetros por medio de los cuales es posible caracterizar el comportamiento de los datos reunidos en el desarrollo de una situación experimental; el valor esperado permite establecer el valor sobre el cual se centra la distribución de la probabilidad, mientras que la varianza proporciona información acerca de la manera como se distribuyen los datos obtenidos. Adicionalmente, las distribuciones de probabilidad son funciones numéricas asociadas a la variable aleatoria que describen la asignación de probabilidad para cada uno de los elementos del espacio muestral y se caracterizan por ser un conjunto de parámetros que establecen su comportamiento funcional, es decir, cada uno de los parámetros propios de la distribución suministra información del experimento aleatorio al que se asocia. El documento se cierra con una aproximación de la variable aleatoria a procesos de toma de decisión que implican condiciones de riesgo e incertidumbre.

eHandbook (TikiWiki) Handbook-Specific Search Module

Custom coded module for TikiWiki v4.2, allowing keyword search by Category. Auto-populates categories as new ones are created.

Hartley Library Search Planner

This 2-page planner will help students search databases more effectively using Boolean logic

Cr??dit variable : con??ixer ??s estimar. 'Cr??dito variable : conocer es valorar'

Resumen tomado de la revista

Determinantes sociales de la salud en Bogotá DC: el caso del acceso y calidad de los servicios 2003, 2007 y 2011

Bogotá D.C. es una ciudad de más de siete millones de habitantes en su mayoría de estrato medio, dividida políticamente por veinte localidades. Aquí se generan la mayoría de oportunidades de desarrollo y día a día llega la población fluctuante de otras ciudades de Colombia en busca de un mejor futuro. Las necesidades de la población en una metrópolis como ésta no se hacen esperar y la salud entendida, como un buen estado físico y mental, además de ser una necesidad humana primordial se ha convertido en uno de los temas más agobiantes para los ciudadanos y los creadores de políticas públicas en el Distrito Capital. Alcanzar un adecuado estado de salud no es solo cuestión de asegurar y dar cobertura de servicio, también se requiere que las diferentes políticas públicas que existen estén articuladas para llegar al deseado estado de salud. Estas políticas públicas son los mismos determinantes sociales de salud, por los cuales la Organización Mundial de la Salud (OMS) ha impartido la instrucción de incrementar esfuerzos con el fin de mejorar el estado de salud de la población mundial. En esta investigación se realiza un análisis del Índice de Condiciones de Vida, calculado por el DANE, en la Encuesta Calidad de Vida para Bogotá en 2003, 2007 y Encuesta Multipropósito 2011, estudiando el primer factor que hace parte de dicho índice, el Acceso y Calidad de los Servicios, el cual se compone por cuatro aspectos: i) Abastecimiento y calidad del agua, ii) Eliminación de excretas; iii) Recolección de basuras y iv) Combustible para cocinar. La revisión teórica que aborda a los determinantes sociales de la salud evidencia que estos cuatro componentes son fundamentales para garantizar el estado de salud de los bogotanos y hacen parte de los objetivos del milenio. Adicionalmente se realizan regresiones lineales para determinar el peso que ha tenido el factor acceso y calidad de los servicios, en el estado de salud de los bogotanos, definiendo el Índice de Condiciones de Vida como variable proxy al estado de salud, para cada uno de los años de estudio. Por último se presentan algunos datos de los resultados de las políticas públicas relacionadas con el acceso y calidad de los servicios de los gobiernos de la ciudad correspondientes a los años de estudio.