Efficient learning of reactive robot behaviors with a Neural-Q_learning approach

The purpose of this paper is to propose a Neural-Q_learning approach designed for online learning of simple and reactive robot behaviors. In this approach, the Q_function is generalized by a multi-layer neural network allowing the use of continuous states and actions. The algorithm uses a database of the most recent learning samples to accelerate and guarantee the convergence. Each Neural-Q_learning function represents an independent, reactive and adaptive behavior which maps sensorial states to robot control actions. A group of these behaviors constitutes a reactive control scheme designed to fulfill simple missions. The paper centers on the description of the Neural-Q_learning based behaviors showing their performance with an underwater robot in a target following task. Real experiments demonstrate the convergence and stability of the learning system, pointing out its suitability for online robot learning. Advantages and limitations are discussed

Policy gradient based Reinforcement Learning for real autonomous underwater cable tracking

This paper proposes a field application of a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot in cable tracking task. The learning system is characterized by using a direct policy search method for learning the internal state/action mapping. Policy only algorithms may suffer from long convergence times when dealing with real robotics. In order to speed up the process, the learning phase has been carried out in a simulated environment and, in a second step, the policy has been transferred and tested successfully on a real robot. Future steps plan to continue the learning process on-line while on the real robot while performing the mentioned task. We demonstrate its feasibility with real experiments on the underwater robot ICTINEU AUV

Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Aula de música : desarrollo de contenidos en una herramienta de e-learning para la asignatura de música en Educación Primaria.

Aula de música es una herramienta e-learning para el desarrollo del aprendizaje de la música para niños con edades comprendidas entre los 6 y 12 años, edades correspondientes a las de los alumnos de la etapa de la Educación Primaria. En esta herramienta destaca el uso de estándares y especificaciones como LOM, IMS, etc. que van a facilitar la tarea de reutilizar la documentación incluida para compartir conocimiento. El proceso de elaboración del contenido ha sido fundamental y en relación con el entorno de trabajo debe mencionarse que se ha primado la construcción de una GUI que sirva para aprender y que motive a los alumnos a aprender música de una forma diferente, en contraposición a realizar una diseño estético que fuera incapaz de adaptarse a las capacidades de cada tipo de usuario, para lo que se han tenido en cuenta criterios de usabilidad y accesibilidad (WAI).

Example General Feedback on Routes to Success Portfolios

This document provides example feedback which has been generated following the marking of a class set of portfolios. It is used as a part of the Routes to Success Module, specifically on the section titled Sustaining Success. Students can read the feedback prior to completing the portfolio to alert them to the possible shortfalls which may occur when they undertake this type of task. The feedback is introduced in the context that the task of completing the portfolio is a developmental one, and that students can expect to learn and improve their performance for this type of task as they develop and refine their skills.

Laser Health and Safety Interactive Video

This short video is designed to make you think about the safety aspects of working with lasers within laser laboratories. Postgraduates and research fellows work with many different types of lasers in a variety of different experimental conditions. These lasers are often more powerful than those used as an undergraduate and require additional safety practices. The video was demonstrated to the EUNIS 2008 conference Aarhus, Denmark, and was a finalist in the Dorup E-Learning Award.

Sustaining Success Week 2 task

A set of questions to be used with the RSA animate video of the talk given by Dan Pink on motivation. The questions are designed to help you address some of the sections in the portfolio

Southampton Learning Environment

This interactive diagram provides an overview of the SLE at the start of 2015 - this vision is likely to evolve and further versions of the diagram will follow.

O Papel de Variáveis Sócio-Demográficas na Tomada de Decisão: Uma Revisão Sistemática sobre o Iowa Gambling Task

O interesse em estudar o papel de variáveis sócio-demográficas no funcionamento cognitivo vem ganhando destaque nos últimos anos. Alguns estudos em neuropsicologia têm mostrado que os fatores sócio-culturais podem ser variáveis importantes na execução de tarefas neuropsicológicas. No entanto, pesquisas com populações saudáveis ainda são recentes na área. O presente artigo teve por objetivo realizar uma revisão sistemática da literatura sobre o papel das variáveis sócio-demográficas escolaridade, idade e gênero no processamento da tomada de decisão avaliado pelo Iowa Gambling Task (IGT). Foram consultadas as bases de dados Medline, Pubmed, Psycinfo e Web of Science, no período de 2000 até 2010, com as seguintes palavras-chaves na sintaxe “education OR schooling AND Iowa Gambling Task��� OR “somatic marker” para a variável escolaridade; “age” OR “aging” AND “Iowa Gambling Task��� OR “somatic marker” para a variável idade e; “sex” OR “gender” AND “Iowa Gambling Task��� OR “somatic marker” para a variável sexo/gênero. Dos abstracts que preenchiam os critérios de inclusão, foram examinados 9 artigos completos para a variável idade, 3 artigos para a variável escolaridade e 6 artigos para a variável gênero. Foram encontrados poucos estudos sobre os fatores idade, escolaridade e gênero e seu impacto no desempenho do IGT. A variável mais estudada foi a idade. A maioria dos estudos mostrou que os adultos jovens tiveram uma melhor aprendizagem ao longo da tarefa do que os adultos idosos, mas não tiveram diferenças quanto ao desempenho total no instrumento. Já quanto ao fator escolaridade poucos estudos foram encontrados e quanto à variável gênero os resultados são contraditórios. Assim, evidencia-se a necessidade de um maior número de investigações com populações saudáveis que esclareçam o papel das variáveis idade, escolaridade e gênero na tomada de decisão mensurada pelo IGT.

El trabajo en equipo en el Proceso Administrativo y de Compras en OPL Carga de Bucaramanga

El proceso administrativo y de compras de OPL Carga tiene algunas falencias entre ellas: fallas en la Comunicación entre el personal operativo, no se realizan llamadas internas usando con frecuencia el email, produciendo la saturación de solicitudes las cuales terminan sin ser resueltas en cuanto a roles se refiere, no hay enfoque de procesos en vista que no se tiene claras las tareas de cada cargo, adicionalmente no hay claridad en los subprocesos, perjudicando el proceso con el aumento de costos, pérdida de tiempo, las responsabilidades de los funcionario no todas las veces se ejecutan en el tiempo asignado, el liderazgo compartido presenta ambigüedades. Objetivos: Definir el trabajo en equipo en el proceso administrativo y de compras en OPL carga de Bucaramanga. La investigación que a realizar es de tipo descriptivo, busca descubrir las falencias o características que permiten diseñar y desarrollar un modelo de solución para los problemas del equipo de OPL Carga S.A.S. Materiales y métodos: La investigación efectuada es de tipo descriptivo, el objetivo es definir el modelo del trabajo en equipo y describir las falencias en el proceso administrativo y de compras en OPL carga de Bucaramanga, que permitan obtener un diagnóstico integral que conlleve a la implementación de estrategias de solución. Resultados: Se identificaron las falencias en los siguientes aspectos: Variable comunicación, rendimiento, destrezas complementarias, propósito significativo y meta específicas de los funcionarios en OPL carga sección administrativa. Conclusiones: El modelo de trabajo en equipo que OPL aplica es jerárquico, en el que se ofrece estabilidad, seguridad, se toman decisiones en forma piramidal, mediante la planeación de tareas, la colaboración, igualdad y respeto por los miembros, trabajando en pro de la solución de problemas. Se construyó un plano conceptual que permitió exponer la interpretación que la estudiante tiene de las teorías, investigaciones y antecedentes válidos para la comprensión del problema investigado. Área comunicacional: Coordinar acciones tendientes para que los funcionarios respondan a tiempo los emails atenientes a su trabajo. Área condiciones de trabajo: Clarificar y diseñar las reglas de comportamiento al interior de los equipos de trabajo que redunden en el mejoramiento del mismo y la búsqueda de soluciones oportunas. Área metas específicas: Procurar mediante auditorías el cumplimiento de las metas y objetivos propuestos por cada equipo de trabajo.

Relación entre los estilos de liderazgo y los niveles de resiliencia de los subordinados

El presente documento hace un análisis de la influencia que ejercen los diferentes tipos de liderazgo, carismático y transaccional, de un directivo de una organización sobre los subordinados de la misma, que a su vez afecta positiva o negativamente el nivel de resiliencia de los mismos. De la misma forma, se ha identificado la relación que existe entre el nivel de resiliencia de los subordinados de una organización y el cumplimiento de objetivos corporativos de la misma. Todo lo anterior se justifica en la economía globalizada de la que ahora hacemos parte que obliga a las empresas a generar nuevas estrategias de competitividad dentro de ambientes turbulentos y cambiantes donde, el desarrollar y motivar el recurso humano de la organización toma importancia para la ejecución exitosa de estrategias diferenciales.

Resiliencia organizacional y capital psicológico

Desde la noción universal sobre la empresa como un sistema de interacción con un entorno determinado para alcanzar un objetivo, de manera planificada y en función de satisfacer las demandas de un mercado mediante la actividad económica, su viabilidad, sostenibilidad y crecimiento dependerán, por supuesto, de una serie de estrategias adecuadas no solo para tales fines, sino también para enfrentar diversidad de agentes endógenos y exógenos que puedan afectar el normal desempeño de su gestión. Estamos hablando de la importancia de la resiliencia organizacional y del Capital Psicológico. En un escenario tan impredecible como el de la economía mundial, donde la constante son los cambios en su comportamiento —unos propios de su dinámica e interdependencia, naturales de fenómenos como la globalización, y otros derivados de eventos disruptivos— hoy más que nunca es necesario implementar el modelo de la empresa resiliente, que es aquella entidad capaz de adaptarse y recuperarse frente a una perturbación. Al mismo tiempo, más allá de su tamaño, naturaleza u objeto social, es indispensable reconocer básicamente que toda organización está constituida por personas, lo cual implica la trascendencia que para su funcionamiento tiene el factor humano-dependiente, y por lo tanto se crea la necesidad de promover el Capital Psicológico y la resiliencia a nivel de las organizaciones a través de una cultura empresarial.

Engagement y productividad en las empresas

El presente trabajo pretende mostrar algunos avances en el término “engagement”, y como puede ser implementado en las organizaciones, teniendo en cuenta los diferentes factores que intervienen, para que los trabajadores se sientan “engaged” dentro de la organización. Además busca relacionar las diferentes habilidades y tipos de liderazgo que los altos mandos utilizan con sus empleados y como éste afecta la productividad de los trabajadores en las organizaciones. Para esto, se realizó una investigación de las clases de liderazgo y los comportamientos de los altos mandos, que pueden afectar positiva y negativamente el vínculo y sentido de pertenencia que tienen los trabajadores con la empresa en la que trabajan. Considerando importante las habilidades del liderazgo transformacional, para lograr desarrollar algún grado de engagement en los trabajadores, lo cual genera a su vez, un alza en la productividad de sus resultados dentro de la organización.

Comparación del efecto de mera exposición y el condicionamiento clásico en la formación de preferencias

El objetivo de este estudio fue comparar la eficacia del condicionamiento clásico (CC) y el efecto de mera exposición (ME), en condiciones supraliminales (2000 milisegundos –ms-), sobre la formación de preferencias hacia marcas publicitarias. Se realizó un experimento con diseño intrasujeto, donde se manipuló la variable tratamiento afectivo representada por los dos procedimientos a comparar y se midió la variable dependiente –preferencia hacia las marcas- a través de una tarea de elección forzosa y un diferencial semántico. En el experimento participaron 70 hombres, estudiantes de medicina de la Universidad del Rosario con edades entre 18 y 22 años. El CC se realizó a través de un procedimiento simultáneo y en ambas condiciones la variable independiente se expuso el estímulo 8 veces con una duración de 2000 ms. Los resultados mostraron que los dos procedimientos generaron preferencias en los sujetos, pero no diferencias significativas entre la efectividad de los procedimientos.