Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Adaptive intelligent agent approach to guide the web navigation on the PLAN-G distance learning platform

Hypermedia systems based on the Web for open distance education are becoming increasinglypopular as tools for user-driven access learning information. Adaptive hypermedia is a new direction in research within the area of user-adaptive systems, to increase its functionality by making it personalized [Eklu 961. This paper sketches a general agents architecture to include navigationaladaptability and user-friendly processes which would guide and accompany the student during hislher learning on the PLAN-G hypermedia system (New Generation Telematics Platform to Support Open and Distance Learning), with the aid of computer networks and specifically WWW technology [Marz 98-1] [Marz 98-2]. The PLAN-G actual prototype is successfully used with some informatics courses (the current version has no agents yet). The propased multi-agent system, contains two different types of adaptive autonomous software agents: Personal Digital Agents {Interface), to interacl directly with the student when necessary; and Information Agents (Intermediaries), to filtrate and discover information to learn and to adapt navigation space to a specific student

A teaching/learning support tool for introductory programming courses

In This work we present a Web-based tool developed with the aim of reinforcing teaching and learning of introductory programming courses. This tool provides support for teaching and learning. From the teacher's perspective the system introduces important gains with respect to the classical teaching methodology. It reinforces lecture and laboratory sessions, makes it possible to give personalized attention to the student, assesses the degree of participation of the students and most importantly, performs a continuous assessment of the student's progress. From the student's perspective it provides a learning framework, consisting in a help environment and a correction environment, which facilitates their personal work. With this tool students are more motivated to do programming

Millora experimental de les lleis de control predictiu aplicades sobre la plataforma PRIM I, per el seguiment de trajectòries

Aquest projecte s’aplica sobre el robot PRIM (Plataforma Robotitzada d’Informació Multimèdia), un robot autònom no humanoide creat el 2004 per Ateneu Informàtic (AI) que permet realitzar trajectòries 2D gràcies a un sistema de tracció format per dues rodes motrius propulsades independentment. La plataforma PRIM és controlada a partir del control predictiu, aquest control es va implementar en un projecte anterior, creat per l’Alexandre Blasco Gutierrez i titulat “Implementació de tècniques MPC (Model Predictiu Control) sobre la plataforma PRIM I”. El que es pretén en aquest projecte és millorar els resultats obtinguts en el passat projecte reformulant la llei de control i analitzar les discrepàncies obtingudes en les metodologies que s’utilitzen per minimitzar la funció de costos a partir de simulacions de trajectòries

Integració d’un visualitzador de volums en una plataforma de reconstrucció de mapes de fibres del cervell

Estudi, disseny i implementació d’un algorisme de visualització de volums i integrar-lo en la plataforma DTIWeb de visualització i processament de dades de DTI. La plataforma DTIWeb és una plataforma desenvolupada conjuntament entre el Laboratori de Gràfics i Imatge de la Universitat de Girona i d’Institut de Diagnòstic per la imatge de l’Hospital Josep Trueta de Girona. Aquesta plataforma integra els mètodes bàsics de reconstrucció de fibres del cervell. La principal limitació de la plataforma és que no suporta la visualització de models 3D. Aquest fet limita el seu us en la pràctica clínica habitual ja que es fa difícil la interpretació dels mapes de connectivitat que genera

Projecte constructiu d’una plataforma inclinable adaptada a la sala polivalent d’un hotel

Disseny constructiu d’una plataforma inclinable per ser automatitzada adaptada al terra de la sala polivalent d’un hotel, de manera que permeti convertir-la en un moment donat, en un saló de congressos tot facilitant la visió i audició als assistents. El projecte respon a la necessitat d’un establiment hoteler de crear una nova línia de negoci no estacional. El projecte queda emmarcat en un hotel que està en funcionament, el qual condiciona el projecte amb unes especificacions de partida molt restrictives i que condicionen el seu disseny i dimensionament pensant amb la posterior posada en obra de la instal•lació

Desenvolupament d'una plataforma informàtica per al tractament, manipulació i visualització de dades cardíaques

El processament de dades cardíaques és, sinó el que més, un dels més complexes de tractar.El problema principal és que a diferència d’altres parts de l’organisme, el cor del pacientestà en moviment continu. Aquest moviment queda representat en les imatges generadespels aparells de captació en forma de soroll. Aquest soroll no només dificulta la detecció deles patologies per part dels cardiòlegs i els especialistes sinó que també en moltes ocasionslimita l’aplicació de certes tècniques i mètodes. Així per exemple, l’aplicació de mètodes devisualització 3D (mètodes que permeten generar una representació 3D d’un òrgan) quepoden aplicar-se fàcilment en visualització de dades del cervell no són aplicables sobredades de cor. El Grup d’Informàtica Gràfica de la Universitat de Girona, juntament amb l’Institut deDiagnòstic per la Imatge (IDI) de l'hospital Dr. Josep Trueta, està col·laborant en eldesenvolupament de noves eines informàtiques que donin suport al diagnòstic. Una de lesprioritats actuals de l'IDI és el tractament de malalties cardíaques. Es disposa d’unaplataforma anomenada Starviewer que integra les operacions bàsiques de manipulació ivisualització de dades mèdiques. L’objectiu d’aquest projecte és el de desenvolupar i integrar en la plataforma Starviewer elsmòduls necessaris per poder tractar, manipular i visualitzar dades cardíaques provinents deressònancies magnètiques

Projecte de construcció d'una plataforma especial per al desgel i neteja d'aeronaus a l'aeroport de Girona-Costa Brava

L’objecte d’aquest projecte és definir totes les instal·lacions que caldria construir per tal de dotar l’Aeroport de Girona-Costa Brava d’una plataforma (àrea pavimentada) especial d’estacionament que servís per al desgel i la neteja d’aeronaus, minimitzant al màxim l’impacte sobre el medi ambient i garantint el manteniment de l’operativitat a l’aeroport. El disseny d’aquesta plataforma hauria de permetre recollir l’aigua amb etilenglicol procedent de les operacions de desgel i conduir-la a un dipòsit per al seu posterior tractament i reutilització, a fi de no contaminar el subsòl i les aigües subterrànies. En cas de no utilitzar-se, l’aigua recollida en aquesta plataforma es conduiria a la xarxa d’aigües pluvials

Integració a la plataforma webDTI de tècniques de clustering de fibres i visualització de clústers

Estudi, disseny i implementació de diferents tècniques d’agrupament defibres (clustering) per tal d’integrar a la plataforma DTIWeb diferentsalgorismes de clustering i tècniques de visualització de clústers de fibres de forma quefaciliti la interpretació de dades de DTI als especialistes

The interactional space in CLIL (Content and Language Integrated Learning) and EFL (English as a Foreign Language) classrooms

Aquest estudi pretén investigar els intercanvis verbals mestre/a – aprenent(s) en dos contextos d'instrucció diferents: classes amb un enfocament AICLE (Aprenentatge Integrat de Continguts Curriculars i Llengua Estrangera) on s’aprenen continguts no lingüístics a través de l’anglès, per una banda, i classes 'tradicionals' d'anglès com a llengua estrangera, on l’anglès és alhora objecte d’estudi i vehicle de comunicació, per una altra banda. Més concretament, les preguntes que formula el/la mestre/a, la producció oral dels aprenents i el 'feedback' del/de la mestre/a en els episodis d’atenció a la forma s’han estudiat a la llum de les principals teories provinents del camp de l’Adquisició de Segones Llengües (SLA) per tal de demostrar el seu paper en l’aprenentatge de l’anglès. El corpus de dades prové de l’enregistrament de 7 sessions AICLE i d'11 sessions EFL enregistrades en format àudio i vídeo en dos centres públics d’Educació Primària (EP) de Catalunya. A cadascuna de les escoles, el/la mateix/a mestre/a és l’encarregat/da dels dos tipus d’instrucció amb el mateix grup d’aprenents (10-11 anys d’edat), fet que permet eliminar variables individuals com l'aptitud dels aprenents o l'estil del/de la mestre/a.Els resultats mostren un cert nombre de similituds discursives entre AICLE i EFL donat que ambdós enfocaments tenen lloc en el context-classe amb unes característiques ben definides. Tal com apunta la recerca realitzada en aquest camp, la instrucció AICLE reuneix un seguit de condicions idònies per un major desenvolupament dels nivells de llengua anglesa més enllà de les classes ‘tradicionals’ d’anglès. Malgrat això, aquest estudi sembla indicar que el potencial d'AICLE pel que fa a facilitar una exposició rica a l’anglès i una producció oral significativa no s’explota degudament. En aquest sentit, els resultats d’aquest estudi poden contribuir a la formació dels futurs professors d'AICLE si es busca l’assoliment d’una complementarietat d’ambdós contextos amb l’objectiu últim de millorar els nivells de domini de la llengua anglesa.

Diseño de una herramienta de e-learning para el área de cirugía traumatológica

Este artículo trata, en primer lugar, de analizar el estado actual de las herramientas de e-learning relacionadas y aplicadas en el área de cirugía traumatológica, presentando las herramientas disponibles en la actualidad como vídeos, audios, simuladores de realidad virtual, pacientes virtuales, LMS, entre otras; para, a continuación, describir el diseño de una herramienta en la que los componentes cumplan con los criterios de integración, interactividad, estandarización y asegure la reutilización. Como conclusión, se valora positivamente el diseño de una herramienta totalmente de código abierto que incorpora componentes de LMCS, repositorios de objetos, pacientes virtuales, simuladores hápticos de realidad virtual y objetos educativos, entre otros. Finalmente se recomienda implementar y comprobar la utilidad de la herramienta propuesta en la formación y entrenamiento de cirujanos traumatólogos.

Videojocs educatius : configuració del perfil del jugador en la plataforma de videojocs educatius K-Pax

Aquest treball presenta una forma de gestionar el perfil dels usuaris de l'aplicació gestora de videojocs educatius en xarxa k-Pax. Paral·lelament al desenvolupament del codi es realitza la documentació de gran part de la plataforma existent, de les accions necessàries per poder tenir-la en mode local i es mostren algunes guies per futurs desenvolupaments.

Learning about Distributed Systems

This paper presents the "state of the art" about distributed systems and applications and it's focused on teaching about these systems. It presents different platforms where to run distributed applications and describes some development toolkits whose can be used to develop prototypes, practices and distributed applications. It also presents some existing distributed algorithms useful for class practices, and some tools to help managing distributed environments. Finally, the paper presents some teaching experiences with different approaches on how to teach about distributed systems.

An empirical study of machine learning techniques applied to image watermarking

A study of how the machine learning technique, known as gentleboost, could improve different digital watermarking methods such as LSB, DWT, DCT2 and Histogram shifting.