Reinforcement Learning by Policy Search

One objective of artificial intelligence is to model the behavior of an intelligent agent interacting with its environment. The environment's transformations can be modeled as a Markov chain, whose state is partially observable to the agent and affected by its actions; such processes are known as partially observable Markov decision processes (POMDPs). While the environment's dynamics are assumed to obey certain rules, the agent does not know them and must learn. In this dissertation we focus on the agent's adaptation as captured by the reinforcement learning framework. This means learning a policy---a mapping of observations into actions---based on feedback from the environment. The learning can be viewed as browsing a set of policies while evaluating them by trial through interaction with the environment. The set of policies is constrained by the architecture of the agent's controller. POMDPs require a controller to have a memory. We investigate controllers with memory, including controllers with external memory, finite state controllers and distributed controllers for multi-agent systems. For these various controllers we work out the details of the algorithms which learn by ascending the gradient of expected cumulative reinforcement. Building on statistical learning theory and experiment design theory, a policy evaluation algorithm is developed for the case of experience re-use. We address the question of sufficient experience for uniform convergence of policy evaluation and obtain sample complexity bounds for various estimators. Finally, we demonstrate the performance of the proposed algorithms on several domains, the most complex of which is simulated adaptive packet routing in a telecommunication network.

Exploring Bit-Difference for Approximate KNN Search in High-dimensional Databases

In this paper, we develop a novel index structure to support efficient approximate k-nearest neighbor (KNN) query in high-dimensional databases. In high-dimensional spaces, the computational cost of the distance (e.g., Euclidean distance) between two points contributes a dominant portion of the overall query response time for memory processing. To reduce the distance computation, we first propose a structure (BID) using BIt-Difference to answer approximate KNN query. The BID employs one bit to represent each feature vector of point and the number of bit-difference is used to prune the further points. To facilitate real dataset which is typically skewed, we enhance the BID mechanism with clustering, cluster adapted bitcoder and dimensional weight, named the BID⁺. Extensive experiments are conducted to show that our proposed method yields significant performance advantages over the existing index structures on both real life and synthetic high-dimensional datasets.

Keyword Join: Realizing Keyword Search in P2P-based Database Systems

In this paper, we present a P2P-based database sharing system that provides information sharing capabilities through keyword-based search techniques. Our system requires neither a global schema nor schema mappings between different databases, and our keyword-based search algorithms are robust in the presence of frequent changes in the content and membership of peers. To facilitate data integration, we introduce keyword join operator to combine partial answers containing different keywords into complete answers. We also present an efficient algorithm that optimize the keyword join operations for partial answer integration. Our experimental study on both real and synthetic datasets demonstrates the effectiveness of our algorithms, and the efficiency of the proposed query processing strategies.

Pla d'acció tutorial de la Facultat de Ciències de la UdG

En aquest article es presenta el Pla d’Acció Tutorial (PAT) per als alumnes de primer curs dels tres estudis de la Facultat de Ciències de la UdG, Biologia, Química i Ciències Ambientals, implantat en el marc del plans pilot de la UdG a partir del curs 2007. El PAT proposa treballar una sèrie de competències transversals entre les que destaca ’Responsabilitzar l’estudiant del seu procés d’aprenentatge’. S’assigna un tutor per un grup de 15 alumnes, s’estableixen tutories generals i concertades (3 alumnes), s’elaboren una agenda i un seguit d’enquestes per tal de realitzar el seguiment dels alumnes, es proposa als alumnes un espai de reflexió i s’avalua la progressió en la consecució de la competència. Finalment es fa un seguiment tant de les opinions dels tutors com dels alumnes tutoritzats en relació al PAT

La Acción tutorial como elemento dinamizador en la vida universitaria del alumno

La introducción de nuevos modelos de enseñanza más centrados en el alumno es una de las prioridades del nuevo enfoque pedagógico que se pretende desarrollar para la implantación del Espacio Europeo de Educación Superior. Uno de los aspectos claves será la articulación de sistemas de tutorización flexibles e innovadores que despierten mayor interés por parte de nuestros alumnos y dinamicen la vida socio-cultural de los centros. En este trabajo se presenta una síntesis de los resultados obtenidos mediante la puesta en marcha en la Facultad de Ciencias Económicas y Empresariales de la Universidad de Oviedo de tres acciones innovadoras y dinamizadoras de la acción tutorial: el Café Matemático, un sistema de tutorías entre iguales y un ciclo de cine sobre Matemáticas, Economía y Cine. Se efectuaron dos encuestas entre los alumnos que participaron en estas actividades cuyos principales resultados son analizados. Se extraen conclusiones y sintetizan las opiniones que los profesores participantes en estas iniciativas han ido desarrollando

Pla d'acció tutorial de l'Escola Universitària d'Estudis Empresarials de la UB

L’acció tutorial constitueix un element més del sistema d’educació superior orientat a maximitzar l’aprofitament que l’estudiant fa del seu pas per la universitat, coneixent les necessitats dels alumnes i adequant els recursos i metodologies al seu procés d’ensenyamentaprenentatge. Un element que cobra una importància fonamental davant els canvis que s’han produït en els darrers anys en el context de l’educació universitària, tant pel que fa al creixement en l’oferta d’estudis i centres que ofereixen carreres, com en el perfil dels estudiants que accedeixen a les aules de les facultats i escoles universitàries. L’escenari actual posa de manifest la necessitat de pensar en accions adreçades a millorar l’adaptació a la universitat, com aquelles dirigides a orientar i assessorar l’estudiant al llarg del estudis fins a la sortida al mercat laboral. De tal manera que, els diferents estudiants que accedeixen a una carrera puguin desenvolupar un procés formatiu i personal d’acord amb les seves capacitats, necessitats i interessos, disposant de la màxima informació i orientació adequada. En aquest sentit, l’objecte d’aquest text és descriure un Pla d’Acció Tutorial, ubicat en un dels ensenyaments més demandats i massificats de la Universitat de Barcelona, la Diplomatura en Ciències Empresarials, amb un perfil d’estudiants amb un nivell d’heterogeneïtat alt i un fracàs acadèmic en el primer any de carrera elevat. S’exposa l’estructura del pla, quina és la seva organització, els instruments de treball emprats, i quines són les diferents actuacions que configuren aquest programa. Finalment s’assenyalen algunes consideracions valoratives sobre la implementació del PAT, i es plantegen algunes qüestions que van apareixent fruit dels anys de funcionament i de les reflexions internes de l’equip de tutors

The Personal tutorial guidance sessions in the framework of the teaching-learning field of the Bologna process: University of Minho (first cycle) courses students’ perceptions

The Bologna Process defends the adoption of a higher education in teaching-learning methodologies that – in contraposition to the previous model based on the transmission of knowledge, which for being essentially theoretical, gives the student a passive role in the knowledge construction process – allows a (pro) active, autonomous and practical learning, where the student acquires and develops his competences. The personal tutorial guidance sessions are included in the teaching contact hours. This abstract presents a study about the University of Minho (first cycle) Courses Students’ perceptions of the personal tutorial guidance sessions’ relevance in the scope of the learning-teaching process, so as to confirm if the implementation/implantation of the commonly called tutorial (type) education, as an approach to an active, autonomous and practical learning, is sensed by the learners themselves

ORIENTA: Programa de acción tutorial de la Universidad de Valladolid. Diplomatura de Educación Social. Escuela Universitaria de Educación de Palencia

El Programa ORIENTA de acción tutorial con alumnado de primer curso es un Proyecto elaborado por un grupo de profesores de la Escuela Universitaria de Educación de Palencia, para la Diplomatura de Educación Social. Se enmarca dentro Plan de Innovación Docente en el marco del EEES del Vicerrectorado de Calidad e Innovación Docente de la Universidad de Valladolid. El principal objetivo del Proyecto es que la tutoría, como una de las funciones que desarrolla un profesor universitario (y aunque tradicionalmente se ha restringido a la docencia impartida por el propio profesor) se amplíe hacia otros aspectos relativos al desarrollo integral del alumno en su paso por la Universidad. Otros objetivos planteados son que el alumnado optimice su entorno de aprendizaje, que participe en la Institución a todos los niveles y la orientación en la elección de itinerarios curriculares. Respecto al profesorado, deseábamos analizar y debatir acerca de la titulación con la ayuda de los estudiantes, tanto en sus contenidos como en su organización, identificando carencias y proponiendo soluciones. Todo ello debía redundar en una mejora de la calidad de la titulación, haciendo más atractiva la opción de cursar esta especialidad. Durante el curso académico 2008/09, seis profesores hemos tutorizado a 40 alumnos de la Diplomatura de Educación Social, recién llegados al mundo universitario, realizando un seguimiento de octubre a junio a través de sesiones de tutoría organizadas en gran grupo, grupos reducidos (de 5-7 alumnos) e individuales. Como apoyo tecnológico hemos utilizado la plataforma Moodle de la UVa para mantener un contacto permanente y dar respuesta (a través de los foros) a cuestiones que se producían entre las sesiones de tutoría. El punto de partida era la consideración de la tutoría como un proceso basado en el encuentro o reunión entre un docente y uno o varios de sus estudiantes con la finalidad de intercambiar información, analizar, orientar o valorar un problema o proyecto, debatir un tema, discutir un asunto y que ello resultara útil para el desarrollo académico y personal del estudiante. A partir de esta definición, el grupo de profesores debatimos sobre las sesiones de tutoría hasta llegar a un consenso sobre su temporización y contenidos, analizando y debatiendo sobre los resultados obtenidos en cada sesión con la finalidad de ir aplicando las conclusiones extraídas en el menor tiempo posible. Los resultados has sido satisfactorios, detectando una mejora desde el punto de vista académico en el alumnado entre los dos cuatrimestres y comparado con cursos anteriores. Asimismo, el alumnado se ha implicado en mayor medida con la Institución desde cargos académicos hasta actos culturales y ha mejorado su relación con el profesorado de la titulación. Por último señalar que el Proyecto ha supuesto una gran carga de trabajo añadido para el profesorado, que no ha visto apoyada su tarea por el resto de compañeros ni reconocida por el equipo directivo, teniendo la sensación de caminar por nuestra cuenta, a pesar de ser una convocatoria de la propia Universidad

La Acción tutorial en la educación universitaria. La experiencia de la UDC

A lo largo de estas líneas se plantea el papel de la acción tutorial en la educación superior, con el objetivo de estudiar cuáles son las dificultades que presenta la implantación de la cultura de las tutorías en la universidad, y, más concretamente, explicar este proceso en la Universidad de A Coruña. Por ello, primeramente, se dibujará el contexto de la universidad hoy día y las exigencias y demandas existentes ante el momento de cambio y transformación en el que se encuentra. En segundo lugar intentaremos explicar la acción tutorial en la universidad y, analizar, particularmente, el caso de la Universidad de A Coruña, desde la visión de la tutoría como un espacio que favorece la participación de la comunidad educativa y crea nuevos canales de comunicación

Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Effects of memory load on visual search

Resumen tomado de la publicaci??n

Writing Tutorial for Engineers

This tutorial is produced by the Engineering Communications Centre at the University of Toronto. It contains detailed guidance on various aspects of report writing.

La Acción tutorial como instrumento de orientación y mediación en contextos universitarios. Análisis de prácticas en asignaturas de lenguas extranjeras

Como es sabido, la adaptación al EEES conlleva cambios importantes en la actividad del docente universitario entre los que destaca el incremento de la actividad de orientación y de mediación. Sin embargo, no existe unanimidad a la hora de definir el concepto de tutoría aunque cada vez son más las universidades españolas que han diseñado y puesto en práctica su Plan de Acción Tutorial (PAT), instrumento de información, apoyo y orientación al estudiante a lo largo de toda su vida universitaria. Al mismo tiempo, la creencia generalizada entre los docentes y los estudiantes consiste en asociar la tutoría universitaria con las horas de atención al estudiante, encuentros de formato reducido destinados principalmente a resolver las dudas y los problemas a los que el estudiante debe enfrentarse. Según esta definición, la función del docente-tutor se asimila plenamente a la del experto, conocedor de un ámbito del saber. En el contexto que investigamos, la función de la tutoría consiste en traspasar paulatinamente el control del proceso de enseñanza-aprendizaje del docente al estudiante, para pasar paulatinamente de una instrucción heterorregulada a un aprendizaje autorregulado. Y así en nuestro estudio nos interesa analizar primordialmente en qué medida aparecen marcas de autorregulación en el discurso de los aprendices generado en las tutorías y, en caso de ser así, qué grado de conciencia traducen

Things to do with your first personal tutorial

This is an idea list of things you might wish to talk about with your personal tutees in the first few tutorials. It originates from ECS (Dave de Roure and Hugh Davis in particular) so some of the ideas might be particular to that School. If you have suggestions you would wish to have added please email them to hcd@ecs.soton.ac.uk, or please feel free to copy any parts of the document and make a list specific to your school. Please enter the new list in EdShare!