On the Convergence of Stochastic Iterative Dynamic Programming Algorithms

Recent developments in the area of reinforcement learning have yielded a number of new algorithms for the prediction and control of Markovian environments. These algorithms, including the TD(lambda) algorithm of Sutton (1988) and the Q-learning algorithm of Watkins (1989), can be motivated heuristically as approximations to dynamic programming (DP). In this paper we provide a rigorous proof of convergence of these DP-based learning algorithms by relating them to the powerful techniques of stochastic approximation theory via a new convergence theorem. The theorem establishes a general class of convergent algorithms to which both TD(lambda) and Q-learning belong.

Bagging Regularizes

Intuitively, we expect that averaging --- or bagging --- different regressors with low correlation should smooth their behavior and be somewhat similar to regularization. In this note we make this intuition precise. Using an almost classical definition of stability, we prove that a certain form of averaging provides generalization bounds with a rate of convergence of the same order as Tikhonov regularization --- similar to fashionable RKHS-based learning algorithms.

A Conservative Front Tracking Algorithm

The discontinuities in the solutions of systems of conservation laws are widely considered as one of the difficulties in numerical simulation. A numerical method is proposed for solving these partial differential equations with discontinuities in the solution. The method is able to track these sharp discontinuities or interfaces while still fully maintain the conservation property. The motion of the front is obtained by solving a Riemann problem based on the state values at its both sides which are reconstructed by using weighted essentially non oscillatory (WENO) scheme. The propagation of the front is coupled with the evaluation of "dynamic" numerical fluxes. Some numerical tests in 1D and preliminary results in 2D are presented.

L'Aprenentatge en grup per projectes, una experiència enriquidora

Els canvis a la universitat s’estan produint amb un cert recel per part d’alguns a qui costa acoblar-se als dictats del nou marc que proposa l’EEES. Nosaltres portem anys treballant amb grups i per projectes, dintre dels estudis de Enginyeria del Disseny Industrial i Desenvolupament de Productes de la Universitat de Girona, en les assignatures de Projectes. La nostra experiència és molt positiva i concorda amb tot allò que es ve publicant sobre l’aprenentatge basat en grups i el model de treball sobre projectes. D’aquesta manera aconseguim una bona interacció dels estudiants amb allò que nosaltres volem que aprenguin. L’aprenentatge per projectes (APP, o PBL Project Based Learning) es un conjunt de mètodes de treball, una eina d’instrucció que ajuda tant al docent com a l’alumne en el procés d’ensenyament / aprenentatge però que requereix alguns canvis significatius respecte una classe expositiva o un tradicional treball en grup. Presentem el desenvolupament d’aquests mètodes, on a més hem introduït elements innovadors dintre el que es coneix com autogestió del temps i de l’aprenentatge

Operational Cost Reduction in WDM Networks using Lighttours

Wavelength division multiplexing (WDM) networks have been adopted as a near-future solution for the broadband Internet. In previous work we proposed a new architecture, named enhanced grooming (G+), that extends the capabilities of traditional optical routes (lightpaths). In this paper, we compare the operational expenditures incurred by routing a set of demands using lightpaths with that of lighttours. The comparison is done by solving an integer linear programming (ILP) problem based on a path formulation. Results show that, under the assumption of single-hop routing, almost 15% of the operational cost can be reduced with our architecture. In multi-hop routing the operation cost is reduced in 7.1% and at the same time the ratio of operational cost to number of optical-electro-optical conversions is reduced for our architecture. This means that ISPs could provide the same satisfaction in terms of delay to the end-user with a lower investment in the network architecture

Sonic Labyrinths - 3 upon a ground (dance mix)

Electronic music based on an algorithm, but with a good deal of human influence. See other items with keywords 'sonic labyrinths' for details.

Sonic Labyrinths - 3 upon a ground (minimal mix)

Electronic music based on an algorithm, but with a good deal of human influence. See other items with keywords 'sonic labyrinths' for details.

Plataforma Tecnológica Colaborativa Comunidad de Negocios San Antonio, Chile, red de aprovisionamiento local: OpenSupply

El proyecto que se quiere plantear es la creación de una Plataforma electrónica a través de la cual se pretende agrupar a los diferentes proveedores que intervienen en la cadena de abastecimiento de la comunidad logística de San Antonio, abriendo la posibilidad de participación de empresas grandes y pequeñas y más aun promoviendo la creación de las mismas por parte de los ciudadanos de la región, de esta manera, se eliminan las brechas asimétricas existentes entre la oferta y la demanda permitiendo que las empresas medianas y grandes accedan a ofertas y transacciones con empresas proveedoras medianas y pequeñas. Dicho proyecto, tiene como objetivo general el consolidar los procesos de abastecimiento implementados por las empresas a través de la organización y estandarización de los mismos mediante el uso del portal, planteado en el presente proyecto, como apoyo tecnológico. Existen dos conceptos básicos a analizar de manera teórica dentro del proyecto, el primero de ellos es el de clúster logístico-portuario, lo cuales son reconocidos como instrumentos importantes para el progreso del desarrollo industrial, innovación, competitividad y crecimiento, tomando como ejemplos a los puertos de Valencia y Long Beach en la ciudad de Los Ángeles. El segundo concepto es el de E-Procurement, el cual se desarrolla siguiendo los pasos básicos de una cadena de abastecimiento tradicional, sin embargo, lo que genera un cambio real dentro de los procesos es el hecho que los procesos de cotización y seguimiento de proveedores se van a llevar a cabo a través de una plataforma electrónica con base a las evaluaciones que se llevan a cabo por parte de las empresas demandantes de los productos o servicios ofrecidos por las compañías proveedoras. (Renko, 2011) De la misma manera, se tomaran varios proyectos de e-procurement desarrollados a nivel mundial como base comparativa y de apoyo para el presente proyecto tales como: HYDRA: Es un sistema que tiene su soporte en la web, el cual es orientado “en el medio” lo cual lo hace un sistema con una arquitectura híbrida, que posee tanto un diseño en capas como una estructura comprensiva para desarrollar integración de negocios, colaboración y monitoreo en la gestión de la cadena de suministro (Renko, 2011) IPT: BidNet ha proporcionado servicios de oferta de información a miles de proveedores y compradores de bienes en el ámbito gubernamental por más de 25 años. (Bidnet, 2013) E-BUYPLACE: E-buyplace.com es el 1° especialista en SupplierRelationship Management que ha desarrollado un original y singular SRM 100% a través de Internet. (e-buyplace, 2013) RosettaNet: La iniciativa RosettaNet anima a optimizar los procesos de la cadena de suministro mediante el establecimiento, implementación y promoción de estándares abiertos en el mercado e-Business (AQS, Advance Quality Solutions, 2002)

Utilidad de la relación estratégica comunitaria y el marketing en empresas el sector salud

La necesidad de involucrar el concepto de comunidad y sus estrategias con el sector salud, generan el problema de investigación de determinar ¿Cuál es la utilidad de la relación estratégica comunitaria y el marketing en empresas del sector salud? El sector salud ha apartado las actividades relacionales con sus clientes, el cual es caracterizado por la atracción, desarrollo y mantenimiento de relaciones con los clientes. El objetivo de la investigación es determinar cuál es la utilidad de la relación estratégica comunitaria y el marketing en empresas del sector salud y los objetivos específicos son: describir el uso de comunidad e Identificar la utilidad de aplicar las estrategias comunitarias en el sector. La metodología es la investigación y análisis de caso, estudiando una organización relevante dentro del sector salud, anexando fuentes de información secundarias como que aporten a los resultados. El análisis arroja una brecha entre la teoría y la utilización de comunidad, donde la organización la define como sus clientes y empleados. Posteriormente cabe determinar si son aplicadas las estrategias comunitarias por la compañía, donde se encontró que algunas lo son. Al encontrar el uso de estrategias cabe estudiar si generan utilidad a los resultados demostrando que conservar y mejorar relaciones con los clientes es de beneficio para la compañía, sin dejar de atraer nuevos clientes para ampliar las posibilidades de ser una compañía rentable y perdurable. Finalmente se establece un eje estratégico que genere un impacto positivo a la empresa - comunidad para crear relaciones más efectivas y rentables.

Metodolog??a PBLE como gu??a del proceso de aprendizaje en ingenier??a. Primeros pasos en la UR

En este trabajo se dan a conocer algunas de las actuaciones que un equipo del Departamento de Ingenier??a Mec??nica de la Universidad de la Rioja desarrolla a modo de especificaci??n de dise??o conceptual del m??todo formativo. Constituye una propuesta de implantaci??n, que incluir?? un plan de alcance, de comunicaci??n y de riesgos, de cara a proponer a los usuarios de la Universidad un m??todo alternativo y algo m??s acorde con las tendencias europeas que en este sentido se van produciendo desde hace ya algunos a??os. La aproximaci??n seleccionada para la propuesta de implantaci??n es la basada en la metodolog??a PBLE (Project Based Learning Engineering).

Lo que el ojo no ve : un estudio de caso basado en procesos de indagación co(wiki)laborativos.

Resumen basado en el de la publicación

Comunidades de aprendizaje en red : diseño de un proyecto de entorno colaborativo.

Monográfico con el título: 'Aprendizaje y construcción del conocimiento en la red'. Resumen basado en el de la publicación

Integració 3D de detectors de píxels híbrids

La miniaturització de la industria microelectrònica és un fet del tot inqüestionables i la tecnologia CMOS no n'és una excepció. En conseqüència la comunitat científica s'ha plantejat dos grans reptes: En primer lloc portar la tecnologia CMOS el més lluny possible ('Beyond CMOS') tot desenvolupant sistemes d'altes prestacions com microprocessadors, micro - nanosistemes o bé sistemes de píxels. I en segon lloc encetar una nova generació electrònica basada en tecnologies totalment diferents dins l'àmbit de les Nanotecnologies. Tots aquests avanços exigeixen una recerca i innovació constant en la resta d'àrees complementaries com són les d'encapsulat. L'encapsulat ha de satisfer bàsicament tres funcions: Interfície elèctrica del sistema amb l'exterior, Proporcionar un suport mecànic al sistema i Proporcionar un camí de dissipació de calor. Per tant, si tenim en compte que la majoria d'aquests dispositius d'altes prestacions demanden un alt nombre d'entrades i sortides, els mòduls multixip (MCMs) i la tecnologia flip chip es presenten com una solució molt interessant per aquests tipus de dispositiu. L'objectiu d'aquesta tesi és la de desenvolupar una tecnologia de mòduls multixip basada en interconnexions flip chip per a la integració de detectors de píxels híbrids, que inclou: 1) El desenvolupament d'una tecnologia de bumping basada en bumps de soldadura Sn/Ag eutèctics dipositats per electrodeposició amb un pitch de 50µm, i 2) El desenvolupament d'una tecnologia de vies d'or en silici que permet interconnectar i apilar xips verticalment (3D packaging) amb un pitch de 100µm. Finalment aquesta alta capacitat d'interconnexió dels encapsulats flip chip ha permès que sistemes de píxels tradicionalment monolítics puguin evolucionar cap a sistemes híbrids més compactes i complexes, i que en aquesta tesi s'ha vist reflectit transferint la tecnologia desenvolupada al camp de la física d'altes energies, en concret implantant el sistema de bump bonding d'un mamògraf digital. Addicionalment s'ha implantat també un dispositiu detector híbrid modular per a la reconstrucció d'imatges 3D en temps real, que ha donat lloc a una patent.

Studies of dynamics of physical agent ecosystems

This thesis addresses the problem of learning in physical heterogeneous multi-agent systems (MAS) and the analysis of the benefits of using heterogeneous MAS with respect to homogeneous ones. An algorithm is developed for this task; building on a previous work on stability in distributed systems by Tad Hogg and Bernardo Huberman, and combining two phenomena observed in natural systems, task partition and hierarchical dominance. This algorithm is devised for allowing agents to learn which are the best tasks to perform on the basis of each agent's skills and the contribution to the team global performance. Agents learn by interacting with the environment and other teammates, and get rewards from the result of the actions they perform. This algorithm is specially designed for problems where all robots have to co-operate and work simultaneously towards the same goal. One example of such a problem is role distribution in a team of heterogeneous robots that form a soccer team, where all members take decisions and co-operate simultaneously. Soccer offers the possibility of conducting research in MAS, where co-operation plays a very important role in a dynamical and changing environment. For these reasons and the experience of the University of Girona in this domain, soccer has been selected as the test-bed for this research. In the case of soccer, tasks are grouped by means of roles. One of the most interesting features of this algorithm is that it endows MAS with a high adaptability to changes in the environment. It allows the team to perform their tasks, while adapting to the environment. This is studied in several cases, for changes in the environment and in the robot's body. Other features are also analysed, especially a parameter that defines the fitness (biological concept) of each agent in the system, which contributes to performance and team adaptability. The algorithm is applied later to allow agents to learn in teams of homogeneous and heterogeneous robots which roles they have to select, in order to maximise team performance. The teams are compared and the performance is evaluated in the games against three hand-coded teams and against the different homogeneous and heterogeneous teams built in this thesis. This section focuses on the analysis of performance and task partition, in order to study the benefits of heterogeneity in physical MAS. In order to study heterogeneity from a rigorous point of view, a diversity measure is developed building on the hierarchic social entropy defined by Tucker Balch. This is adapted to quantify physical diversity in robot teams. This tool presents very interesting features, as it can be used in the future to design heterogeneous teams on the basis of the knowledge on other teams.

Establishing a community of practice of researchers, practitioners, policy-makers and communities to sustainably manage environmental health risks in Ecuador

The Sustainably Managing Environmental Health Risk in Ecuador project was launched in 2004 as a partnership linking a large Canadian university with leading Cuban and Mexican institutes to strengthen the capacities of four Ecuadorian universities for leading community-based learning and research in areas as diverse as pesticide poisoning, dengue control, water and sanitation, and disaster preparedness. By 2009, train-the-trainer project initiation involved 27 participatory action research Master’s theses in 15 communities where 1200 community learners participated in the implementation of associated interventions. This led to establishment of innovative Ecuadorian-led master’s and doctoral programs, and a Population Health Observatory on Collective Health, Environment and Society for the Andean region based at the Universidad Andina Simon Bolivar. Building on this network, numerous initiatives were begun, such as an internationally funded research project to strengthen dengue control in the coastal community of Machala, and establishment of a local community eco-health centre focusing on determinants of health near Cuenca. Alliances of academic and non-academic partners from the South and North provide a promising orientation for learning together about ways of addressing negative trends of development. Assessing the impacts and sustainability of such processes, however, requires longer term monitoring of results and related challenges.