On the Convergence of Stochastic Iterative Dynamic Programming Algorithms

Recent developments in the area of reinforcement learning have yielded a number of new algorithms for the prediction and control of Markovian environments. These algorithms, including the TD(lambda) algorithm of Sutton (1988) and the Q-learning algorithm of Watkins (1989), can be motivated heuristically as approximations to dynamic programming (DP). In this paper we provide a rigorous proof of convergence of these DP-based learning algorithms by relating them to the powerful techniques of stochastic approximation theory via a new convergence theorem. The theorem establishes a general class of convergent algorithms to which both TD(lambda) and Q-learning belong.

Geometric Structure of the Adaptive Controller of the Human Arm

The objects with which the hand interacts with may significantly change the dynamics of the arm. How does the brain adapt control of arm movements to this new dynamic? We show that adaptation is via composition of a model of the task's dynamics. By exploring generalization capabilities of this adaptation we infer some of the properties of the computational elements with which the brain formed this model: the elements have broad receptive fields and encode the learned dynamics as a map structured in an intrinsic coordinate system closely related to the geometry of the skeletomusculature. The low--level nature of these elements suggests that they may represent asset of primitives with which a movement is represented in the CNS.

Modeling Stock Order Flows and Learning Market-Making from Data

Stock markets employ specialized traders, market-makers, designed to provide liquidity and volume to the market by constantly supplying both supply and demand. In this paper, we demonstrate a novel method for modeling the market as a dynamic system and a reinforcement learning algorithm that learns profitable market-making strategies when run on this model. The sequence of buys and sells for a particular stock, the order flow, we model as an Input-Output Hidden Markov Model fit to historical data. When combined with the dynamics of the order book, this creates a highly non-linear and difficult dynamic system. Our reinforcement learning algorithm, based on likelihood ratios, is run on this partially-observable environment. We demonstrate learning results for two separate real stocks.

Capacidades dinámicas que influyen en la operación de la Red de Turismo de La Candelaria

El desarrollo de la presente investigación, centra su atención en las capacidades dinámicas que influyen en la operación de la Red de Turismo de La Candelaria de Bogotá. Para este fin, se realizó una encuesta a 100 directivos o dueños de las empresas que conforman dicha red, y que es una muestra significativa para los propósitos de la investigación, puesto que permite describir a nivel de la empresa y a nivel de la red, la influencia de las capacidades dinámicas de absorción, adaptación e innovación. Como resultados, se obtuvieron que al nivel de empresas las tres capacidades dinámicas influyen en la operación de la misma, encontrándose una mayor relación entre las capacidades de “Innovación – Adaptación"; a nivel de red empresarial ocurre lo contrario, puesto que la relación de las capacidades dinámicas de “Innovación – Adaptación” es nula, mientras que las relaciones entre “Absorción – Innovación” y “Absorción – Adaptación” poseen una alta relación para la operación de la red. Lo anterior, se deriva del análisis realizado de los datos tabulados de la encuesta aplicada a las empresas de la red de turismo, con los estudios empíricos hallados que proponen escalas de medición para las capacidades dinámicas de absorción, adaptación e innovación, y el marco teórico elaborado como soporte para la presente investigación.

El Outsourcing en la dinámica de sistemas hacia mercados extranjeros

Este trabajo recopila literatura académica relevante sobre estrategias de entrada y metodologías para la toma de decisión sobre la contratación de servicios de Outsourcing para el caso de empresas que planean expandirse hacia mercados extranjeros. La manera en que una empresa planifica su entrada a un mercado extranjero, y realiza la consideración y evaluación de información relevante y el diseño de la estrategia, determina el éxito o no de la misma. De otro lado, las metodologías consideradas se concentran en el nivel estratégico de la pirámide organizacional. Se parte de métodos simples para llegar a aquellos basados en la Teoría de Decisión Multicriterio, tanto individuales como híbridos. Finalmente, se presenta la Dinámica de Sistemas como herramienta valiosa en el proceso, por cuanto puede combinarse con métodos multicriterio.

Administración en la cadena de suministro y su relación con el desempeño de las PYME del sector agroindustrial

En la actualidad las organizaciones están en búsqueda de una mejora continua, esto lleva a que las empresas hagan una revisión de estrategias que permitan alcanzar una posición de líderes en los diferentes sectores en los que se desempeñan. Una de las estrategias para lograr un alto posicionamiento en las nuevas empresas es la adecuada gestión que hacen de la cadena de suministro. El sector agroindustrial tiene un amplia cadena de suministro desde la obtención de materias primas hasta la llegada al cliente final, por su gran magnitud requiere de una adecuada administración de procesos que permitan ser eficaces y eficientes para alcanzar logros propuestos, aprovechar los recursos limitados con los que cuentan para su cumplimiento y, por último, la capacidad propia para la transformación de sus recursos. Para lograr que las empresas obtengan ventajas competitivas, es necesario que los distintos eslabones de la cadena de suministros cuenten con una capacidad de interacción que les permita, tanto agilizar como asegurar el éxito durante la incorporación de los nuevos productos en el mercado. Por medio de esta investigación se busca esclarecer y analizar la importancia de la administración en la cadena de suministro y la relación con el desempeño, basándose en las Pymes del sector agroindustrial. La intención es evaluar la información de diversos autores quienes han hablado de la relación que existe entre la cadena de suministro y su desempeño, teniendo en cuenta variables como el sector agroindustrial y las Pymes.

Modelo de gestión del conocimiento para una empresa del sector de insumos químicos para la industria farmacéutica, cosmética y de alimentos: caso Disaromas S.A.

La creación de conocimiento al interior de las organizaciones es visible mediante la dirección adecuada del conocimiento de los individuos, sin embargo, cada individuo debe interactuar de tal manera que forme una red o sistema de conocimiento organizacional que consolide a largo plazo las empresas en el entorno en el que se desenvuelven. Este documento revisa elementos centrales acerca de la gestión de conocimiento visto desde varios autores y perspectivas e identifica puntos clave para diseñar un modelo de gestión de conocimiento para una empresa del sector de insumos químicos para la industria farmacéutica, cosmética y de alimentos de la ciudad de Bogotá.

Resiliencia organizacional y capital psicológico

Desde la noción universal sobre la empresa como un sistema de interacción con un entorno determinado para alcanzar un objetivo, de manera planificada y en función de satisfacer las demandas de un mercado mediante la actividad económica, su viabilidad, sostenibilidad y crecimiento dependerán, por supuesto, de una serie de estrategias adecuadas no solo para tales fines, sino también para enfrentar diversidad de agentes endógenos y exógenos que puedan afectar el normal desempeño de su gestión. Estamos hablando de la importancia de la resiliencia organizacional y del Capital Psicológico. En un escenario tan impredecible como el de la economía mundial, donde la constante son los cambios en su comportamiento —unos propios de su dinámica e interdependencia, naturales de fenómenos como la globalización, y otros derivados de eventos disruptivos— hoy más que nunca es necesario implementar el modelo de la empresa resiliente, que es aquella entidad capaz de adaptarse y recuperarse frente a una perturbación. Al mismo tiempo, más allá de su tamaño, naturaleza u objeto social, es indispensable reconocer básicamente que toda organización está constituida por personas, lo cual implica la trascendencia que para su funcionamiento tiene el factor humano-dependiente, y por lo tanto se crea la necesidad de promover el Capital Psicológico y la resiliencia a nivel de las organizaciones a través de una cultura empresarial.

Relación entre el desarrollo de sistemas de control de gestión y los recursos y capacidades caso : Teleperformance Colombia

Siguiendo un marco teórico integrado por varios autores entorno a los sistemas de control de gestión a lo largo de varias décadas, este trabajo pretende estudiar y contrastar la relación entre el desarrollo de dichos sistemas y los recursos y capacidades. Para tal fin, se desarrolló un estudio de caso en Teleperformance Colombia (TC), una empresa dedicada a prestación de servicio de tercerización de procesos o business process outsourcing. En el estudio se establecieron dos variables para evaluar el desarrollo de sistema de control de gestión: el diseño y el uso. A su vez, para cada uno de ellos, se definieron los indicadores y preguntas que permitieran realizar la observación y posterior análisis. De igual manera, se seleccionaron los recursos y capacidades más importantes para el desarrollo del negocio: innovación, aprendizaje organizacional y capital humano. Sobre estos se validó la existencia de relación con el SCG implementado en TC. La información obtenida fue analizada y contrastada a través de pruebas estadísticas ampliamente utilizadas en este tipo de estudios en las ciencias sociales. Finalmente, se analizaron seis posibles relaciones de las cuales, solamente se ratificó el relacionamiento positivo entre uso de sistema de control gestión y el recurso y capacidad capital humano. El resto de relacionamientos, refutaron los planteamientos teóricos que establecían cierta influencia de los sistemas de control de gestión sobre recursos y capacidades de innovación y aprendizaje organizacional.

Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

Integration of knowledge-based, qualitative and numeric tools for real time dynamic systems supervision

The proposal presented in this thesis is to provide designers of knowledge based supervisory systems of dynamic systems with a framework to facilitate their tasks avoiding interface problems among tools, data flow and management. The approach is thought to be useful to both control and process engineers in assisting their tasks. The use of AI technologies to diagnose and perform control loops and, of course, assist process supervisory tasks such as fault detection and diagnose, are in the scope of this work. Special effort has been put in integration of tools for assisting expert supervisory systems design. With this aim the experience of Computer Aided Control Systems Design (CACSD) frameworks have been analysed and used to design a Computer Aided Supervisory Systems (CASSD) framework. In this sense, some basic facilities are required to be available in this proposed framework: ·

Distributional semantics and machine learning for statistical machine translation

[EU]Lan honetan semantika distribuzionalaren eta ikasketa automatikoaren erabilera aztertzen dugu itzulpen automatiko estatistikoa hobetzeko. Bide horretan, erregresio logistikoan oinarritutako ikasketa automatikoko eredu bat proposatzen dugu hitz-segiden itzulpen- probabilitatea modu dinamikoan modelatzeko. Proposatutako eredua itzulpen automatiko estatistikoko ohiko itzulpen-probabilitateen orokortze bat dela frogatzen dugu, eta testuinguruko nahiz semantika distribuzionaleko informazioa barneratzeko baliatu ezaugarri lexiko, hitz-cluster eta hitzen errepresentazio bektorialen bidez. Horretaz gain, semantika distribuzionaleko ezagutza itzulpen automatiko estatistikoan txertatzeko beste hurbilpen bat lantzen dugu: hitzen errepresentazio bektorial elebidunak erabiltzea hitz-segiden itzulpenen antzekotasuna modelatzeko. Gure esperimentuek proposatutako ereduen baliagarritasuna erakusten dute, emaitza itxaropentsuak eskuratuz oinarrizko sistema sendo baten gainean. Era berean, gure lanak ekarpen garrantzitsuak egiten ditu errepresentazio bektorialen mapaketa elebidunei eta hitzen errepresentazio bektorialetan oinarritutako hitz-segiden antzekotasun neurriei dagokienean, itzulpen automatikoaz haratago balio propio bat dutenak semantika distribuzionalaren arloan.

Negative correlations between control performance and verbalizable knowledge: indicators for implicit learning in process control tasks?

Negative correlations between task performance in dynamic control tasks and verbalizable knowledge, as assessed by a post-task questionnaire, have been interpreted as dissociations that indicate two antagonistic modes of learning, one being “explicit”, the other “implicit”. This paper views the control tasks as finite-state automata and offers an alternative interpretation of these negative correlations. It is argued that “good controllers” observe fewer different state transitions and, consequently, can answer fewer post-task questions about system transitions than can “bad controllers”. Two experiments demonstrate the validity of the argument by showing the predicted negative relationship between control performance and the number of explored state transitions, and the predicted positive relationship between the number of explored state transitions and questionnaire scores. However, the experiments also elucidate important boundary conditions for the critical effects. We discuss the implications of these findings, and of other problems arising from the process control paradigm, for conclusions about implicit versus explicit learning processes.

A perspective on chaos theory: Potential applications to intelligent buildings

Mathematical models have been vitally important in the development of technologies in building engineering. A literature review identifies that linear models are the most widely used building simulation models. The advent of intelligent buildings has added new challenges in the application of the existing models as an intelligent building requires learning and self-adjusting capabilities based on environmental and occupants' factors. It is therefore argued that the linearity is an impropriate basis for any model of either complex building systems or occupant behaviours for control or whatever purpose. Chaos and complexity theory reflects nonlinear dynamic properties of the intelligent systems excised by occupants and environment and has been used widely in modelling various engineering, natural and social systems. It is proposed that chaos and complexity theory be applied to study intelligent buildings. This paper gives a brief description of chaos and complexity theory and presents its current positioning, recent developments in building engineering research and future potential applications to intelligent building studies, which provides a bridge between chaos and complexity theory and intelligent building research.

Emergent discourses of construction competitiveness: localized learning and embeddedness

Research is described that sought to understand how senior managers within regional contracting firms conceptualize and enact competitiveness. Existing formal discourses of construction competitiveness include the discourse of 'best practice' and the various theories of competitiveness as routinely mobilized within the academic literature. Such discourses consistently underplay the influence of contextual factors in shaping how competitiveness is enacted. An alternative discourse of competitiveness is outlined based on the concepts of localized learning and embeddedness. Two case studies of regional construction firms provide new insights into the emergent discourses of construction competitiveness. The empirical findings resonate strongly with the concepts of localized learning and embeddedness. The case studies illustrate the importance of de-centralized structures which enable multiple business units to become embedded within localized markets. A significant degree of autonomy is essential to facilitate localized entrepreneurial behaviour. In essence, sustained competitiveness was found to depend upon the extent to which de-centralized business units enact ongoing processes of localized learning. Once local business units have become embedded within localized markets the essential challenge is how to encourage continued entrepreneurial behaviour while maintaining a degree of centralized control and coordination. Of key importance is the recognition that the capabilities that make companies competitive transcend organizational boundaries such that they become situated within complex networks of relational ties.