Reinforcement Learning Approaches to Power System Scheduling

One major component of power system operation is generation scheduling. The objective of the work is to develop efficient control strategies to the power scheduling problems through Reinforcement Learning approaches. The three important active power scheduling problems are Unit Commitment, Economic Dispatch and Automatic Generation Control. Numerical solution methods proposed for solution of power scheduling are insufficient in handling large and complex systems. Soft Computing methods like Simulated Annealing, Evolutionary Programming etc., are efficient in handling complex cost functions, but find limitation in handling stochastic data existing in a practical system. Also the learning steps are to be repeated for each load demand which increases the computation time.Reinforcement Learning (RL) is a method of learning through interactions with environment. The main advantage of this approach is it does not require a precise mathematical formulation. It can learn either by interacting with the environment or interacting with a simulation model. Several optimization and control problems have been solved through Reinforcement Learning approach. The application of Reinforcement Learning in the field of Power system has been a few. The objective is to introduce and extend Reinforcement Learning approaches for the active power scheduling problems in an implementable manner. The main objectives can be enumerated as:(i) Evolve Reinforcement Learning based solutions to the Unit Commitment Problem.(ii) Find suitable solution strategies through Reinforcement Learning approach for Economic Dispatch. (iii) Extend the Reinforcement Learning solution to Automatic Generation Control with a different perspective. (iv) Check the suitability of the scheduling solutions to one of the existing power systems.First part of the thesis is concerned with the Reinforcement Learning approach to Unit Commitment problem. Unit Commitment Problem is formulated as a multi stage decision process. Q learning solution is developed to obtain the optimwn commitment schedule. Method of state aggregation is used to formulate an efficient solution considering the minimwn up time I down time constraints. The performance of the algorithms are evaluated for different systems and compared with other stochastic methods like Genetic Algorithm.Second stage of the work is concerned with solving Economic Dispatch problem. A simple and straight forward decision making strategy is first proposed in the Learning Automata algorithm. Then to solve the scheduling task of systems with large number of generating units, the problem is formulated as a multi stage decision making task. The solution obtained is extended in order to incorporate the transmission losses in the system. To make the Reinforcement Learning solution more efficient and to handle continuous state space, a fimction approximation strategy is proposed. The performance of the developed algorithms are tested for several standard test cases. Proposed method is compared with other recent methods like Partition Approach Algorithm, Simulated Annealing etc.As the final step of implementing the active power control loops in power system, Automatic Generation Control is also taken into consideration.Reinforcement Learning has already been applied to solve Automatic Generation Control loop. The RL solution is extended to take up the approach of common frequency for all the interconnected areas, more similar to practical systems. Performance of the RL controller is also compared with that of the conventional integral controller.In order to prove the suitability of the proposed methods to practical systems, second plant ofNeyveli Thennal Power Station (NTPS IT) is taken for case study. The perfonnance of the Reinforcement Learning solution is found to be better than the other existing methods, which provide the promising step towards RL based control schemes for practical power industry.Reinforcement Learning is applied to solve the scheduling problems in the power industry and found to give satisfactory perfonnance. Proposed solution provides a scope for getting more profit as the economic schedule is obtained instantaneously. Since Reinforcement Learning method can take the stochastic cost data obtained time to time from a plant, it gives an implementable method. As a further step, with suitable methods to interface with on line data, economic scheduling can be achieved instantaneously in a generation control center. Also power scheduling of systems with different sources such as hydro, thermal etc. can be looked into and Reinforcement Learning solutions can be achieved.

Think, Construct and Communicate : ICT as a Virtual Learning Environment.'Piensa, construye y comunica : las TIC como Espacio Virtual de Aprendizaje'

Se presenta una manera nueva de trabajar basada en la idea constructivista de la construcci??n del conocimiento; es un modelo de b??squeda en Internet que introduce elementos propios del aprendizaje cooperativo, se llama WebQuest. Todos estos contenidos se colocar??n en un entorno digital que permitir?? utilizar chats, pizarra electr??nica, foros de discusi??n y correo electr??nico interno que facilite a los participantes no s??lo el seguimiento del curso con facilidad, sino que les dar?? la oportunidad de trabajar codo con codo con colegas europeos que tienen sus mismos intereses, favoreciendo la comunicaci??n y la colaboraci??n mediante esta experiencia interactiva. A trav??s de este proyecto se potenciar?? la creaci??n de una red de trabajo efectiva que proporcione experiencias y facilidades de uso a los formadores y al profesorado en el uso de todos estos medios inform??ticos, haciendo un especial hincapi?? en el potencial de las tecnolog??as on line para el desarrollo y el trabajo CD-Rom se recogen los proyectos seleccionados y en seis idiomas realizados por los profesores y futuros profesores durante la fase de comprobaci??n y la gu??a de buenas pr??cticas.

Evaluación de un programa blended-learning para el desarrollo de la competencia trabajar en equipo.

Resumen tomado de la publicación

A behavior-based scheme using reinforcement learning for autonomous underwater vehicles

This paper presents a hybrid behavior-based scheme using reinforcement learning for high-level control of autonomous underwater vehicles (AUVs). Two main features of the presented approach are hybrid behavior coordination and semi on-line neural-Q_learning (SONQL). Hybrid behavior coordination takes advantages of robustness and modularity in the competitive approach as well as efficient trajectories in the cooperative approach. SONQL, a new continuous approach of the Q_learning algorithm with a multilayer neural network is used to learn behavior state/action mapping online. Experimental results show the feasibility of the presented approach for AUVs

Policy gradient based Reinforcement Learning for real autonomous underwater cable tracking

This paper proposes a field application of a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot in cable tracking task. The learning system is characterized by using a direct policy search method for learning the internal state/action mapping. Policy only algorithms may suffer from long convergence times when dealing with real robotics. In order to speed up the process, the learning phase has been carried out in a simulated environment and, in a second step, the policy has been transferred and tested successfully on a real robot. Future steps plan to continue the learning process on-line while on the real robot while performing the mentioned task. We demonstrate its feasibility with real experiments on the underwater robot ICTINEU AUV

Estándares educativos para la gestión del conocimiento en e-learning.

Presentar una propuesta para ayudar a los docentes a obtener información de calidad y estructurarla adecuadamente a partir de la información existente en Internet, que permita desarrollar cursos on-line. La propuesta sugiere utilizar los objetos de aprendizaje (fragmentos de información) provenientes de fuentes externas aplicando una serie de criterios que permitan valorar la calidad de la información obtenida de la red, para incorporar estos objetos a un repositorio de datos a disposición de las organizaciones educativas para el desarrollo de cursos on-line. Literatura publicada sobre el tema en formato impreso o digital. Revisión bibliográfica sobre el tema. Recursos bibliográficos y buscadores en internet. Análisis de contenido y análisis comparativo. La investigación está estructurada en cuatro apartados. En el primero se aborda el tema del e-learning, indicando las características de este sistema de formación, los factores a considerar para disponer de un sistema eficiente de e-learning. Se exponen las ventajas de este sistema frente a la enseñanza presencial. La segunda parte está dedicada a la gestión del conocimiento en e-learning, se profundiza sobre el concepto de gestión del conocimiento en las organizaciones y las posibilidades que ofrece la informática en los procesos de gestión de conocimiento actualmente. La tercera parte aborda la utilización de estándares educativos en la gestión del conocimiento, realiza un recorrido histórico sobre los diferentes estándares de estructuración de la información y las potencialidades que suponen respecto a la incorporación e intercambio de información en las diferentes plataformas de teleformación que se utilizan actualmente. La última parte analiza las estrategias para gestionar información de calidad en un sistema de e-learning, basado en a utilización de objetos de aprendizaje. La propuesta que realiza la autora tiene como objetivo incorporar en un sistema de e-learning la información de utilidad disponible en la web, organizando la misma de acuerdo a su almacenamiento en sistemas de gestión de bases de datos, utilizados por las actuales plataformas de teleformación en líneas generales, sin especificar el sistema adoptado por alguna de las plataformas actualmente disponibles en el mercado. Expone los criterios de calidad que deben de reunir los objetos de aprendizaje para sugerir finalmente algunas pautas respecto a cómo se deberían estructurar estos objetos en unidades de aprendizaje que denomina unidades didácticas. La aplicación de lenguajes de marcado y de estándares de organización de la información no persigue otra finalidad que dar a conocer las posibilidades que ofrece la investigación tecnológica en la gestión de la información y el conocimiento, y como tal su aplicación el sistemas de e-learning. Las líneas futuras de investigación se orientarán a desarrollar en la realidad los planteamientos teóricos expuestos en esta investigación con el objeto de desarrollar un prototipo orientado a promover la gestión del conocimiento de calidad dentro de un sistema de e-learning, que pueda ser útil a las organizaciones educativas en la educación no presencial.

E-learning : la educación virtual.

Presenta una nueva versión de educación a distancia, el 'e-learnig', que se está imponiendo en España con gran fuerza debido al desarrollo de las nuevas tecnologías. Consiste en plataformas de teleformación o 'entornos virtuales de aprendizaje (EVA)' que ofrecen múltiples ventajas: correo electrónico entre profesor y alumno, foros, chats -comunicación sincrónica on line-, inclusión de noticias y programas de control remoto de ordenadores. Finaliza con una explicación del funcionamiento del programa y del trabajo que desempeñan los educadores a través de este medio, en el entorno de aprendizaje virtual que ha adquirido el área de formación del profesorado de la Comunidad de Madrid.

Formación do profesorado e e-learning, o cap-virtual do ICE da USC como exemplo de comunidade virtual de aprendizaxe.

Resumen tomado del autor

E-learning como agente de cambio : diseño pedagógico de un proceso de formación.

Monográfico con el título: 'Buenas prácticas de enseñanza en TIC'. El trabajo forma parte del proyecto: 'Evaluación No Presencial en Enseñanza Superior On-Line'. Resumen basado en el de la publicación

Universidades presenciales y entornos virtuales de aprendizaje : una aproximación a la perspectiva del profesorado ante el e-learning.

Monográfico con el título: 'Enseñanza virtual, innovación e internacionalización de la educación'. Resumen basado en el de la publicación

Evaluación de e-learning : indicadores de calidad desde el enfoque sociocultural.

Monográfico con el título: 'Estado actual de los sistemas e-learning'. Resumen basado en el de la publicación

El e-learning no es (necesariamente) autoformación.

El artículo forma parte de un monográfico dedicado a educación y tecnologías

Identificación y valoración de variables vinculadas al uso de las TIC`s como estrategia de enseñanza-aprendizaje en la Universidad Autónoma de Querétaro, México : Especial referencia al blended-learning.

Identificar el grado de desarrollo institucional y profesional acerca de la implantación, proceso y progresión de las Tecnologías de la Información y Comunicación (TIC´s) en las actividades docentes e investigadoras de la Universidad Autónoma de Querétano (México), tratando de conocer las causas que sirvan para impulsar la utilización de las TIC´s en el sistema educativo. El trabajo se desarrolla a través de una investigación descriptiva, correlacional y comparativa-casual. La población sobre la que se centra el estudio son los profesores universitarios de la Universidad del Municipio de Querétano, tomándose como muestra 223 de estos docentes. La técnica, de investigación, que se utiliza es el cuestionario, el cual se hace llegar a la población a través del correo electrónico, siendo por ello denominado cuestionario 'on-line'. El análisis del cuestionario 'on-line' se realiza a través del programa SPSS. Existe una percepción favorable por parte del profesorado sobre la dotación en TIC´s, con un nivel de inquietud y formación profesional bastante satisfactorio, aunque no totalmente suficiente. A su vez, se intuye una importante inquietud por impulsar las actividades vinculadas al desarrollo de la dimensión tecnológica, conscientes de las demandas estudiantiles y de la propia sociedad de la profesión educativa universitaria.

Es posible el e-learning en los estudios de Ingeniería informática?

Resumen basado en el de la publicación

El blended learning como práctica transformadora.

Monográfico con el título: 'Blended learning'. Resumen basado en el de la publicación