Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Agriculture, technological change and environmental sustainability: Looking for a win-win water policy strategy

This paper analyses the effects that technological changes in agriculture would have on environmental, social and economic indicators. Specifically, our study is focused on two alternative technological improvements: the modernization of water transportation systems versus the increase in the total factor productivity of agriculture. Using a computable general equilibrium model for the Catalan economy, our results suggest that a water policy that leads to greater economic efficiency is not necessarily optimal if we consider social or environmental criteria. Moreover, improving environmental sustainability depends less on the type of technological change than on the institutional framework in which technological change occurs. Keywords: agricultural technological changes, computable general equilibrium model, economic impact, water policy

Ideas, Possibilities and Limitations of Sustainable Economic Policy – the Example of Ecological Economics

A mesura que el suport del creixement econòmic constitueix un objectiu fonamental de la formulació de polítiques econòmiques, cal assenyalar que aquest tipus de creixement està limitat naturalment per un planeta finit. Aquest article argumenta que, des del punt de vista de la justícia intergeneracional, la realització d'un concepte de desmaterialització i, com a efecte, d'una economia que no creix (en el sentit de dissociació absoluta del creixement econòmic i consum d'energia i materials) es pot justificar. Per tant, el creixement pot ser també entesa com la millora de la qualitat de vida sobretot en comptes d'ampliar quantitats escarpats de sortida. Per tant, una dràstica reducció del cabal de material es necessita, sobretot en els països d'alts ingressos. Després de presentar alguns crítica de les propostes, en el focus d'aquest article es dibuixen en els arguments de per què la política econòmica en el futur han de ser etiquetats com "ecològic" i, a continuació, les opcions de posar en acció les idees del teòric presentat marc en tasques manejables polítiques seran discutides. En aquest cas, s'argumentarà que l'enfocament clàssic de internalització d'efectes externs sovint seguides de decisions de política econòmica ortodoxa no és completament capaç de reflectir canvis ecològics en les estructures de preus dels mercats. Per tant, formal (industrial i l'establiment de la política de consum) i institucions informals (llars) representen punts clau de la política econòmica sostenible, assenyalant l'individu com així com la responsabilitat col · lectiva per omplir aquest buit substancial.

Perspectives on the green construction of the new European Energy Policy

The EU has been one of the main actors involved in the construction process of an international climate change regime, adopting it as an identity sign in the international arena. This activism has reverted in the European political agenda and in the one of its Members States. Therefore, climate change has become a driver for the EU growing participation in energy policy and for its governance evolution. In this context, much attention has been paid to the climate and energy policies integration agreed after the 2007 spring European Council. Apparently, this decision meant a decisive step towards the incorporation of the environmental variable in the energy policy-making. Moreover, the Action Plan [2007-2009] “Energy Policy for Europe” outlined priority actions in a variety of energy-related areas, implying the new European Energy Policy commencement. Against this background, there is still much left to understand about its formulation and its further development. Rooted on the Environmental Policy Integration approach, this paper traces the increasing proximity between environment and energy policies in order to understand the green contribution to the European Energy Policy construction.

The EU ‘2020 Energy Initiative’: The post-Lisbon pattern of change in EU energy policy

El novembre de 2010, la Comissió Europea ha finalment donat a conèixer la seva "Energia 2020 Comunicació", un document estratègic en el marc més ampli del programa "Europa 2020". Una estratègia per al desenvolupament sostenible intel · ligent, i creixement inclusiu posa les bases d'un nou enfocament a la política d'energia a la UE. En el marc d'Europa 2020, la Iniciativa d'Energia recopila els resultats que ja s'han obtingut a través de la Estratègia de Lisboa 2000-2010, s'identifiquen les deficiències del passat i i introdueix nous objectius ambiciosos per a la UE en matèria de política energètica.

The Strategic value of European renewable energy promotion policy

Encara falta per fer possible una transformació estratègica d'Europa del sistema d'energia, però el que és de la mateixa importància com a objectius a llarg termini de la FER i Reduccions de GEH són vinculants i forts objectius d'eficiència energètica, no només per 2020, però també per al 2030, 2040 i 2050, com aquesta força ajudaria a fixar l'augment de les energies renovables en el total d'energia consum i per reduir el total Emissions de GEH d'Europa en general, i les del sector de l'energia en particular, encara sent un dels majors emissors de gasos d'efecte hivernacle de tots els sectors. La refosa Directiva, prevista per 2011/12 ha de ser un bones finestres d'oportunitat per finalment establir objectius vinculants d'eficiència energètica, l'únic pilar que encara falta en la força energia interdependents i estratègia sobre el clima de la UE, basat en la reducció de gasos d'efecte hivernacle i i l'eficiència energètica.

EU “actorness” in International Relations: The Non-Proliferation Policy of the EU in the Southern Mediterranean

El punt de partida d'aquesta investigació és una retòrica molt utilitzada que la UE és un actor global. En vista d'això, la no proliferació de la política comunitària al sud de la Mediterrània s'examina. L'estudi es realitza sobre la base de la conceptualització de la UE "actorness" ia través d'alguns criteris (context extern, l'evolució de l'aparell de política exterior de la UE, la Unió Europea l'auto-presentació i la percepció de tercers, la consistència i la disponibilitat d'instruments de política i accions concretes) que involucren tant factors ideacionals i materials, d'acord amb el "pluralisme metodològic". Aquest marc conceptual va ajudar a avaluar la no proliferació de la política comunitària en aquesta regió en particular on la UE té interessos i bones raons per actuar. Cada un dels criteris de manifest els avantatges i desavantatges de la UE "actorness" en aquest camp seleccionat i la caixa. Aquest document sosté que la no proliferació "actorness" de la UE a la regió del sud de la Mediterrània ha estat limitat a causa d'una varietat de raons.

More than cheap talk? Euro-Mediterranean cooperation on human rights and democracy

Malgrat els esforços de la UE en la promoció de la democràcia i un compromís comú per la democràcia i els drets humans al EMP, no hi ha signes de convergència cap al model liberal democràtic propugnat per la UE. No obstant això, l'abast i la intensitat de la cooperació multilateral, transnacional i bilateral han augmentat constantment en tota la regió des de mitjans de 1990. La cooperació en el camp de la promoció de la democràcia es caracteritza per la forta dinàmica de normativa sectorial, i la diferenciació geogràfica, però està clarament situada en un marc regional i altament estandarditzat. Si bé la convergència política o la política sembla poc probable en el curt o mitjà termini, democràcia i drets humans estan fermament establerts en una agenda regional comú

State Failure – A Rationale for EU Foreign Policy?

'Estats fallits' ha arribat a ser un lema popular per als acadèmics i els polítics per igual. En opinió dels governs occidentals i les institucions internacionals, els estats fallits no compleixen amb les condicions necessàries per assolir el desenvolupament econòmic i social i alhora proporcionar un terreny fèrtil per als actors violents conflictes i no estatals que participen en la delinqüència internacional. La Unió Europea té una relació de llarga data amb els països de l'Àfrica subsahariana, molts dels quals es caracteritzen per ser fallat. En aquest treball es pretén analitzar si el compromís retòric de la UE per fer front a la insuficiència de l'Estat es tradueix en un enfocament coherent davant les causes profundes de la fragilitat de l'Estat i pregunta pels factors que expliquen el compromís de la UE amb els problemes que enfronten aquests estats. Mitjançant la comparació de les polítiques europees cap a la República Democràtica del Congo, Sierra Leone i la República Centreafricana, s'argumenta que la resposta de la UE als Estats fallits es desenvolupa d'una manera incoherent esbiaixada cap a les situacions de conflicte en lloc de ser guiat per una preocupació més general per fragilitat . L'anàlisi suggereix que la participació de la UE es deu principalment a interessos coincidents en els Estats membres i de la UE.

Bargaining failures and merger policy

In this paper we study the optimal ex-ante merger policy in a model where merger proposals are the result of strategic bargaining among alternative candidates. We allow for firm asymmetries and, in particular, we emphasize the fact that potential synergies generated by a merger may vary substantially depending on the identity of the participating firms. The model demonstrates that, under some circumstances, relatively inefficient mergers may take place. That is, a particular merger may materialize despite the existence of an alternative merger capable of generating higher social surplus and even higher profits. Such bargaining failures have important implications for the ex-ante optimal merger policy. We show that a more stringent policy than the ex-post optimal reduces the scope of these bargaining failures and raises expected social surplus. We use a bargaining model that is flexible, in the sense that its strategic structure does not place any exogenous restriction on the endogenous likelihood of feasible mergers.

Shocking policy coefficients

This paper proposes an empirical framework to study the effects of a policy regime change defined as an unpredictable and permanent change in the policy parameters. In particular I show how to make conditional forecast and perform impulse response functions and counterfactual analysis. As an application, the effects of changes in fiscal policy rules in the US are investigated. I find that discretionary fiscal policy has become more countercyclical over the last decades. In absence of such a change, surplus would have been higher, debt lower and output gap more volatile but only until mid 80s. An increase in the degree of counter-cyclicality of fiscal policy has a positive effect on output gap in periods where the level of debt-to-GDP ratio is low and a zero or negative effect when the ratio is high. This explains why a more countercylical stance of the systematic fiscal policy taking place in 2008:II is predicted to be rather ineffective for recovering from the crisis.

EU's democracy promotion policy in the Mediterranean: Squaring the stability – democracy circle?

Why does the EU have an ambiguous and inconsistent democracy promotion (DP) policy towards the Mediterranean countries? This paper argues that the EU´s DP is determined by a crucial conflict of interests conceptualised as a stability – democracy dilemma. The EU has been attempting to promote democracy, but without risking the current stability and in connivance with incumbent autocratic regimes. In view of this dilemma, the four main characteristics of the EU´s DP promotion are explored, namely: gradualism, a strong notion of partnership-building, a narrow definition of civil society, and a strong belief in economic liberalisation. A fifth feature, relation of the EU with moderate Islamists, is analysed in the paper as it represents the most striking illustration of its contradictions. The paper concludes by arguing that the definition of a clear DP by the EU that considered engagement with moderate Islamists would represent a major step towards squaring its stability – democracy circle.

How can Brazil’s leading role in South America contribute to boosting security cooperation between the EU and Mercosur?

The primary goal of this paper is to discuss how the leading position of Brazil in South America could contribute to boost security cooperation between the European Union and Mercosur. Both parties share common foreign and security policy concerns, including immigration, terrorism and drug trafficking. Through its great influence on the regional security agenda, Brazil could seek closer bilateral cooperation with Europe in tackling these global challenges, acting at the same time as a representative of regional interests.

The Coherence of the European Foreign Policy: A Real Barrier or an Academic Term?

The purpose of the present study is to break down, in a general and summarised way, the concept of the coherence of the European Foreign Policy, in order to analyse its meaning, its scope and its implications. This focus on coherence will be specifically dealt with upon the analysis of the impact of this phenomenon on single institutional framework, as defined by the Treaty on European Union.