Neurobiology of expectancy effects and omission of reinforcement on behavior

The reinforcement omission effects have been traditionally interpreted in terms of: behavioral facilitation after reinforcement omission induced by primary frustration or behavioral suppression after reinforcement delivery induced by postconsummatory states. The studies reviewed here indicate that amygdala is involved in modulation of these effects. However, the fact that amygdala lesions, extensive or selective, can eliminate, reduce and enhance the omission effects makes it difficult to understand how it is the exact nature of their involvement. The amygdala is related to several functions that depend on its connections with other brain systems. Thus, it is necessary to consider the involvement of a more complex neural network in the modulation of the reinforcement omission effects. The connection of amygdala subareas to cortical and subcortical structures may be involved in this modulation since they also are linked to processes related to reward and expectancy.

An artificial economy based on reinforcement learning and agent based modeling

In this paper, we employ techniques from artificial intelligence such as reinforcement learning and agent based modeling as building blocks of a computational model for an economy based on conventions. First we model the interaction among firms in the private sector. These firms behave in an information environment based on conventions, meaning that a firm is likely to behave as its neighbors if it observes that their actions lead to a good pay off. On the other hand, we propose the use of reinforcement learning as a computational model for the role of the government in the economy, as the agent that determines the fiscal policy, and whose objective is to maximize the growth of the economy. We present the implementation of a simulator of the proposed model based on SWARM, that employs the SARSA(λ) algorithm combined with a multilayer perceptron as the function approximation for the action value function.

Glass?

Este recurso presenta a los jóvenes de una manera muy visual la idea del proceso de reciclaje del vidrio: clasificación, clasificación por el color, triturado, limpieza moldeo, nuevos productos. Conduce al lector en un viaje para la localización de los residuos, y cómo son reciclados, desde el principio hasta el acabado del nuevo producto. Tiene glosario, bibliografía y sitios web.

El lenguaje del absurdo en la obra de Lewis Carroll (Alice's Adventures in Wonderland and Through the Looking Glass. A Puffin book, Harmondsworth, 1962).

Se analiza la obra del autor inglés Lewis Carroll, en su obra titulada Alicia en el País de las Maravillas. Se considera que se trata no sólo de un maravilloso cuento para niños sino también de una obra maestra del lenguaje del absurdo. El libro describe las aventuras de una niña pequeña, Alicia. Para describir estas aventuras, Lewis Carroll usa un inglés sencillo, pero con un dominio tal de la lengua que no sólo consigue presentar situaciones absurdas, sino que logra no significar nada en absoluto. Se ponen como ejemplo varias situaciones y pasajes del libro. En definitiva el contenido es un puro absurdo, ya que en el poema las palabras, aunque estructuralmente en perfecto orden, son en gran parte creación suya, pero sin ningún significado. Aquí más que en ninguna otra ocasión, se revela la mente matemática del autor fuera de toda dimensión conocida. Una especie de lenguaje cifrado cuya clave sólo Carroll conocería. Lo esencial de este poema es esto precisamente: la invención de palabras que aunque no son propias del idioma inglés merecerían serlo. Finalmente, todo este lenguaje absurdo de la obra de Lewis Carroll es un perfecto ejemplo del sentimiento de fantasía que subyace en ambos cuentos. Leerlos no es solamente trasladarnos por unos momentos al mundo de lo maravilloso, sino también un ejercicio mental de primera categoría.

Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

Analysis and Simulation of Transverse Random Fracture of Long Fibre Reinforced Composites

La present tesi proposa una metodología per a la simulació probabilística de la fallada de la matriu en materials compòsits reforçats amb fibres de carboni, basant-se en l'anàlisi de la distribució aleatòria de les fibres. En els primers capítols es revisa l'estat de l'art sobre modelització matemàtica de materials aleatoris, càlcul de propietats efectives i criteris de fallada transversal en materials compòsits. El primer pas en la metodologia proposada és la definició de la determinació del tamany mínim d'un Element de Volum Representatiu Estadístic (SRVE) . Aquesta determinació es du a terme analitzant el volum de fibra, les propietats elàstiques efectives, la condició de Hill, els estadístics de les components de tensió i defromació, la funció de densitat de probabilitat i les funcions estadístiques de distància entre fibres de models d'elements de la microestructura, de diferent tamany. Un cop s'ha determinat aquest tamany mínim, es comparen un model periòdic i un model aleatori, per constatar la magnitud de les diferències que s'hi observen. Es defineix, també, una metodologia per a l'anàlisi estadístic de la distribució de la fibra en el compòsit, a partir d'imatges digitals de la secció transversal. Aquest anàlisi s'aplica a quatre materials diferents. Finalment, es proposa un mètode computacional de dues escales per a simular la fallada transversal de làmines unidireccionals, que permet obtenir funcions de densitat de probabilitat per a les variables mecàniques. Es descriuen algunes aplicacions i possibilitats d'aquest mètode i es comparen els resultats obtinguts de la simulació amb valors experimentals.

Assessment of virtual design and manufacturing techniques for fibre reinforced composite materials

Virtual tools are commonly used nowadays to optimize product design and manufacturing process of fibre reinforced composite materials. The present work focuses on two areas of interest to forecast the part performance and the production process particularities. The first part proposes a multi-physical optimization tool to support the concept stage of a composite part. The strategy is based on the strategic handling of information and, through a single control parameter, is able to evaluate the effects of design variations throughout all these steps in parallel. The second part targets the resin infusion process and the impact of thermal effects. The numerical and experimental approach allowed the identificationof improvement opportunities regarding the implementation of algorithms in commercially available simulation software.

A proposal of a behavior-based control architecture with reinforcement learning for an autonomous underwater robot

Aquesta tesi proposa l'ús d'un seguit de tècniques pel control a alt nivell d'un robot autònom i també per l'aprenentatge automàtic de comportaments. L'objectiu principal de la tesis fou el de dotar d'intel·ligència als robots autònoms que han d'acomplir unes missions determinades en entorns desconeguts i no estructurats. Una de les premisses tingudes en compte en tots els passos d'aquesta tesis va ser la selecció d'aquelles tècniques que poguessin ésser aplicades en temps real, i demostrar-ne el seu funcionament amb experiments reals. El camp d'aplicació de tots els experiments es la robòtica submarina. En una primera part, la tesis es centra en el disseny d'una arquitectura de control que ha de permetre l'assoliment d'una missió prèviament definida. En particular, la tesis proposa l'ús de les arquitectures de control basades en comportaments per a l'assoliment de cada una de les tasques que composen la totalitat de la missió. Una arquitectura d'aquest tipus està formada per un conjunt independent de comportaments, els quals representen diferents intencions del robot (ex.: "anar a una posició", "evitar obstacles",...). Es presenta una recerca bibliogràfica sobre aquest camp i alhora es mostren els resultats d'aplicar quatre de les arquitectures basades en comportaments més representatives a una tasca concreta. De l'anàlisi dels resultats se'n deriva que un dels factors que més influeixen en el rendiment d'aquestes arquitectures, és la metodologia emprada per coordinar les respostes dels comportaments. Per una banda, la coordinació competitiva és aquella en que només un dels comportaments controla el robot. Per altra banda, en la coordinació cooperativa el control del robot és realitza a partir d'una fusió de totes les respostes dels comportaments actius. La tesis, proposa un esquema híbrid d'arquitectura capaç de beneficiar-se dels principals avantatges d'ambdues metodologies. En una segona part, la tesis proposa la utilització de l'aprenentatge per reforç per aprendre l'estructura interna dels comportaments. Aquest tipus d'aprenentatge és adequat per entorns desconeguts i el procés d'aprenentatge es realitza al mateix temps que el robot està explorant l'entorn. La tesis presenta també un estat de l'art d'aquest camp, en el que es detallen els principals problemes que apareixen en utilitzar els algoritmes d'aprenentatge per reforç en aplicacions reals, com la robòtica. El problema de la generalització és un dels que més influeix i consisteix en permetre l'ús de variables continues sense augmentar substancialment el temps de convergència. Després de descriure breument les principals metodologies per generalitzar, la tesis proposa l'ús d'una xarxa neural combinada amb l'algoritme d'aprenentatge per reforç Q_learning. Aquesta combinació proporciona una gran capacitat de generalització i una molt bona disposició per aprendre en tasques de robòtica amb exigències de temps real. No obstant, les xarxes neurals són aproximadors de funcions no-locals, el que significa que en treballar amb un conjunt de dades no homogeni es produeix una interferència: aprendre en un subconjunt de l'espai significa desaprendre en la resta de l'espai. El problema de la interferència afecta de manera directa en robòtica, ja que l'exploració de l'espai es realitza sempre localment. L'algoritme proposat en la tesi té en compte aquest problema i manté una base de dades representativa de totes les zones explorades. Així doncs, totes les mostres de la base de dades s'utilitzen per actualitzar la xarxa neural, i per tant, l'aprenentatge és homogeni. Finalment, la tesi presenta els resultats obtinguts amb la arquitectura de control basada en comportaments i l'algoritme d'aprenentatge per reforç. Els experiments es realitzen amb el robot URIS, desenvolupat a la Universitat de Girona, i el comportament après és el seguiment d'un objecte mitjançant visió per computador. La tesi detalla tots els dispositius desenvolupats pels experiments així com les característiques del propi robot submarí. Els resultats obtinguts demostren la idoneïtat de les propostes en permetre l'aprenentatge del comportament en temps real. En un segon apartat de resultats es demostra la capacitat de generalització de l'algoritme d'aprenentatge mitjançant el "benchmark" del "cotxe i la muntanya". Els resultats obtinguts en aquest problema milloren els resultats d'altres metodologies, demostrant la millor capacitat de generalització de les xarxes neurals.

Acceptance of earphones in children 12- to 24-months of age during visual reinforcement audiometry

Insert and circumaural earphones were used during visual reinforcement audiometry with children 12-to 24-months of age. Acceptance of earphones was determined by the number of ear specific thresholds obtained and by audiologist subjective ratings. Results indicate that children in this age range accept both types of earphones; however, significantly more ear specific thresholds were obtained using insert earphones compared to circumaural.

Efectos en los mercados financieros internacionales de la derogatoria en 1999 de la Ley Glass Steagall de los EE.UU. (Tema Central)

Actualmente la profunda crisis del sistema financiero internacional, similar a la que vivió Estados Unidos en los años treinta, es el punto más importante de discusión en todo el mundo. Por ello, se consideró importante realizar un análisis de la Ley Glass Steagall Act, promulgada en el año 1933, justamente como una salida a la crisis financiera estadounidense, de aquella época, precisando cuáles son sus principales características, y sobre todo los efectos que su derogatoria (en 1999) trajo consigo en el sistema financiero mundial, pues como veremos, para muchos la actual crisis es producto de la inadecuada mezcla de regulación y libertad que se produjo con la promulgación de la Ley Gramm Leach Bliley Act, mediante la cual los bancos comerciales empezaron a incursionar en operaciones bursátiles, actividades que anteriormente estaban vetadas, y por tanto existían garantías suficientes para los depositantes.

Cholinergic modulation of intrinsic fibre-evoked excitatory transmission contains a nicotinic component in immature but not adult rat piriform cortex, in vitro

The piriform cortex (PC) is highly prone to epileptogenesis, particularly in immature animals, where decreased muscarinic modulation of PC intrinsic fibre excitatory neurotransmission is implicated as a likely cause. However, whether higher levels of acetylcholine (ACh) release occur in immature vs. adult PC remains unclear. We investigated this using in vitro extracellular electrophysiological recording techniques. Intrinsic fibre-evoked extracellular field potentials (EFPs) were recorded from layers II to III in PC brain slices prepared from immature (P14-18) and adult (P>40) rats. Adult and immature PC EFPs were suppressed by eserine (1muM) or neostigmine (1muM) application, with a greater suppression in immature ( approximately 40%) than adult ( approximately 30%) slices. Subsequent application of atropine (1muM) reversed EFP suppression, producing supranormal ( approximately 12%) recovery in adult slices, suggesting that suppression was solely muscarinic ACh receptor-mediated and that some 'basal' cholinergic 'tone' was present. Conversely, atropine only partially reversed anticholinesterase effects in immature slices, suggesting the presence of additional non-muscarinic modulation. Accordingly, nicotine (50muM) caused immature field suppression ( approximately 30%) that was further enhanced by neostigmine, whereas it had no effect on adult EFPs. Unlike atropine, nicotinic antagonists, mecamylamine and methyllycaconitine, induced immature supranormal field recovery ( approximately 20%) following anticholinesterase-induced suppression (with no effect on adult slices), confirming that basal cholinergic 'tone' was also present. We suggest that nicotinic inhibitory cholinergic modulation occurs in the immature rat PC intrinsic excitatory fibre system, possibly to complement the existing, weak muscarinic modulation, and could be another important developmentally regulated system governing immature PC susceptibility towards epileptogenesis.

Multilayered hydrogel coatings covalently-linked to glass surfaces showing a potential to mimic mucosal tissues

Multilayered hydrogel coatings can be developed on the surface of glass slides via layer-by-layer deposition of hydrogen-bonded interpolymer complexes formed by poly(acrylic acid) and methylcellulose. Chemical modification of the glass surface with (3-aminopropyl)triethoxysilane with subsequent layer-by-layer deposition and cross-linking of interpolymer complexes by thermal treatment allows fabrication of ultrathin hydrogel coatings, not detachable from the substrate. The thickness of these coatings is directly related to the number of deposition cycles and cross-linking conditions. An unusual dependence of the hydrogel swelling properties on the sample thickness is observed and can be interpreted by gradual transitions between two- and three-dimensional networks. The hydrogels exhibit pH-responsive swelling behaviour, achieving higher swelling degrees at pH > 6.0. These coatings can be used as model substrates to study the adhesive properties of pharmaceutical tablets and can potentially mimic the total work of adhesion observed for the detachment of mucoadhesives from porcine buccal mucosa but fail to exhibit identical detachment profiles.