Auto-Emergencia de Comunicación Sintáctica en Entornos Estáticos y Dinámicos para Grupos de Robots mediante Evolución Gramatical y Aprendizaje por Refuerzo

La idea de dotar a un grupo de robots o agentes artificiales de un lenguaje ha sido objeto de intenso estudio en las ultimas décadas. Como no podía ser de otra forma los primeros intentos se enfocaron hacia el estudio de la emergencia de vocabularios compartidos convencionalmente por el grupo de robots. Las ventajas que puede ofrecer un léxico común son evidentes, como también lo es que un lenguaje con una estructura más compleja, en la que se pudieran combinar palabras, sería todavía más beneficioso. Surgen así algunas propuestas enfocadas hacia la emergencia de un lenguaje consensuado que muestre una estructura sintáctica similar al lenguaje humano, entre las que se encuentra este trabajo. Tomar el lenguaje humano como modelo supone adoptar algunas de las hipótesis y teorías que disciplinas como la filosofía, la psicología o la lingüística entre otras se han encargado de proponer. Según estas aproximaciones teóricas el lenguaje presenta una doble dimension formal y funcional. En base a su dimensión formal parece claro que el lenguaje sigue unas reglas, por lo que el uso de una gramática se ha considerado esencial para su representación, pero también porque las gramáticas son un dispositivo muy sencillo y potente que permite generar fácilmente estructuras simbólicas. En cuanto a la dimension funcional se ha tenido en cuenta la teoría quizá más influyente de los últimos tiempos, que no es otra que la Teoría de los Actos del Habla. Esta teoría se basa en la idea de Wittgenstein por la que el significado reside en el uso del lenguaje, hasta el punto de que éste se entiende como una manera de actuar y de comportarse, en definitiva como una forma de vida. Teniendo presentes estas premisas en esta tesis se pretende experimentar con modelos computacionales que permitan a un grupo de robots alcanzar un lenguaje común de manera autónoma, simplemente mediante interacciones individuales entre los robots, en forma de juegos de lenguaje. Para ello se proponen tres modelos distintos de lenguaje: • Un modelo basado en gramáticas probabilísticas y aprendizaje por refuerzo en el que las interacciones y el uso del lenguaje son claves para su emergencia y que emplea una gramática generativa estática y diseñada de antemano. Este modelo se aplica a dos grupos distintos: uno formado exclusivamente por robots y otro que combina robots y un humano, de manera que en este segundo caso se plantea un aprendizaje supervisado por humanos. • Un modelo basado en evolución gramatical que permite estudiar no solo el consenso sintáctico, sino también cuestiones relativas a la génesis del lenguaje y que emplea una gramática universal a partir de la cual los robots pueden evolucionar por sí mismos la gramática más apropiada según la situación lingüística que traten en cada momento. • Un modelo basado en evolución gramatical y aprendizaje por refuerzo que toma aspectos de los anteriores y amplia las posibilidades de los robots al permitir desarrollar un lenguaje que se adapta a situaciones lingüísticas dinámicas que pueden cambiar en el tiempo y también posibilita la imposición de restricciones de orden muy frecuentes en las estructuras sintácticas complejas. Todos los modelos implican un planteamiento descentralizado y auto-organizado, de manera que ninguno de los robots es el dueño del lenguaje y todos deben cooperar y colaborar de forma coordinada para lograr el consenso sintáctico. En cada caso se plantean experimentos que tienen como objetivo validar los modelos propuestos, tanto en lo relativo al éxito en la emergencia del lenguaje como en lo relacionado con cuestiones paralelas de importancia, como la interacción hombre-máquina o la propia génesis del lenguaje. ABSTRACT The idea of giving a language to a group of robots or artificial agents has been the subject of intense study in recent decades. The first attempts have focused on the development and emergence of a conventionally shared vocabulary. The advantages that can provide a common vocabulary are evident and therefore a more complex language that combines words would be even more beneficial. Thus some proposals are put forward towards the emergence of a consensual language with a sintactical structure in similar terms to the human language. This work follows this trend. Taking the human language as a model means taking some of the assumptions and theories that disciplines such as philosophy, psychology or linguistics among others have provided. According to these theoretical positions language has a double formal and functional dimension. Based on its formal dimension it seems clear that language follows rules, so that the use of a grammar has been considered essential for representation, but also because grammars are a very simple and powerful device that easily generates these symbolic structures. As for the functional dimension perhaps the most influential theory of recent times, the Theory of Speech Acts has been taken into account. This theory is based on the Wittgenstein’s idea about that the meaning lies in the use of language, to the extent that it is understood as a way of acting and behaving. Having into account these issues this work implements some computational models in order to test if they allow a group of robots to reach in an autonomous way a shared language by means of individual interaction among them, that is by means of language games. Specifically, three different models of language for robots are proposed: • A reinforcement learning based model in which interactions and language use are key to its emergence. This model uses a static probabilistic generative grammar which is designed beforehand. The model is applied to two different groups: one formed exclusively by robots and other combining robots and a human. Therefore, in the second case the learning process is supervised by the human. • A model based on grammatical evolution that allows us to study not only the syntactic consensus, but also the very genesis of language. This model uses a universal grammar that allows robots to evolve for themselves the most appropriate grammar according to the current linguistic situation they deal with. • A model based on grammatical evolution and reinforcement learning that takes aspects of the previous models and increases their possibilities. This model allows robots to develop a language in order to adapt to dynamic language situations that can change over time and also allows the imposition of syntactical order restrictions which are very common in complex syntactic structures. All models involve a decentralized and self-organized approach so that none of the robots is the language’s owner and everyone must cooperate and work together in a coordinated manner to achieve syntactic consensus. In each case experiments are presented in order to validate the proposed models, both in terms of success about the emergence of language and it relates to the study of important parallel issues, such as human-computer interaction or the very genesis of language.

Optimización de operaciones unitarias utilizando líquidos iónicos como agentes materiales de separación

En este trabajo se estudia la modelización y optimización de procesos industriales de separación mediante el empleo de mezclas de líquidos iónicos como disolventes. Los disolventes habitualmente empleados en procesos de absorción o extracción suelen ser componentes orgánicos muy volátiles y dañinos para la salud humana. Las innovadoras propiedades que presentan los líquidos iónicos, los convierten en alternativas adecuadas para solucionar estos problemas. La presión de vapor de estos compuestos es muy baja y apenas varía con la temperatura. Por tanto, estos compuestos apenas se evaporan incluso a temperaturas altas. Esto supone una gran ventaja en cuanto al empleo de estos compuestos como disolventes industriales ya que permite el reciclaje continuo del disolvente al final del proceso sin necesidad de introducir disolvente fresco debido a la evaporación del mismo. Además, al no evaporarse, estos compuestos no suponen un peligro para la salud humana por inhalación; al contrario que otros disolventes como el benceno. El único peligro para la salud que tienen estos compuestos es por tanto el de contacto directo o ingesta, aunque de hecho muchos Líquidos Iónicos son inocuos con lo cual no existe peligro para la salud ni siquiera a través de estas vías. Los procesos de separación estudiados en este trabajo, se rigen por la termodinámica de fases, concretamente el equilibrio líquido-vapor. Para la predicción de los equilibrios se ha optado por el empleo de modelos COSMO (COnductor-like Screening MOdel). Estos modelos tienen su origen en el empleo de la termodinámica de solvatación y en la mecánica cuántica. En el desarrollo de procesos y productos, químicos e ingenieros frecuentemente precisan de la realización de cálculos de predicción de equilibrios de fase. Previamente al desarrollo de los modelos COSMO, se usaban métodos de contribución de grupos como UNIFAC o modelos de coeficientes de actividad como NRTL.La desventaja de estos métodos, es que requieren parámetros de interacción binaria que únicamente pueden obtenerse mediante ajustes por regresión a partir de resultados experimentales. Debido a esto, estos métodos apenas tienen aplicabilidad para compuestos con grupos funcionales novedosos debido a que no se dispone de datos experimentales para llevar a cabo los ajustes por regresión correspondientes. Una alternativa a estos métodos, es el empleo de modelos de solvatación basados en la química cuántica para caracterizar las interacciones moleculares y tener en cuenta la no idealidad de la fase líquida. Los modelos COSMO, permiten la predicción de equilibrios sin la necesidad de ajustes por regresión a partir de resultados experimentales. Debido a la falta de resultados experimentales de equilibrios líquido-vapor de mezclas en las que se ven involucrados los líquidos iónicos, el empleo de modelos COSMO es una buena alternativa para la predicción de equilibrios de mezclas con este tipo de materiales. Los modelos COSMO emplean las distribuciones superficiales de carga polarizada (sigma profiles) de los compuestos involucrados en la mezcla estudiada para la predicción de los coeficientes de actividad de la misma, definiéndose el sigma profile de una molécula como la distribución de probabilidad de densidad de carga superficial de dicha molécula. Dos de estos modelos son COSMO-RS (Realistic Solvation) y COSMO-SAC (Segment Activity Coefficient). El modelo COSMO-RS fue la primera extensión de los modelos de solvatación basados en continuos dieléctricos a la termodinámica de fases líquidas mientras que el modelo COSMO-SAC es una variación de este modelo, tal y como se explicará posteriormente. Concretamente en este trabajo se ha empleado el modelo COSMO-SAC para el cálculo de los coeficientes de actividad de las mezclas estudiadas. Los sigma profiles de los líquidos iónicos se han obtenido mediante el empleo del software de química computacional Turbomole y el paquete químico-cuántico COSMOtherm. El software Turbomole permite optimizar la geometría de la molécula para hallar la configuración más estable mientras que el paquete COSMOtherm permite la obtención del perfil sigma del compuesto mediante el empleo de los datos proporcionados por Turbomole. Por otra parte, los sigma profiles del resto de componentes se han obtenido de la base de datos Virginia Tech-2005 Sigma Profile Database. Para la predicción del equilibrio a partir de los coeficientes de actividad se ha empleado la Ley de Raoult modificada. Se ha supuesto por tanto que la fracción de cada componente en el vapor es proporcional a la fracción del mismo componente en el líquido, dónde la constante de proporcionalidad es el coeficiente de actividad del componente en la mezcla multiplicado por la presión de vapor del componente y dividido por la presión del sistema. Las presiones de vapor de los componentes se han obtenido aplicando la Ley de Antoine. Esta ecuación describe la relación entre la temperatura y la presión de vapor y se deduce a partir de la ecuación de Clausius-Clapeyron. Todos estos datos se han empleado para la modelización de una separación flash usando el algoritmo de Rachford-Rice. El valor de este modelo reside en la deducción de una función que relaciona las constantes de equilibrio, composición total y fracción de vapor. Para llevar a cabo la implementación del modelado matemático descrito, se ha programado un código empleando el software MATLAB de análisis numérico. Para comprobar la fiabilidad del código programado, se compararon los resultados obtenidos en la predicción de equilibrios de mezclas mediante el código con los resultados obtenidos mediante el simulador ASPEN PLUS de procesos químicos. Debido a la falta de datos relativos a líquidos iónicos en la base de datos de ASPEN PLUS, se han introducido estos componentes como pseudocomponentes, de manera que se han introducido únicamente los datos necesarios de estos componentes para realizar las simulaciones. El modelo COSMO-SAC se encuentra implementado en ASPEN PLUS, de manera que introduciendo los sigma profiles, los volúmenes de la cavidad y las presiones de vapor de los líquidos iónicos, es posible predecir equilibrios líquido-vapor en los que se ven implicados este tipo de materiales. De esta manera pueden compararse los resultados obtenidos con ASPEN PLUS y como el código programado en MATLAB y comprobar la fiabilidad del mismo. El objetivo principal del presente Trabajo Fin de Máster es la optimización de mezclas multicomponente de líquidos iónicos para maximizar la eficiencia de procesos de separación y minimizar los costes de los mismos. La estructura de este problema es la de un problema de optimización no lineal con variables discretas y continuas, es decir, un problema de optimización MINLP (Mixed Integer Non-Linear Programming). Tal y como se verá posteriormente, el modelo matemático de este problema es no lineal. Por otra parte, las variables del mismo son tanto continuas como binarias. Las variables continuas se corresponden con las fracciones molares de los líquidos iónicos presentes en las mezclas y con el caudal de la mezcla de líquidos iónicos. Por otra parte, también se ha introducido un número de variables binarias igual al número de líquidos iónicos presentes en la mezcla. Cada una de estas variables multiplican a las fracciones molares de sus correspondientes líquidos iónicos, de manera que cuando dicha variable es igual a 1, el líquido se encuentra en la mezcla mientras que cuando dicha variable es igual a 0, el líquido iónico no se encuentra presente en dicha mezcla. El empleo de este tipo de variables obliga por tanto a emplear algoritmos para la resolución de problemas de optimización MINLP ya que si todas las variables fueran continuas, bastaría con el empleo de algoritmos para la resolución de problemas de optimización NLP (Non-Linear Programming). Se han probado por tanto diversos algoritmos presentes en el paquete OPTI Toolbox de MATLAB para comprobar cuál es el más adecuado para abordar este problema. Finalmente, una vez validado el código programado, se han optimizado diversas mezclas de líquidos iónicos para lograr la máxima recuperación de compuestos aromáticos en un proceso de absorción de mezclas orgánicas. También se ha usado este código para la minimización del coste correspondiente a la compra de los líquidos iónicos de la mezcla de disolventes empleada en la operación de absorción. En este caso ha sido necesaria la introducción de restricciones relativas a la recuperación de aromáticos en la fase líquida o a la pureza de la mezcla obtenida una vez separada la mezcla de líquidos iónicos. Se han modelizado los dos problemas descritos previamente (maximización de la recuperación de Benceno y minimización del coste de operación) empleando tanto únicamente variables continuas (correspondientes a las fracciones o cantidades molares de los líquidos iónicos) como variables continuas y binarias (correspondientes a cada uno de los líquidos iónicos implicados en las mezclas).

Environmental niche variation and evolutionary diversification of the Brachypodium distachyon grass complex species in their native circum-Mediterranean range

PREMISE OF THE STUDY: We conducted environmental niche modeling (ENM) of the Brachypodium distachyon s.l. complex, a model group of two diploid annual grasses ( B. distachyon , B. stacei ) and their derived allotetraploid ( B. hybridum) , native to the circum-Mediterranean region. We (1) investigated the ENMs of the three species in their native range based on present and past climate data; (2) identifi ed potential overlapping niches of the diploids and their hybrid across four Quaternary windows; (3) tested whether speciation was associated with niche divergence/conservatism in the complex species; and (4) tested for the potential of the polyploid outperforming the diploids in the native range. M ETHODS: Geo-referenced data, altitude, and 19 climatic variables were used to construct the ENMs. We used paleoclimate niche models to trace the potential existence of ancestral gene fl ow among the hybridizing species of the complex. KEY RESULTS: Brachypodium distachyon grows in higher, cooler, and wetter places, B. stacei in lower, warmer, and drier places, and B. hybridum in places with intermediate climatic features. Brachypodium hybridum had the largest niche overlap with its parent niches, but a similar distribution range and niche breadth. C ONCLUSIONS: Each species had a unique environmental niche though there were multiple niche overlapping areas for the diploids across time, suggesting the potential existence of several hybrid zones during the Pleistocene and the Holocene. No evidence of niche divergence was found, suggesting that species diversifi cation was not driven by ecological speciation but by evolutionary history, though it could be associated to distinct environmental adaptations.