Integração de reacção e deliberação em agentes inteligentes

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia de Redes de Comunicação e Multimédia

Análise funcional comparativa de algoritmos de aprendizagem por reforço

De entre todos os paradigmas de aprendizagem actualmente identificados, a Aprendizagem por Reforço revela-se de especial interesse e aplicabilidade nos inúmeros processos que nos rodeiam: desde a solitária sonda que explora o planeta mais remoto, passando pelo programa especialista que aprende a apoiar a decisão médica pela experiencia adquirida, até ao cão de brincar que faz as delícias da criança interagindo com ela e adaptando-se aos seus gostos, e todo um novo mundo que nos rodeia e apela crescentemente a que façamos mais e melhor nesta área. Desde o aparecimento do conceito de aprendizagem por reforço, diferentes métodos tem sido propostos para a sua concretização, cada um deles abordando aspectos específicos. Duas vertentes distintas, mas complementares entre si, apresentam-se como características chave do processo de aprendizagem por reforço: a obtenção de experiência através da exploração do espaço de estados e o aproveitamento do conhecimento obtido através dessa mesma experiência. Esta dissertação propõe-se seleccionar alguns dos métodos propostos mais promissores de ambas as vertentes de exploração e aproveitamento, efectuar uma implementação de cada um destes sobre uma plataforma modular que permita a simulação do uso de agentes inteligentes e, através da sua aplicação na resolução de diferentes configurações de ambientes padrão, gerar estatísticas funcionais que permitam inferir conclusões que retractem entre outros aspectos a sua eficiência e eficácia comparativas em condições específicas.

Sobrevivência: jogo interactivo para estudo de arquitecturas de agentes autónomos

Trabalho de projeto para obtenção do grau de Mestre em Engenharia Informática e de Computadores

Credibilidade e reputação em agentes inteligentes. Aplicação ao comércio electrónico

Desde o seu aparecimento, a Internet teve um desenvolvimento e uma taxa de crescimento quase exponencial. Os mercados de comércio electrónico têm vindo a acompanhar esta tendência de crescimento, tornando-se cada vez mais comuns e populares entre comerciantes ou compradores/vendedores de ocasião. A par deste crescimento também foi aumentando a complexidade e sofisticação dos sistemas responsáveis por promover os diferentes mercados. No seguimento desta evolução surgiram os Agentes Inteligentes devido à sua capacidade de encontrar e escolher, de uma forma relativamente eficiente, o melhor negócio, tendo por base as propostas e restrições existentes. Desde a primeira aplicação dos Agentes Inteligentes aos mercados de comércio electrónico que os investigadores desta área, têm tentado sempre auto-superar-se arranjando modelos de Agentes Inteligentes melhores e mais eficientes. Uma das técnicas usadas, para a tentativa de obtenção deste objectivo, é a transferência dos comportamentos Humanos, no que toca a negociação e decisão, para estes mesmos Agentes Inteligentes. O objectivo desta dissertação é averiguar se os Modelos de Avaliação de Credibilidade e Reputação são uma adição útil ao processo de negociação dos Agente Inteligentes. O objectivo geral dos modelos deste tipo é minimizar as situações de fraude ou incumprimento sistemático dos acordos realizados aquando do processo de negociação. Neste contexto, foi proposto um Modelo de Avaliação de Credibilidade e Reputação aplicável aos mercados de comércio electrónico actuais e que consigam dar uma resposta adequada o seu elevado nível de exigência. Além deste modelo proposto também foi desenvolvido um simulador Multi-Agente com a capacidade de simular vários cenários e permitir, desta forma, comprovar a aplicabilidade do modelo proposto. Por último, foram realizadas várias experiências sobre o simulador desenvolvido, de forma a ser possível retirar algumas conclusões para o presente trabalho. Sendo a conclusão mais importante a verificação/validação de que a utilização de mecanismos de credibilidade e reputação são uma mais-valia para os mercado de comércio electrónico.

Interação social entre agentes em ambientes de recursos limitados

Trabalho final de Mestrado para obtenção do grau de Mestre em Engenharia de Redes de Comunicação e Multimédia

Estudi i implementació d'un sistema multiagent intel·ligent i la seva aplicació a sistemes difusos

Estudi i implementació d'un sistema multiagent intel·ligent i la seva aplicació a sistemes difusos. Utilització de les llibreries JADE i JFuzzyLogic.

Evaluación de la efectividad de una organización en el campo de percepción de marca usando un sistema de simulación computarizado basado en agentes

El presente proyecto de investigación tiene como objetivo general evaluar la efectividad de los esfuerzos en la percepción de una marca a través de la compañía “Distr & Co.” en Colombia, teniendo como fuente principal un sistema de simulación basado en agentes inteligentes; con el que se busca mejorar la metodología para medir el desempeño de una marca dada. El proceso plantea que por medio de la modelación basada en agentes se pueda dar acercamiento a las partes involucradas en los procesos de compra, es decir, la empresa, vendedores, clientes y finalmente clientes potenciales.

Estado situacional de los modelos basados en agentes y su impacto en la investigación organizacional

En un mundo hiperconectado, dinámico y cargado de incertidumbre como el actual, los métodos y modelos analíticos convencionales están mostrando sus limitaciones. Las organizaciones requieren, por tanto, herramientas útiles que empleen tecnología de información y modelos de simulación computacional como mecanismos para la toma de decisiones y la resolución de problemas. Una de las más recientes, potentes y prometedoras es el modelamiento y la simulación basados en agentes (MSBA). Muchas organizaciones, incluidas empresas consultoras, emplean esta técnica para comprender fenómenos, hacer evaluación de estrategias y resolver problemas de diversa índole. Pese a ello, no existe (hasta donde conocemos) un estado situacional acerca del MSBA y su aplicación a la investigación organizacional. Cabe anotar, además, que por su novedad no es un tema suficientemente difundido y trabajado en Latinoamérica. En consecuencia, este proyecto pretende elaborar un estado situacional sobre el MSBA y su impacto sobre la investigación organizacional.

Contratación mediante agentes electrónicos la posibilidad de otorgar validez a los contratos celebrados mediante agentes electrónicos, y la atribución de responsabilidad por sus actos a sus dueños o programadores

Las redes cerradas permiten que las personas se conozcan y hacen mas seguro el proceso contractual sin embargo gran parte del desarrollo de la contratación electrónica ha tenido lugar en Internet no podemos saber si efectivamente estamos contratando con una persona o con un agente

Intelligent agents to improve adaptivity in a web-based learning environment

En esta tesis se propone el uso de agentes inteligentes en entornos de aprendizaje en línea con el fin de mejorar la asistencia y motivación del estudiante a través de contenidos personalizados que tienen en cuenta el estilo de aprendizaje del estudiante y su nivel de conocimiento. Los agentes propuestos se desempeñan como asistentes personales que ayudan al estudiante a llevar a cabo las actividades de aprendizaje midiendo su progreso y motivación. El entorno de agentes se construye a través de una arquitectura multiagente llamada MASPLANG diseñada para dar soporte adaptativo (presentación y navegación adaptativa) a un sistema hipermedia educativo desarrollado en la Universitat de Girona para impartir educación virtual a través del web. Un aspecto importante de esta propuesta es la habilidad de construir un modelo de estudiante híbrido que comienza con un modelo estereotípico del estudiante basado en estilos de aprendizaje y se modifica gradualmente a medida que el estudiante interactúa con el sistema (gustos subjetivos). Dentro del contexto de esta tesis, el aprendizaje se define como el proceso interno que, bajo factores de cambio resulta en la adquisición de la representación interna de un conocimiento o de una actitud. Este proceso interno no se puede medir directamente sino a través de demostraciones observables externas que constituyen el comportamiento relacionado con el objeto de conocimiento. Finalmente, este cambio es el resultado de la experiencia o entrenamiento y tiene una durabilidad que depende de factores como la motivación y el compromiso. El MASPLANG está compuesto por dos niveles de agentes: los intermediarios llamados IA (agentes de información) que están en el nivel inferior y los de Interfaz llamados PDA (agentes asistentes) que están en el nivel superior. Los agentes asistentes atienden a los estudiantes cuando trabajan con el material didáctico de un curso o una lección de aprendizaje. Esta asistencia consiste en la recolección y análisis de las acciones de los estudiantes para ofrecer contenidos personalizados y en la motivación del estudiante durante el aprendizaje mediante el ofrecimiento de contenidos de retroalimentación, ejercicios adaptados al nivel de conocimiento y mensajes, a través de interfaces de usuario animadas y atractivas. Los agentes de información se encargan del mantenimiento de los modelos pedagógico y del dominio y son los que están en completa interacción con las bases de datos del sistema (compendio de actividades del estudiante y modelo del dominio). El escenario de funcionamiento del MASPLANG está definido por el tipo de usuarios y el tipo de contenidos que ofrece. Como su entorno es un sistema hipermedia educativo, los usuarios se clasifican en profesores quienes definen y preparan los contenidos para el aprendizaje adaptativo, y los estudiantes quienes llevan a cabo las actividades de aprendizaje de forma personalizada. El perfil de aprendizaje inicial del estudiante se captura a través de la evaluación del cuestionario ILS (herramienta de diagnóstico del modelo FSLSM de estilos de aprendizaje adoptado para este estudio) que se asigna al estudiante en su primera interacción con el sistema. Este cuestionario consiste en un conjunto de preguntas de naturaleza sicológica cuyo objetivo es determinar los deseos, hábitos y reacciones del estudiante que orientarán la personalización de los contenidos y del entorno de aprendizaje. El modelo del estudiante se construye entonces teniendo en cuenta este perfil de aprendizaje y el nivel de conocimiento obtenido mediante el análisis de las acciones del estudiante en el entorno.

Uma proposta de arquitetura de um ambiente de desenvolvimento de software distribuído baseada em agentes

A crescente complexidade das aplicações, a contínua evolução tecnológica e o uso cada vez mais disseminado de redes de computadores têm impulsionado os estudos referentes ao desenvolvimento de sistemas distribuídos. Como estes sistemas não podem ser facilmente desenvolvidos com tecnologias de software tradicionais por causa dos limites destas em lidar com aspectos relacionados, por exemplo, à distribuição e interoperabilidade, a tecnologia baseada em agentes parece ser uma resposta promissora para facilitar o desenvolvimento desses sistemas, pois ela foi planejada para suportar estes aspectos, dentre outros. Portanto, é necessário também que a arquitetura dos ambientes de desenvolvimento de software (ADS) evolua para suportar novas metodologias de desenvolvimento que ofereçam o suporte necessário à construção de softwares complexos, podendo também estar integrada a outras tecnologias como a de agentes. Baseada nesse contexto, essa dissertação tem por objetivo apresentar a especificação de uma arquitetura de um ADS distribuído baseada em agentes (DiSEN – Distributed Software Engineering Environment). Esse ambiente deverá fornecer suporte ao desenvolvimento de software distribuído, podendo estar em locais geograficamente distintos e também os desenvolvedores envolvidos poderão estar trabalhando de forma cooperativa. Na arquitetura proposta podem ser identificadas as seguintes camadas: dinâmica, que será responsável pelo gerenciamento da (re)configuração do ambiente em tempo de execução; aplicação, que terá, entre os elementos constituintes, a MDSODI (Metodologia para Desenvolvimento de Software Distribuído), que leva em consideração algumas características identificadas em sistemas distribuídos, já nas fases iniciais do projeto e o repositório para armazenamento dos dados necessários ao ambiente; e, infra-estrutura, que proverá suporte às tarefas de nomeação, persistência e concorrência e incorporará o canal de comunicação. Para validar o ambiente será realizada uma simulação da comunicação que pode ser necessária entre as partes constituintes do DiSEN, por meio da elaboração de diagramas de use case e de seqüência, conforme a notação MDSODI. Assim, as principais contribuições desse trabalho são: (i) especificação da arquitetura de um ADS distribuído que poderá estar distribuído geograficamente; incorporará a MDSODI; proporcionará desenvolvimento distribuído; possuirá atividades executadas por agentes; (ii) os agentes identificados para o DiSEN deverão ser desenvolvidos obedecendo ao padrão FIPA (Foundation for Intelligent Physical Agents); (iii) a identificação de um elemento que irá oferecer apoio ao trabalho cooperativo, permitindo a integração de profissionais, agentes e artefatos.

Empresas como agentes de benefício para o mundo: reflexão sobre visões de futuro no Brasil

O objetivo desta pesquisa consistiu em explorar os fatores comuns das visões de futuro de três segmentos da comunidade paulistana (executivos, empreendedores sociais e pensadores), especialmente no que diz respeito às possíveis alianças cooperativas entre o mundo dos negócios e a sociedade como um todo, como também as estratégias utilizadas para concretizá-las. Indagamos se, com suas experiências de vida, os sujeitos entrevistados protagonizavam suas visões de futuro; quais eram os aspectos em comum dessas visões referentes ao futuro e ao futuro dos negócios; as estratégias utilizadas para concretizar essas visões comuns, percebidas como positivas, e de que maneira podiam contribuir para o desenvolvimento de uma relação cooperativa entre os negócios e a sociedade. Utilizamos 30 entrevistas (10 em cada segmento), em amostra acidental, gravadas e, posteriormente, submetidas a uma análise segundo o referencial da Psicologia Social de Enrique Pichon-Rivière, incluindo alguns dos indicadores do processo interacional (cooperação, comunicação e telecomunicação) e da reação dos entrevistados e entrevistadores com relação aos conteúdos aplicados (transferência e contratransferência). Baseamo-nos no protocolo de Investigação Apreciativa do projeto "Business as an Agent of World Benefit" da Weatherhead School of Management e conceitos convergentes com o referencial adotado no que se refere ao interjogo entre o homem e o mundo, o protagonismo, o contar histórias, o projeto como planejamento de futuro e a criação de novas metáforas. Com relação ao futuro imaginado, encontramos como resultado unânime a preocupação com o meio ambiente, a mudança de valores (com a revisitação da noção de bem-estar, as “mortes subjetivas” por preconceito, o acolhimento expandido aos profissionais da saúde e a saúde como valor); a interconexão (presente no mundo contábil, nos modelos econômicos equitativos, na visão do administrador como estadista, na integração entre o “dentro e fora do negócio”, na consciência da riqueza como medida global e não individual, na ética, no voluntariado por consciência, no cuidado com o ambiente, consigo mesmo, com o outro e com a vida e a morte); coerência, vínculo e escuta (com foco na qualidade das relações e não na tecnologia, no honrar o próximo, no compartilhamento de experiências, na mão dupla entre negócios e comunidade, no bom trato para com as crianças e adultos), inclusão/exclusão (com a criação de espaços públicos intencionalmente inclusivos e a real inclusão dos excluídos na empresa); a educação (através do raciocínio que lide com a linearidade vigente e estimule pensar na complexidade, do reconhecimento de aspectos saudáveis e construtivos no cotidiano, e da formação que abrange gerentes, empreendedores e comunidade, incluindo conhecimento, ética e gratidão); interioridade (alma do negócio, intuição, transcendência como diferencial influindo em uma nova percepção de lucro, sacralidade da vida, encontro consigo próprio); lucro (revisão desse conceito com foco na vida, no bem-estar, no enraizamento das pessoas); consumo/consumidor (com relação à mudança na forma de analisar investimentos inteligentes, uma nova visão de pobreza); longo prazo (ligado à sustentabilidade, à autovalorização das pessoas e à educação dos funcionários). Há muitas estratégias atuantes nos diferentes segmentos, as pensadas são: a intencionalidade de inclusão em espaços públicos por diversos agentes, a revisão do conceito de bem-estar, os benefícios compartilhados, a inclusão mais precoce do jovem no mundo dos negócios e não como forma de exploração, o incentivo às atitudes de liderança nos jovens para o novo mundo e o longo prazo, como tema a ser mais aprofundado. Quanto à relação entre negócios e sociedade parece não haver clareza entre os segmentos quanto ao papel desempenhado pelas empresas, pelas ONGs e pelas comunidades. Surgem pontos como a necessidade da expansão de idéias inovadoras por meio de instituições sem fins lucrativos, do fortalecimento da sociedade civil, de um novo conceito de organização social, das ONGs não serem mais necessárias, das comunidades solidárias como instituições de direito e da ampliação do sentido da responsabilidade social estendido ao ecossistema.

Serviço de referência digital: uma análise apoiada em agentes de interface

Pós-graduação em Ciência da Informação - FFC

Propuesta de integración de agentes software inteligentes sobre JADE con entornos virtuales en Unity3D

La unión de distintos sistemas software constituye un elemento principal de las nuevas Tecnologías de la Información y la Comunicación. La integración de entornos virtuales tridimensionales con agentes software inteligentes es el objetivo que persigue este trabajo de investigación. Para llevar a cabo esta integración se parte de la creación de un agente virtual, un personaje que es controlado por una mente desarrollada siguiendo un enfoque basado en agentes software. Se busca así dotar al sistema de cierto nivel de inteligencia, tomando como referencia el funcionamiento del cerebro humano. Lo que se consigue es que el agente capte los estímulos del entorno, los procese y genere comportamientos, tanto reactivos como deliberativos, que son ejecutados por el personaje. Los resultados obtenidos resaltan el dinamismo del sistema, a la vez que animan a seguir investigando en este campo lleno de aplicaciones directas y reales sobre el mundo. En conclusión, esta investigación busca y consigue un nuevo paso en el progreso de las nuevas tecnologías mediante una integración real de distintos sistemas software. ---ABSTRACT---The union of different software systems is a major element of Information and Communications Technology. The aim of this research is the integration of 3D virtual environments and intelligent software agents. This integration is based on the development of a virtual agent, a character that is controlled by a mind developed following a software agent approach. It is sought to provide the system with some intelligence level, taking the human brain function as a reference point. The consequence is that the agent captures environmental stimuli, processes them and creates reactive and deliberative behaviours that can be executed by the avatar. The findings emphasize the dynamism of the system as well as they encourage to research more in this field that has a lot of direct and real-life applications on the world. In conclusion, this research seeks and takes a new step in the progress of new technologies through a real integration of different software systems.

Contribution towards intelligent service management in wearable and ubiquitous devices

Hoy en día asistimos a un creciente interés por parte de la sociedad hacia el cuidado de la salud. Esta afirmación viene apoyada por dos realidades. Por una parte, el aumento de las prácticas saludables (actividad deportiva, cuidado de la alimentación, etc.). De igual manera, el auge de los dispositivos inteligentes (relojes, móviles o pulseras) capaces de medir distintos parámetros físicos como el pulso cardíaco, el ritmo respiratorio, la distancia recorrida, las calorías consumidas, etc. Combinando ambos factores (interés por el estado de salud y disponibilidad comercial de dispositivos inteligentes) están surgiendo multitud de aplicaciones capaces no solo de controlar el estado actual de salud, también de recomendar al usuario cambios de hábitos que lleven hacia una mejora en su condición física. En este contexto, los llamados dispositivos llevables (weareables) unidos al paradigma de Internet de las cosas (IoT, del inglés Internet of Things) permiten la aparición de nuevos nichos de mercado para aplicaciones que no solo se centran en la mejora de la condición física, ya que van más allá proponiendo soluciones para el cuidado de pacientes enfermos, la vigilancia de niños o ancianos, la defensa y la seguridad, la monitorización de agentes de riesgo (como bomberos o policías) y un largo etcétera de aplicaciones por llegar. El paradigma de IoT se puede desarrollar basándose en las existentes redes de sensores inalámbricos (WSN, del inglés Wireless Sensor Network). La conexión de los ya mencionados dispositivos llevables a estas redes puede facilitar la transición de nuevos usuarios hacia aplicaciones IoT. Pero uno de los problemas intrínsecos a estas redes es su heterogeneidad. En efecto, existen multitud de sistemas operativos, protocolos de comunicación, plataformas de desarrollo, soluciones propietarias, etc. El principal objetivo de esta tesis es realizar aportaciones significativas para solucionar no solo el problema de la heterogeneidad, sino también de dotar de mecanismos de seguridad suficientes para salvaguardad la integridad de los datos intercambiados en este tipo de aplicaciones. Algo de suma importancia ya que los datos médicos y biométricos de los usuarios están protegidos por leyes nacionales y comunitarias. Para lograr dichos objetivos, se comenzó con la realización de un completo estudio del estado del arte en tecnologías relacionadas con el marco de investigación (plataformas y estándares para WSNs e IoT, plataformas de implementación distribuidas, dispositivos llevables y sistemas operativos y lenguajes de programación). Este estudio sirvió para tomar decisiones de diseño fundamentadas en las tres contribuciones principales de esta tesis: un bus de servicios para dispositivos llevables (WDSB, Wearable Device Service Bus) basado en tecnologías ya existentes tales como ESB, WWBAN, WSN e IoT); un protocolo de comunicaciones inter-dominio para dispositivos llevables (WIDP, Wearable Inter-Domain communication Protocol) que integra en una misma solución protocolos capaces de ser implementados en dispositivos de bajas capacidades (como lo son los dispositivos llevables y los que forman parte de WSNs); y finalmente, la tercera contribución relevante es una propuesta de seguridad para WSN basada en la aplicación de dominios de confianza. Aunque las contribuciones aquí recogidas son de aplicación genérica, para su validación se utilizó un escenario concreto de aplicación: una solución para control de parámetros físicos en entornos deportivos, desarrollada dentro del proyecto europeo de investigación “LifeWear”. En este escenario se desplegaron todos los elementos necesarios para validar las contribuciones principales de esta tesis y, además, se realizó una aplicación para dispositivos móviles por parte de uno de los socios del proyecto (lo que contribuyó con una validación externa de la solución). En este escenario se usaron dispositivos llevables tales como un reloj inteligente, un teléfono móvil con sistema operativo Android y un medidor del ritmo cardíaco inalámbrico capaz de obtener distintos parámetros fisiológicos del deportista. Sobre este escenario se realizaron diversas pruebas de validación mediante las cuales se obtuvieron resultados satisfactorios. ABSTRACT Nowadays, society is shifting towards a growing interest and concern on health care. This phenomenon can be acknowledged by two facts: first, the increasing number of people practising some kind of healthy activity (sports, balanced diet, etc.). Secondly, the growing number of commercial wearable smart devices (smartwatches or bands) able to measure physiological parameters such as heart rate, breathing rate, distance or consumed calories. A large number of applications combining both facts are appearing. These applications are not only able to monitor the health status of the user, but also to provide recommendations about routines in order to improve the mentioned health status. In this context, wearable devices merged with the Internet of Things (IoT) paradigm enable the proliferation of new market segments for these health wearablebased applications. Furthermore, these applications can provide solutions for the elderly or baby care, in-hospital or in-home patient monitoring, security and defence fields or an unforeseen number of future applications. The introduced IoT paradigm can be developed with the usage of existing Wireless Sensor Networks (WSNs) by connecting the novel wearable devices to them. In this way, the migration of new users and actors to the IoT environment will be eased. However, a major issue appears in this environment: heterogeneity. In fact, there is a large number of operating systems, hardware platforms, communication and application protocols or programming languages, each of them with unique features. The main objective of this thesis is defining and implementing a solution for the intelligent service management in wearable and ubiquitous devices so as to solve the heterogeneity issues that are presented when dealing with interoperability and interconnectivity of devices and software of different nature. Additionally, a security schema based on trust domains is proposed as a solution to the privacy problems arising when private data (e.g., biomedical parameters or user identification) is broadcasted in a wireless network. The proposal has been made after a comprehensive state-of-the-art analysis, and includes the design of a Wearable Device Service Bus (WDSB) including the technologies collected in the requirement analysis (ESB, WWBAN, WSN and IoT). Applications are able to access the WSN services regardless of the platform and operating system where they are running. Besides, this proposal also includes the design of a Wearable Inter-Domain communication Protocols set (WIDP) which integrates lightweight protocols suitable to be used in low-capacities devices (REST, JSON, AMQP, CoAP, etc...). Furthermore, a security solution for service management based on a trustworthy domains model to deploy security services in WSNs has been designed. Although the proposal is a generic framework for applications based on services provided by wearable devices, an application scenario for testing purposes has been included. In this validation scenario it has been presented an autonomous physical condition performance system, based on a WSN, bringing the possibility to include several elements in an IoT scenario: a smartwatch, a physiological monitoring device and a smartphone. In summary, the general objective of this thesis is solving the heterogeneity and security challenges arising when developing applications for WSNs and wearable devices. As it has been presented in the thesis, the solution proposed has been successfully validated in a real scenario and the obtained results were satisfactory.