Dynamic task allocation and coordination in cooperative multi-agent environments

La coordinació i assignació de tasques en entorns distribuïts ha estat un punt important de la recerca en els últims anys i aquests temes són el cor dels sistemes multi-agent. Els agents en aquests sistemes necessiten cooperar i considerar els altres agents en les seves accions i decisions. A més a més, els agents han de coordinar-se ells mateixos per complir tasques complexes que necessiten més d'un agent per ser complerta. Aquestes tasques poden ser tan complexes que els agents poden no saber la ubicació de les tasques o el temps que resta abans de que les tasques quedin obsoletes. Els agents poden necessitar utilitzar la comunicació amb l'objectiu de conèixer la tasca en l'entorn, en cas contrari, poden perdre molt de temps per trobar la tasca dins de l'escenari. De forma similar, el procés de presa de decisions distribuït pot ser encara més complexa si l'entorn és dinàmic, amb incertesa i en temps real. En aquesta dissertació, considerem entorns amb sistemes multi-agent amb restriccions i cooperatius (dinàmics, amb incertesa i en temps real). En aquest sentit es proposen dues aproximacions que permeten la coordinació dels agents. La primera és un mecanisme semi-centralitzat basat en tècniques de subhastes combinatòries i la idea principal es minimitzar el cost de les tasques assignades des de l'agent central cap als equips d'agents. Aquest algoritme té en compte les preferències dels agents sobre les tasques. Aquestes preferències estan incloses en el bid enviat per l'agent. La segona és un aproximació d'scheduling totalment descentralitzat. Això permet als agents assignar les seves tasques tenint en compte les preferències temporals sobre les tasques dels agents. En aquest cas, el rendiment del sistema no només depèn de la maximització o del criteri d'optimització, sinó que també depèn de la capacitat dels agents per adaptar les seves assignacions eficientment. Addicionalment, en un entorn dinàmic, els errors d'execució poden succeir a qualsevol pla degut a la incertesa i error de accions individuals. A més, una part indispensable d'un sistema de planificació és la capacitat de re-planificar. Aquesta dissertació també proveeix una aproximació amb re-planificació amb l'objectiu de permetre als agent re-coordinar els seus plans quan els problemes en l'entorn no permeti la execució del pla. Totes aquestes aproximacions s'han portat a terme per permetre als agents assignar i coordinar de forma eficient totes les tasques complexes en un entorn multi-agent cooperatiu, dinàmic i amb incertesa. Totes aquestes aproximacions han demostrat la seva eficiència en experiments duts a terme en l'entorn de simulació RoboCup Rescue.

Intelligent agents to improve adaptivity in a web-based learning environment

En esta tesis se propone el uso de agentes inteligentes en entornos de aprendizaje en línea con el fin de mejorar la asistencia y motivación del estudiante a través de contenidos personalizados que tienen en cuenta el estilo de aprendizaje del estudiante y su nivel de conocimiento. Los agentes propuestos se desempeñan como asistentes personales que ayudan al estudiante a llevar a cabo las actividades de aprendizaje midiendo su progreso y motivación. El entorno de agentes se construye a través de una arquitectura multiagente llamada MASPLANG diseñada para dar soporte adaptativo (presentación y navegación adaptativa) a un sistema hipermedia educativo desarrollado en la Universitat de Girona para impartir educación virtual a través del web. Un aspecto importante de esta propuesta es la habilidad de construir un modelo de estudiante híbrido que comienza con un modelo estereotípico del estudiante basado en estilos de aprendizaje y se modifica gradualmente a medida que el estudiante interactúa con el sistema (gustos subjetivos). Dentro del contexto de esta tesis, el aprendizaje se define como el proceso interno que, bajo factores de cambio resulta en la adquisición de la representación interna de un conocimiento o de una actitud. Este proceso interno no se puede medir directamente sino a través de demostraciones observables externas que constituyen el comportamiento relacionado con el objeto de conocimiento. Finalmente, este cambio es el resultado de la experiencia o entrenamiento y tiene una durabilidad que depende de factores como la motivación y el compromiso. El MASPLANG está compuesto por dos niveles de agentes: los intermediarios llamados IA (agentes de información) que están en el nivel inferior y los de Interfaz llamados PDA (agentes asistentes) que están en el nivel superior. Los agentes asistentes atienden a los estudiantes cuando trabajan con el material didáctico de un curso o una lección de aprendizaje. Esta asistencia consiste en la recolección y análisis de las acciones de los estudiantes para ofrecer contenidos personalizados y en la motivación del estudiante durante el aprendizaje mediante el ofrecimiento de contenidos de retroalimentación, ejercicios adaptados al nivel de conocimiento y mensajes, a través de interfaces de usuario animadas y atractivas. Los agentes de información se encargan del mantenimiento de los modelos pedagógico y del dominio y son los que están en completa interacción con las bases de datos del sistema (compendio de actividades del estudiante y modelo del dominio). El escenario de funcionamiento del MASPLANG está definido por el tipo de usuarios y el tipo de contenidos que ofrece. Como su entorno es un sistema hipermedia educativo, los usuarios se clasifican en profesores quienes definen y preparan los contenidos para el aprendizaje adaptativo, y los estudiantes quienes llevan a cabo las actividades de aprendizaje de forma personalizada. El perfil de aprendizaje inicial del estudiante se captura a través de la evaluación del cuestionario ILS (herramienta de diagnóstico del modelo FSLSM de estilos de aprendizaje adoptado para este estudio) que se asigna al estudiante en su primera interacción con el sistema. Este cuestionario consiste en un conjunto de preguntas de naturaleza sicológica cuyo objetivo es determinar los deseos, hábitos y reacciones del estudiante que orientarán la personalización de los contenidos y del entorno de aprendizaje. El modelo del estudiante se construye entonces teniendo en cuenta este perfil de aprendizaje y el nivel de conocimiento obtenido mediante el análisis de las acciones del estudiante en el entorno.

Uma Ferramenta para auxiliar o professor no ensino a distância

Com a proliferação de computadores pessoais e a popularização da Internet, as novas tecnologias da comunicação começam a provocar impactos no setor educacional, com a promessa de construção de cenários inovadores, apoiados em diferentes formas de educação baseada na Web. Estas inovações tecnológicas aplicadas ao ensino caracterizam a intensificação dos processos de educação à distância como uma das tendências mais marcantes desse final de milênio. A tendência destas inovações é crescer e juntamente com a Internet contribuir para a melhoria do ensino e/ou aprendizagem a distância. A Educação à Distância (EAD) tem sido um termo usado para qualquer forma de estudo em que os alunos não estejam em contato direto com seu professor. Este tipo de ensino pode ser considerado como uma alternativa educacional capaz de propiciar a ampliação de oportunidades educativas, através de programas de qualidade. Atualmente, para desenvolver ambientes para o ensino a distância são utilizados os conceitos de Inteligência Artificial Distribuída, mais precisamente o conceito de sistemas multiagentes, com a finalidade de aprimorar e monitorar o ensino através da Internet. O sistema AME-A proposto por D’Amico é um exemplo de ambiente que utiliza a tecnologia de multiagentes. Ele é constituído de vários agentes inteligentes que atuam de forma concorrente e comunicam-se através de mensagens. Dessa maneira, transformam o sistema em um conjunto de agentes cooperantes em busca de um objetivo que é o de ensinar e/ou aprender. Este trabalho tem como objetivo utilizar o estudo e a abordagem de modelagem do sistema de ensino/aprendizagem definido por D’Amico no que se refere ao agente ferramentas para o professor. Propõe-se a desenvolver uma ferramenta que irá auxiliar o professor na distribuição de seus conhecimentos na Internet, armazenando as informações inseridas pelo professor bem como fornecer orientações a respeito de determinadas operações que o sistema realiza. Estas orientações também apresentam como foco os seguintes fatores: descrição da importância da motivação e interatividade num curso a distância, sugestões de metodologias de ensino que o professor pode usar nas suas aulas, orientações a respeito de avaliação do aprendizado do aluno, dicas sobre conteúdos de materiais complementares às aulas e por fim, menciona exemplos de ferramentas em modo texto e multimídia que podem ser utilizadas para comunicação.

Modelo neuro-evolutivo de coordenação adaptativa em ambientes dinâmicos

Em ambientes dinâmicos e complexos, a política ótima de coordenação não pode ser derivada analiticamente, mas, deve ser aprendida através da interação direta com o ambiente. Geralmente, utiliza-se aprendizado por reforço para prover coordenação em tais ambientes. Atualmente, neuro-evolução é um dos métodos de aprendizado por reforço mais proeminentes. Em vista disto, neste trabalho, é proposto um modelo de coordenação baseado em neuro-evolução. Mais detalhadamente, desenvolveu-se uma extensão do método neuro-evolutivo conhecido como Enforced Subpopulations (ESP). Na extensão desenvolvida, a rede neural que define o comportamento de cada agente é totalmente conectada. Adicionalmente, é permitido que o algoritmo encontre, em tempo de treinamento, a quantidade de neurônios que deve estar presente na camada oculta da rede neural de cada agente. Esta alteração, além de oferecer flexibilidade na definição da topologia da rede de cada agente e diminuir o tempo necessário para treinamento, permite também a constituição de grupos de agentes heterogêneos. Um ambiente de simulação foi desenvolvido e uma série de experimentos realizados com o objetivo de avaliar o modelo proposto e identificar quais os melhores valores para os diversos parâmetros do modelo. O modelo proposto foi aplicado no domínio das tarefas de perseguição-evasão.

Aprendizado de máquina em sistemas complexos multiagentes : estudo de caso em um ambiente sob racionalidade limitada

O presente trabalho investiga a relação entre aprendizado e dinâmica em sistemas complexos multiagentes. Fazemos isso através de estudos experimentais em um cenário de racionalidade limitada que situa-se na interesecção entre Inteligência Artificial, Economia e Física Estatística, conhecido como “Minority Game”. Apresentamos resultados experimentais sobre o jogo focando o estudo do cenário sob uma perspectiva de Aprendizado de Máquina. Introduzimos um novo algoritmo de aprendizado para os agentes no jogo, que chamamos de aprendizado criativo, e mostramos que este algoritmo induz uma distribuição mais eficiente de recursos entre os agentes. Este aumento de eficiência mostra-se resultante de uma busca irrestrita no espaço de estratégias que permitem uma maximização mais eficiente das distâncias entre estratégias. Analisamos então os efeitos dos parâmetros deste algoritmo no desempenho de um agente, comparando os resultados com o algoritmo tradicional de aprendizado e mostramos que o algoritmo proposto é mais eficiente que o tradicional na maioria das situações. Finalmente, investigamos como o tamanho de memória afeta o desempenho de agentes utilizando ambos algoritmos e concluímos que agentes individuais com tamanhos de memória maiores apenas obtém um aumento no desempenho se o sistema se encontrar em uma região ineficiente, enquanto que nas demais fases tais aumentos são irrelevantes - e mesmo danosos - à performance desses agentes.

Formalização da comunicação de conhecimentos probabilísticos em sistemas multiagentes : uma abordagem baseada em lógica probabilística

Durante os últimos anos as áreas de pesquisa sobre Agentes Inteligentes, Sistemas Multiagentes e Comunicação entre Agentes têm contribuído com uma revolução na forma como sistemas inteligentes podem ser concebidos, fundamentados e construídos. Sendo assim, parece razoável supor que sistemas inteligentes que trabalhem com domínios probabilísticos de conhecimento possam compartilhar do mesmo tipo de benefícios que os sistemas mais tradicionais da Inteligência Artificial receberam quando adotaram as concepções de agência, de sistemas compostos de múltiplos agentes e de linguagens de comunicação entre estes agentes. Porém, existem dúvidas não só sobre como se poderia escalar efetivamente um sistema probabilístico para uma arquitetura multiagente, mas como se poderia lidar com as questões relativas à comunicação e à representação de conhecimentos probabilísticos neste tipo de sistema, principalmente tendo em vista as limitações das linguagens de comunicação entre agentes atuais, que não permitem comunicar ou representar este tipo de conhecimento. Este trabalho parte destas considerações e propõe uma generalização do modelo teórico puramente lógico que atualmente fundamenta a comunicação nos sistemas multiagentes, que será capaz de representar conhecimentos probabilísticos. Também é proposta neste trabalho uma extensão das linguagens de comunicação atuais, que será capaz de suportar as necessidades de comunicação de conhecimentos de natureza probabilísticas. São demonstradas as propriedades de compatibilidade do novo modelo lógico-probabilístico com o modelo puramente lógico atual, sendo demonstrado que teoremas válidos no modelo atual continuam válidos no novo modelo. O novo modelo é definido como uma lógica probabilística que estende a lógica modal dos modelos atuais. Para esta lógica probabilística é definido um sistema axiomático e são demonstradas sua correção e completude. A completude é demonstrada de forma relativa: se o sistema axiomático da lógica modal original for completo, então o sistema axiomático da lógica probabilística proposta como extensão também será completo. A linguagem de comunicação proposta neste trabalho é definida formalmente pela generalização das teorias axiomáticas de agência e comunicação atuais para lidar com a comunicação de conhecimentos probabilísticos e pela definição de novos atos comunicativos específicos para este tipo de comunicação. Demonstra-se que esta linguagem é compatível com as linguagens atuais no caso não-probabilístico. Também é definida uma nova linguagem para representação de conteúdos de atos de comunicação, baseada na lógica probabilística usada como modelo semântico, que será capaz de expressar conhecimentos probabilísticos e não probabilísticos de uma maneira uniforme. O grau de expressibilidade destas linguagens é verificado por meio de duas aplicações. Na primeira aplicação demonstra-se como a nova linguagem de conteúdos pode ser utilizada para representar conhecimentos probabilísticos expressos através da forma de representação de conhecimentos probabilísticos mais aceita atualmente, que são as Redes Bayesianas ou Redes de Crenças Probabilísticas. Na outra aplicação, são propostos protocolos de interação, baseados nos novos atos comunicativos, que são capazes de atender as necessidades de comunicação das operações de consistência de Redes Bayesianas secionadas (MSBNs, Multiple Sectioned Bayesian Networks) para o caso de sistemas multiagentes.

Inteligência artificial popperiana

A inteligência tem sido estudada como fruto de evolução biológica. Nas últimas centenas de milhões de anos, a inteligência tem evoluído juntamente com a biologia. Essa conclusão pode ser obtida ao analisar o comportamento das criaturas que emergiram assim como a sua capacidade de armazenar e processar informação. A evolução gerou criaturas possuidoras de cérebros com grande poder de adaptação. Partindo-se do pressuposto que a inteligência humana é resultado de um processo evolutivo paulatino que ocorreu ao longo de milhões de anos, faz sentido tentar repetir os mesmos passos dados ao longo da evolução da inteligência artificialmente. A evolução oferece uma rota que vai desde tipos de mentes simples até tipos de mentes mais complexas apresentando um caminho de características e capacidades que evoluíram ao longo do tempo. No presente trabalho, acredita-se que esse caminho seguido pela evolução é uma boa fonte de inspiração para a geração de inteligência artificial. De acordo com Dennett, um tipo de mente que apareceu ao longo da evolução é a mente popperiana que aprende as regras do ambiente e tem a capacidade de imaginar ou planejar estados futuros permitindo que ela se adapte com facilidade a novas e inesperadas situações. Sendo assim, modela-se e implementa-se um agente popperiano capaz de aprender as regras do seu ambiente e planejar ações futuras baseando-se no seu aprendizado. Por fim, são implementados dois protótipos de agentes popperianos para resolver problemas distintos e observa-se a capacidade dos agentes popperianos em se adaptar às condições do seu meio para alcançar seus objetivos.

Ontology-based metadata for e-learning content

Nowadays, the popularity of the Web encourages the development of Hypermedia Systems dedicated to e-learning. Nevertheless, most of the available Web teaching systems apply the traditional paper-based learning resources presented as HTML pages making no use of the new capabilities provided by the Web. There is a challenge to develop educative systems that adapt the educative content to the style of learning, context and background of each student. Another research issue is the capacity to interoperate on the Web reusing learning objects. This work presents an approach to address these two issues by using the technologies of the Semantic Web. The approach presented here models the knowledge of the educative content and the learner’s profile with ontologies whose vocabularies are a refinement of those defined on standards situated on the Web as reference points to provide semantics. Ontologies enable the representation of metadata concerning simple learning objects and the rules that define the way that they can feasibly be assembled to configure more complex ones. These complex learning objects could be created dynamically according to the learners’ profile by intelligent agents that use the ontologies as the source of their beliefs. Interoperability issues were addressed by using an application profile of the IEEE LOM- Learning Object Metadata standard.

Capturando aspectos da auto-eficácia do aluno através de um agente inteligente

Esta tese está inserida no trabalho desenvolvido pelo Grupo de Pesquisa de Inteligência Artificial (GIA) da UFRGS, sob a orientação da Professora. Dra. Rosa Maria Vicari e situa-se na área da Inteligência Artificial, com aplicações na Educação a Distância. As principais áreas onde este trabalho de Pesquisa se situa são: Sistemas Tutores Inteligentes, Sistemas Multiagente e Psicologia Social Cognitiva. Dentro desse contexto, o objetivo principal desta pesquisa é a modelagem computacional de aspectos da auto-eficácia de alunos realizando cursos on-line, tomando-se por base o trabalho de Bandura, cuja natureza engloba a cognição e afetividade. Este autor define como Auto-Eficácia "a crença do indivíduo sobre as suas capacidades de exercer controle sobre acontecimentos que afetam a sua vida" e “a crença nas suas capacidades para mobilizar motivação, recursos cognitivos e implementar ações que lhe permitam exercer controle sobre tarefas exigidas". Esta tese propõe um agente capaz de perceber e monitorar os aspectos da autoeficácia do aluno, denominado agente Mediador da Auto-Eficácia (MAE), e prover o modelo do aluno com esta nova variável. O senso de auto-eficácia consiste em crenças, que são processos cognitivos do indivíduo sobre suas capacidades. É em função das crenças de auto-eficácia que ocorrerão as escolhas, a direção e a persistência nos comportamentos de aprendizagem por parte do aluno. Nesse contexto, acredita-se que o desenvolvimento do senso de auto-eficácia do aluno poderá lhe conferir a força motivacional para elaborar sua aprendizagem. O agente MAE monitora o comportamento do aluno através de uma máquina de inferência fuzzy das relações entre as variáveis esforço, persistência e desempenho e aciona um sistema de feedback através do agente pedagógico animado (PAT). O feedback realizado pelo agente pedagógico animado apresenta ao aluno comportamentos verbais e físicos afetivos. O agente MAE está inserido no ambiente InteliWeb, que oferece um material instrucional de Biociências e foi implementado com Servlets e páginas JSP. A maior contribuição desta tese está na agregação de aspectos da auto-eficácia no modelo de aluno envolvido em situações de ensino aprendizagem de alunos, avançando dentro da perspectiva de pesquisa do GIA, assim como o desenvolvimento do InteliWeb com a inserção do agente MAE e sua máquina de inferência fuzzy.