Aspectos de aprendizagem em optimização

A optimização e a aprendizagem em Sistemas Multi-Agente são consideradas duas áreas promissoras mas relativamente pouco exploradas. A optimização nestes ambientes deve ser capaz de lidar com o dinamismo. Os agentes podem alterar o seu comportamento baseando-se em aprendizagem recente ou em objectivos de optimização. As estratégias de aprendizagem podem melhorar o desempenho do sistema, dotando os agentes da capacidade de aprender, por exemplo, qual a técnica de optimização é mais adequada para a resolução de uma classe particular de problemas, ou qual a parametrização é mais adequada em determinado cenário. Nesta dissertação são estudadas algumas técnicas de resolução de problemas de Optimização Combinatória, sobretudo as Meta-heurísticas, e é efectuada uma revisão do estado da arte de Aprendizagem em Sistemas Multi-Agente. É também proposto um módulo de aprendizagem para a resolução de novos problemas de escalonamento, com base em experiência anterior. O módulo de Auto-Optimização desenvolvido, inspirado na Computação Autónoma, permite ao sistema a selecção automática da Meta-heurística a usar no processo de optimização, assim como a respectiva parametrização. Para tal, recorreu-se à utilização de Raciocínio baseado em Casos de modo que o sistema resultante seja capaz de aprender com a experiência adquirida na resolução de problemas similares. Dos resultados obtidos é possível concluir da vantagem da sua utilização e respectiva capacidade de adaptação a novos e eventuais cenários.

Credibilidade e reputação em agentes inteligentes. Aplicação ao comércio electrónico

Desde o seu aparecimento, a Internet teve um desenvolvimento e uma taxa de crescimento quase exponencial. Os mercados de comércio electrónico têm vindo a acompanhar esta tendência de crescimento, tornando-se cada vez mais comuns e populares entre comerciantes ou compradores/vendedores de ocasião. A par deste crescimento também foi aumentando a complexidade e sofisticação dos sistemas responsáveis por promover os diferentes mercados. No seguimento desta evolução surgiram os Agentes Inteligentes devido à sua capacidade de encontrar e escolher, de uma forma relativamente eficiente, o melhor negócio, tendo por base as propostas e restrições existentes. Desde a primeira aplicação dos Agentes Inteligentes aos mercados de comércio electrónico que os investigadores desta área, têm tentado sempre auto-superar-se arranjando modelos de Agentes Inteligentes melhores e mais eficientes. Uma das técnicas usadas, para a tentativa de obtenção deste objectivo, é a transferência dos comportamentos Humanos, no que toca a negociação e decisão, para estes mesmos Agentes Inteligentes. O objectivo desta dissertação é averiguar se os Modelos de Avaliação de Credibilidade e Reputação são uma adição útil ao processo de negociação dos Agente Inteligentes. O objectivo geral dos modelos deste tipo é minimizar as situações de fraude ou incumprimento sistemático dos acordos realizados aquando do processo de negociação. Neste contexto, foi proposto um Modelo de Avaliação de Credibilidade e Reputação aplicável aos mercados de comércio electrónico actuais e que consigam dar uma resposta adequada o seu elevado nível de exigência. Além deste modelo proposto também foi desenvolvido um simulador Multi-Agente com a capacidade de simular vários cenários e permitir, desta forma, comprovar a aplicabilidade do modelo proposto. Por último, foram realizadas várias experiências sobre o simulador desenvolvido, de forma a ser possível retirar algumas conclusões para o presente trabalho. Sendo a conclusão mais importante a verificação/validação de que a utilização de mecanismos de credibilidade e reputação são uma mais-valia para os mercado de comércio electrónico.

Adaptive learning in agents behaviour: a framework for electricity markets simulation

Electricity markets are complex environments with very particular characteristics. A critical issue regarding these specific characteristics concerns the constant changes they are subject to. This is a result of the electricity markets’ restructuring, which was performed so that the competitiveness could be increased, but it also had exponential implications in the increase of the complexity and unpredictability in those markets scope. The constant growth in markets unpredictability resulted in an amplified need for market intervenient entities in foreseeing market behaviour. The need for understanding the market mechanisms and how the involved players’ interaction affects the outcomes of the markets, contributed to the growth of usage of simulation tools. Multi-agent based software is particularly well fitted to analyze dynamic and adaptive systems with complex interactions among its constituents, such as electricity markets. This dissertation presents ALBidS – Adaptive Learning strategic Bidding System, a multiagent system created to provide decision support to market negotiating players. This system is integrated with the MASCEM electricity market simulator, so that its advantage in supporting a market player can be tested using cases based on real markets’ data. ALBidS considers several different methodologies based on very distinct approaches, to provide alternative suggestions of which are the best actions for the supported player to perform. The approach chosen as the players’ actual action is selected by the employment of reinforcement learning algorithms, which for each different situation, simulation circumstances and context, decides which proposed action is the one with higher possibility of achieving the most success. Some of the considered approaches are supported by a mechanism that creates profiles of competitor players. These profiles are built accordingly to their observed past actions and reactions when faced with specific situations, such as success and failure. The system’s context awareness and simulation circumstances analysis, both in terms of results performance and execution time adaptation, are complementary mechanisms, which endow ALBidS with further adaptation and learning capabilities.

Negotiation platform for personalised advertising

This paper describes a multi-agent brokerage platform for near real time advertising personalisation organised in three layers: user interface, agency and marketplace. The personalisation is based on the classification of viewer profiles and advertisements (ads). The goal is to provide viewers with a personalised advertising alignment during programme intervals. The enterprise interface agents upload new ads and negotiation profiles to producer agents and new user and negotiation profiles to distributor agents. The agency layer is composed of agents that represent ad producer and media distributor enterprises as well as the market regulator. The enterprise agents offer data upload and download operations as Web Services and register the specification of these interfaces at an UDDI registry for future discovery. The market agent supports the registration and deregistration of enterprise delegate agents at the marketplace. This paper addresses the marketplace layer, an agent-based negotiation platform per se, where delegates of the relevant advertising agencies and programme distributors negotiate to create the advertising alignment that best fits a viewer profile and the advertising campaigns available. The whole brokerage platform is being developed in JADE, a multi-agent development platform. The delegate agents download the negotiation profile and upload the negotiation results from / to the corresponding enterprise agent. In the meanwhile, they negotiate using the Iterated Contract Net protocol. All tools and technologies used are open source.

A proposal for media component brokerage

This paper describes how MPEG-4 object based video (obv) can be used to allow selected objects to be inserted into the play-out stream to a specific user based on a profile derived for that user. The application scenario described here is for personalized product placement, and considers the value of this application in the current and evolving commercial media distribution market given the huge emphasis media distributors are currently placing on targeted advertising. This level of application of video content requires a sophisticated content description and metadata system (e.g., MPEG-7). The scenario considers the requirement for global libraries to provide the objects to be inserted into the streams. The paper then considers the commercial trading of objects between the libraries, video service providers, advertising agencies and other parties involved in the service. Consequently a brokerage of video objects is proposed based on negotiation and trading using intelligent agents representing the various parties. The proposed Media Brokerage Platform is a multi-agent system structured in two layers. In the top layer, there is a collection of coarse grain agents representing the real world players – the providers and deliverers of media contents and the market regulator profiler – and, in the bottom layer, there is a set of finer grain agents constituting the marketplace – the delegate agents and the market agent. For knowledge representation (domain, strategic and negotiation protocols) we propose a Semantic Web approach based on ontologies. The media components contents should be represented in MPEG-7 and the metadata describing the objects to be traded should follow a specific ontology. The top layer content providers and deliverers are modelled by intelligent autonomous agents that express their will to transact – buy or sell – media components by registering at a service registry. The market regulator profiler creates, according to the selected profile, a market agent, which, in turn, checks the service registry for potential trading partners for a given component and invites them for the marketplace. The subsequent negotiation and actual transaction is performed by delegate agents in accordance with their profiles and the predefined rules of the market.

Parallel real-time support for distributed adaptive embedded applications

Real-time embedded applications require to process large amounts of data within small time windows. Parallelize and distribute workloads adaptively is suitable solution for computational demanding applications. The purpose of the Parallel Real-Time Framework for distributed adaptive embedded systems is to guarantee local and distributed processing of real-time applications. This work identifies some promising research directions for parallel/distributed real-time embedded applications.

Revisiting transactions in Ada

Classical lock-based concurrency control does not scale with current and foreseen multi-core architectures, opening space for alternative concurrency control mechanisms. The concept of transactions executing concurrently in isolation with an underlying mechanism maintaining a consistent system state was already explored in fault-tolerant and distributed systems, and is currently being explored by transactional memory, this time being used to manage concurrent memory access. In this paper we discuss the use of Software Transactional Memory (STM), and how Ada can provide support for it. Furthermore, we draft a general programming interface to transactional memory, supporting future implementations of STM oriented to real-time systems.

Zigbee over tinyos: Implementation and experimental challenges

The IEEE 802.15.4/Zigbee protocols are a promising technology for Wireless Sensor Networks (WSNs). This paper shares our experience on the implementation and use of these protocols and related technologies in WSNs. We present problems and challenges we have been facing in implementing an IEEE 802.15.4/ZigBee stack for TinyOS in a two-folded perspective: IEEE 802.15.4/ZigBee protocol standards limitations (ambiguities and open issues) and technological limitations (hardware and software). Concerning the former, we address challenges for building scalable and synchronized multi-cluster ZigBee networks, providing a trade-off between timeliness and energy-efficiency. On the latter issue, we highlight implementation problems in terms of hardware, timer handling and operating system limitations. We also report on our experience from experimental test-beds, namely on physical layer aspects such as coexistence problems between IEEE 802.15.4 and 802.11 radio channels.

Capacity sharing and stealing in dynamic server-based real-time systems

This paper proposes a dynamic scheduler that supports the coexistence of guaranteed and non-guaranteed bandwidth servers to efficiently handle soft-tasks’ overloads by making additional capacity available from two sources: (i) residual capacity allocated but unused when jobs complete in less than their budgeted execution time; (ii) stealing capacity from inactive non-isolated servers used to schedule best-effort jobs. The effectiveness of the proposed approach in reducing the mean tardiness of periodic jobs is demonstrated through extensive simulations. The achieved results become even more significant when tasks’ computation times have a large variance.

Shared resources and precedence constraints with capacity sharing and stealing

This paper proposes a new strategy to integrate shared resources and precedence constraints among real-time tasks, assuming no precise information on critical sections and computation times is available. The concept of bandwidth inheritance is combined with a greedy capacity sharing and stealing policy to efficiently exchange bandwidth among tasks, minimising the degree of deviation from the ideal system's behaviour caused by inter-application blocking. The proposed capacity exchange protocol (CXP) focus on exchanging extra capacities as early, and not necessarily as fairly, as possible. This loss of optimality is worth the reduced complexity as the protocol's behaviour nevertheless tends to be fair in the long run and outperforms other solutions in highly dynamic scenarios, as demonstrated by extensive simulations.

Time-bounded distributed QoS-aware service configuration in heterogeneous cooperative environments

The scarcity and diversity of resources among the devices of heterogeneous computing environments may affect their ability to perform services with specific Quality of Service constraints, particularly in dynamic distributed environments where the characteristics of the computational load cannot always be predicted in advance. Our work addresses this problem by allowing resource constrained devices to cooperate with more powerful neighbour nodes, opportunistically taking advantage of global distributed resources and processing power. Rather than assuming that the dynamic configuration of this cooperative service executes until it computes its optimal output, the paper proposes an anytime approach that has the ability to tradeoff deliberation time for the quality of the solution. Extensive simulations demonstrate that the proposed anytime algorithms are able to quickly find a good initial solution and effectively optimise the rate at which the quality of the current solution improves at each iteration, with an overhead that can be considered negligible.

Suporte à computação paralela e distribuída em Java: distribuição e execução de trabalho

Nos últimos anos começaram a ser vulgares os computadores dotados de multiprocessadores e multi-cores. De modo a aproveitar eficientemente as novas características desse hardware começaram a surgir ferramentas para facilitar o desenvolvimento de software paralelo, através de linguagens e frameworks, adaptadas a diferentes linguagens. Com a grande difusão de redes de alta velocidade, tal como Gigabit Ethernet e a última geração de redes Wi-Fi, abre-se a oportunidade de, além de paralelizar o processamento entre processadores e cores, poder em simultâneo paralelizá-lo entre máquinas diferentes. Ao modelo que permite paralelizar processamento localmente e em simultâneo distribuí-lo para máquinas que também têm capacidade de o paralelizar, chamou-se “modelo paralelo distribuído”. Nesta dissertação foram analisadas técnicas e ferramentas utilizadas para fazer programação paralela e o trabalho que está feito dentro da área de programação paralela e distribuída. Tendo estes dois factores em consideração foi proposta uma framework que tenta aplicar a simplicidade da programação paralela ao conceito paralelo distribuído. A proposta baseia-se na disponibilização de uma framework em Java com uma interface de programação simples, de fácil aprendizagem e legibilidade que, de forma transparente, é capaz de paralelizar e distribuir o processamento. Apesar de simples, existiu um esforço para a tornar configurável de forma a adaptar-se ao máximo de situações possível. Nesta dissertação serão exploradas especialmente as questões relativas à execução e distribuição de trabalho, e a forma como o código é enviado de forma automática pela rede, para outros nós cooperantes, evitando assim a instalação manual das aplicações em todos os nós da rede. Para confirmar a validade deste conceito e das ideias defendidas nesta dissertação foi implementada esta framework à qual se chamou DPF4j (Distributed Parallel Framework for JAVA) e foram feitos testes e retiradas métricas para verificar a existência de ganhos de performance em relação às soluções já existentes.

Plataforma de negociação de componentes multimédia

O objectivo da tese é demonstrar a adequação do paradigma dos mercados electrónicos baseados em agentes para transaccionar objectos multimédia em função do perfil dos espectadores. Esta dissertação descreve o projecto realizado no âmbito da plataforma de personalização de conteúdos em construção. O domínio de aplicação adoptado foi a personalização dos intervalos publicitários difundidos pelos distribuidores de conteúdos multimédia, i.e., pretende-se gerar em tempo útil o alinhamento de anúncios publicitários que melhor se adeqúe ao perfil de um espectador ou de um grupo de espectadores. O projecto focou-se no estudo e selecção das tecnologias de suporte, na concepção da arquitectura e no desenvolvimento de um protótipo que permitisse realizar diversas experiências nomeadamente com diferentes estratégias e tipos de mercado. A arquitectura proposta para a plataforma consiste num sistema multiagente organizado em três camadas que disponibiliza interfaces do tipo serviço Web com o exterior. A camada de topo é constituída por agentes de interface com o exterior. Na camada intermédia encontram-se os agentes autónomos que modelam as entidades produtoras e consumidoras de componentes multimédia assim como a entidade reguladora do mercado. Estes agentes registam-se num serviço de registo próprio onde especificam os componentes multimédia que pretendem negociar. Na camada inferior realiza-se o mercado que é constituído por agentes delegados dos agentes da camada superior. O lançamento do mercado é efectuado através de uma interface e consiste na escolha do tipo de mercado e no tipo de itens a negociar. Este projecto centrou-se na realização da camada do mercado e da parte da camada intermédia de apoio às actividades de negociação no mercado. A negociação é efectuada em relação ao preço da transmissão do anúncio no intervalo em preenchimento. Foram implementados diferentes perfis de negociação com tácticas, incrementos e limites de variação de preço distintos. Em termos de protocolos de negociação, adoptou-se uma variante do Iterated Contract Net – o Fixed Iterated Contract Net. O protótipo resultante foi testado e depurado com sucesso.

Plataforma de simulação em Repast Simphony para análise da divulgação de novas ideias em mercado

Modelação e simulação baseadas em agentes estão a ganhar cada vez mais importância e adeptos devido à sua flexibilidade e potencialidade em reproduzir comportamentos e estudar um sistema na perspetiva global ou das interações individuais. Neste trabalho, criou-se um sistema baseado em agentes e desenvolvido em Repast Simphony com o objectivo de analisar a difusão de um novo produto ou serviço através de uma rede de potenciais clientes, tentando compreender, assim, como ocorre e quanto tempo demora esta passagem de informação (inovação) com diversas topologias de rede, no contato direto entre pessoas. A simulação baseia-se no conceito da existencia de iniciadores, que são os primeiros consumidores a adotar um produto quando este chega ao mercado e os seguidores, que são os potenciais consumidores que, apesar de terem alguma predisposição para adotar um novo produto, normalmente só o fazem depois de terem sido sujeitos a algum tipo de influência. Com a aplicação criada, simularam-se diversas situações com a finalidade de obter e observar os resultados gerados a partir de definições iniciais diferentes. Com os resultados gerados pelas simulações foram criados gráficos representativos dos diversos cenários. A finalidade prática desta aplicação, poderá ser o seu uso em sala de aula para simulação de casos de estudo e utilização, em casos reais, como ferramenta de apoio à tomada de decisão, das empresas.

Personalised placement in networked video

Personalised video can be achieved by inserting objects into a video play-out according to the viewer's profile. Content which has been authored and produced for general broadcast can take on additional commercial service features when personalised either for individual viewers or for groups of viewers participating in entertainment, training, gaming or informational activities. Although several scenarios and use-cases can be envisaged, we are focussed on the application of personalised product placement. Targeted advertising and product placement are currently garnering intense interest in the commercial networked media industries. Personalisation of product placement is a relevant and timely service for next generation online marketing and advertising and for many other revenue generating interactive services. This paper discusses the acquisition and insertion of media objects into a TV video play-out stream where the objects are determined by the profile of the viewer. The technology is based on MPEG-4 standards using object based video and MPEG-7 for metadata. No proprietary technology or protocol is proposed. To trade the objects into the video play-out, a Software-as-a-Service brokerage platform based on intelligent agent technology is adopted. Agencies, libraries and service providers are represented in a commercial negotiation to facilitate the contractual selection and usage of objects to be inserted into the video play-out.