Message-oriented Middleware per Routing Acceleration basato su eBPF/XDP in Contesto Serverless

Negli ultimi anni la necessità di processare e mantenere dati di qualsiasi natura è aumentata considerevolmente, in aggiunta a questo, l’obsolescenza del modello centralizzato ha contribuito alla sempre più frequente adozione del modello distribuito. Inevitabile dunque l’aumento di traffico che attraversa i nodi appartenenti alle infrastrutture, un traffico sempre più in aumento e che con l’avvento dell’IoT, dei Big Data, del Cloud Computing, del Serverless Computing etc., ha raggiunto picchi elevatissimi. Basti pensare che se prima i dati erano contenuti in loco, oggi non è assurdo pensare che l’archiviazione dei propri dati sia completamente affidata a terzi. Così come cresce, quindi, il traffico che attraversa i nodi facenti parte di un’infrastruttura, cresce la necessità che questo traffico sia filtrato e gestito dai nodi stessi. L’obbiettivo di questa tesi è quello di estendere un Message-oriented Middleware, in grado di garantire diverse qualità di servizio per la consegna di messaggi, in modo da accelerarne la fase di routing verso i nodi destinazione. L’estensione consiste nell’aggiungere al Message-oriented Middleware, precedentemente implementato, la funzione di intercettare i pacchetti in arrivo (che nel caso del middleware in questione possono rappresentare la propagazione di eventi) e redirigerli verso un nuovo nodo in base ad alcuni parametri. Il Message-oriented Middleware oggetto di tesi sarà considerato il message broker di un modello pub/sub, pertanto la redirezione deve avvenire con tempi molto bassi di latenza e, a tal proposito, deve avvenire senza l’uscita dal kernel space del sistema operativo. Per questo motivo si è deciso di utilizzare eBPF, in particolare il modulo XDP, che permette di scrivere programmi che eseguono all’interno del kernel.

APPLICATION INTEGRATION IN GLOBAL ENTERPRISE

Diplomityö tehtiin Partek Oyj Abp:lle antamaan IT-järjestelmistä vastuussa oleville ja niihin tukeutuville johtohenkilöille yleisnäkemys IT-sovellusintegroinnista sekä luomaan ohjeet integrointi projekteihin. Diplomityön alkuosassa esitellään liiketoiminnan prosessien pulmakohtia ja sovellusintegrointien liiketoiminnalle tuomia etuja yleisellä tasolla perustuen kirjallisuuteen. Yleisen tason etuja saadaan mm. nopeampien prosessien, paremman tiedon saatavuuden ja ihmisille tulevien uusien toimintatapojen kautta tulevista eduista. Työn seuraavassa osiossa esitellään mitä sovellusintegraatio tarkoittaa käytännössä, mitä erilaisia vaihtoehtoja integroinneille on ja mitä etuja ja haittoja erilaisista integrointitavoista on. Integrointitavoista viesti-pohjainen integrointitapa on noussut suosituimmaksi sen yksinkertaisuuden, luotettavuuden ja helpon liitettävyyden takia. Integrointisovelluksilla on mahdollista siirtää, muokata, prosessoida ja varastoida viestejä. Näiden ominaisuuksien avulla on mahdollista luoda reaaliaikaisia yhteistyöverkostoja. Tämä osio perustuu kirjallisuuteen , artikkeleihin ja haastatteluihin. Kolmas osio keskittyy integrointi projektin ominaispiirteisiin luoden toimintakartan integrointiprojektin kululle. Osiossa esitellään huomioitavat tekniset asiat, kustannukset ja edut sekä mallipohjia integroinnin dokumentointiin. Osio perustuu omiin kokemuksiin, haastatteluihin sekä kirjallisuuteen. Neljännessä osiossa esitellään Partekissa tehty integrointiprojekti. Integrointityö tehtiin ostajille tarkoitetun toimittajarekisterin (PPM) ja ERP-järjestelmän (Baan) välillä. Integrointiin käytettiin yhtä suosituinta integrointityökalua nimeltään IBM WebSphere MQ.Osio perustuu projektin dokumentointiin, omiin kokemuksiin ja kirjallisuuteen. Diplomityön päättää yhteenveto. Kolme pääetua voidaan saavuttaa integroinneilla ja toimintakartalla; tiedon luotettavuus paranee, toimintakartalla saadaan integroinneille malli ja luodaan riippumattomuutta tiettyihin avain henkilöihin tarkalla dokumentoinnilla ja toimintatapojen standardoinnilla.

Sanomavarastototeutus liiketoimintasovellusten liityntäratkaisussa

Tässä diplomityössä on tutkittu erilaisten sanomavarastoratkaisujen soveltuvuutta yrityksen liiketoimintasovellusten liityntäratkaisun sanomavarastototeutukseksi. Arvioitaviksi tuotteiksi valittiin kaksi kaupallista tuotetta (MQSeries Integrator v2 ja NEONtrack). Lisäksi työn osana toteutettiin UPM-Kymmene Oy:n sanomavarastopilotti, jonka arviointi ja testaus suoritettiin kaupallisten tuotteiden tavoin. Kaikkien arvioitujen tuotteiden toiminta perustuu asynkroniseen sanomien välitykseen sanomajonoja hyödyntäen. Työn teoriaosassa tutkittiin liiketoimintasovellusten liityntäratkaisuja, sovellusten liitettävyyttä, yleistä tietovarastotekniikkaa ja arvioitujen tuotteiden toimintaa sekä arkkitehtuuria. Käytännön osuus sisälsi sanomavarastopilotin rakentamisen, arvioitujen tuotteiden asennukset/konfiguroinnit ja tuotteiden arvioinnin sekä testauksen. Kokonaisuuden kannalta sanomavarastopilotti osoittautui parhaaksi vaihtoehdoksi. Sanomavarastopilotin toteutuksessa käytettyjen teknologioiden yleisyys UPM-Kymmene Oy:ssä tulee takaamaan tuotteen soveltuvuuden olemassa oleviin järjestelmiin sekä mahdollisuudet jatkokehitykseen.

Effect of self-monitoring and national culture on follower perceptions of personal charisma and charismatic message

In this paper, a theory of charismatic relationships is examined with reference to the follower's personal characteristics. It is argued that a leader's charismatic message and personal charisma occupy different roles for individuals who vary in national culture and level of self-monitoring. In an empirical test of the theory, 387 undergraduates of Chinese and Australian cultural backgrounds completed self-monitoring and charismatic leadership instruments. High self-monitors placed more importance on personal charisma than the charismatic message. Chinese participants relied more than the Australians on the charismatic message, although this preference depended on self-monitoring orientation. These results indicate the influence of both individual-and cultural-level variables on leader-member relationships, and the need to consider these effects in future developments of a theory of charismatic leadership.

Investigation of the relationship between protein, message and inducer concentrations in recombinant E-coli cells

Chloramphenicol acetyl transferase (CAT) protein and mRNA levels in E. coli were determined following induction of a tac::cat construct by isopropyl-beta-thiogalactopyranoside (IPTG). High cat mRNA levels did not directly reflect CAT protein levels, in either shakeflask experiments or fermentations. Furthermore, concentrations of IPTG resulting in the highest levels of expression of cat mRNA, were different to those resulting in highest levels of CAT protein. The data suggest that high transcriptional activities lead to limitations at the translational level.

Multi-threading and message communication in Qu-Prolog

This paper presents the multi-threading and internet message communication capabilities of Qu-Prolog. Message addresses are symbolic and the communications package provides high-level support that completely hides details of IP addresses and port numbers as well as the underlying TCP/IP transport layer. The combination of the multi-threads and the high level inter-thread message communications provide simple, powerful support for implementing internet distributed intelligent applications.

Learning techniques for automatic email message tagging

A organização automática de mensagens de correio electrónico é um desafio actual na área da aprendizagem automática. O número excessivo de mensagens afecta cada vez mais utilizadores, especialmente os que usam o correio electrónico como ferramenta de comunicação e trabalho. Esta tese aborda o problema da organização automática de mensagens de correio electrónico propondo uma solução que tem como objectivo a etiquetagem automática de mensagens. A etiquetagem automática é feita com recurso às pastas de correio electrónico anteriormente criadas pelos utilizadores, tratando-as como etiquetas, e à sugestão de múltiplas etiquetas para cada mensagem (top-N). São estudadas várias técnicas de aprendizagem e os vários campos que compõe uma mensagem de correio electrónico são analisados de forma a determinar a sua adequação como elementos de classificação. O foco deste trabalho recai sobre os campos textuais (o assunto e o corpo das mensagens), estudando-se diferentes formas de representação, selecção de características e algoritmos de classificação. É ainda efectuada a avaliação dos campos de participantes através de algoritmos de classificação que os representam usando o modelo vectorial ou como um grafo. Os vários campos são combinados para classificação utilizando a técnica de combinação de classificadores Votação por Maioria. Os testes são efectuados com um subconjunto de mensagens de correio electrónico da Enron e um conjunto de dados privados disponibilizados pelo Institute for Systems and Technologies of Information, Control and Communication (INSTICC). Estes conjuntos são analisados de forma a perceber as características dos dados. A avaliação do sistema é realizada através da percentagem de acerto dos classificadores. Os resultados obtidos apresentam melhorias significativas em comparação com os trabalhos relacionados.

Sistemas de informação: message integration bus

O trabalho apresentado por este documento aborda os problemas que advêm da necessidade de integração de aplicações, desenvolvidas em diferentes instantes no tempo, por diferentes equipas de trabalho, que para enriquecer os processos de negócio necessitam de comunicar entre si. A integração das aplicações tem de ser feita de forma opaca para estas, sendo disponibilizada por uma peça de software genérica, robusta e sem custos para as equipas desenvolvimento, na altura da integração. Esta integração tem de permitir que as aplicações comuniquem utilizando os protocolos que desejarem. Este trabalho propõe um middleware orientado a mensagens como solução para o problema identificado. A solução apresentada por este trabalho disponibiliza a comunicação entre aplicações que utilizam diferentes protocolos, permite ainda o desacoplamento temporal, espacial e de sincronismo na comunicação das aplicações. A implementação da solução tem base num sistema publish/subscribe orientado ao conteúdo e tem de lidar com as maiores exigências computacionais que este tipo de sistema acarta, sendo que a utilização deste se justifica com o enriquecimento da semântica de subscrição de eventos. Esta implementação utiliza uma arquitectura semi-distribuída, com o objectivo de aumentar a escalabilidade do sistema. A utilização da arquitectura semi-distribuída implica que a implementação da solução tem de lidar com o encaminhamento de eventos e divulgação das subscrições, pelos vários servidores de eventos. A implementação da solução disponibiliza garantias de persistência, processamento transaccional e tolerância a falhas, assim como transformação de eventos entre os diversos protocolos. A extensibilidade da solução é conseguida à custa de um sistema de pluggins que permite a adição de suporte a novos protocolos de comunicação. Os protocolos suportados pela implementação final do trabalho são RestMS e TCP.

Broker colaborativo: gestão de recursos energéticos distribuídos

Neste trabalho é apresentado um Sistema de Informação (SI) cujo objetivo é contribuir para a colaboração entre VE possibilitando a sua entrada no mercado de energia elétrica, permiitindo deste modo que o proprietário do VE seja compensado. Esta compensação incidiria em medidas de minimização do investimento inicial na compra do VE e na criação de um modelo de armazenamento de energia mais sustentável. A este SI chamou-se de Broker Colaborativo ou simplesmente Broker e deverá permitir ao proprietário do VE criar um perfil com a sua informação pessoal, com informação do VE que possui e com informação relativa à colaboração que pretende efetuar, ou seja, locais e percentagem da bateria que pretende usar na colaboração. Para assegurar a entrada no mercado de energia torna-se necessário agrupar e filtrar um número significativo de VE, sendo essa responsabilidade atribuída ao Broker. Sendo a otimização do consumo de energia um fator importante neste trabalho, a implementação do Broker foi efetuada sobre o paradigma de Cloud Computing (será utilizada a designação abreviada de Cloud) onde os recursos energéticos são partilhados. A Clod possuiu uma grande capacidade de escalonamento onde se poderão criar os recursos à medida da necessidade. A utilização da Cloud permite que as especificações iniciais das máquinas virtuais, necessárias para alojar a base de dados ou os ficheiros do Broker, possam ser configuradas conforme o número de utilizadores do sistema. Assim, não se desperdiçam recursos que não seriam utilizados. Devido a estes aspetos dinâmicos, que estão intrínsecos ao fator humano, o Broker foi implementado utilizando um módulo de integração com a rede social Facebook esperando-se desta forma, que a colaboração entre diferentes VE seja difundida através dos amigos e conhecidos de cada utilizador da colaboração. Sendo assim, este trabalho pretende criar um sistema de informação onde os proprietários de VE possam juntar-se e criar uma colaboração possibilitando a sua entrada no mercado da energia elétrica. Essa colaboração será alargada recorrendo a uma rede social e compensada através de créditos. É abordado o tema das plataformas de Cloud como uma plataforma sustentável e vantajosa para o desenvolvimento de sistemas com grande potencial de crescimento.

Categorical data clustering using a minimum message length criterion

Research on cluster analysis for categorical data continues to develop, new clustering algorithms being proposed. However, in this context, the determination of the number of clusters is rarely addressed. We propose a new approach in which clustering and the estimation of the number of clusters is done simultaneously for categorical data. We assume that the data originate from a finite mixture of multinomial distributions and use a minimum message length criterion (MML) to select the number of clusters (Wallace and Bolton, 1986). For this purpose, we implement an EM-type algorithm (Silvestre et al., 2008) based on the (Figueiredo and Jain, 2002) approach. The novelty of the approach rests on the integration of the model estimation and selection of the number of clusters in a single algorithm, rather than selecting this number based on a set of pre-estimated candidate models. The performance of our approach is compared with the use of Bayesian Information Criterion (BIC) (Schwarz, 1978) and Integrated Completed Likelihood (ICL) (Biernacki et al., 2000) using synthetic data. The obtained results illustrate the capacity of the proposed algorithm to attain the true number of cluster while outperforming BIC and ICL since it is faster, which is especially relevant when dealing with large data sets.

The influence of inter-domain mobility on message stream response time in wired/wireless PROFIBUS-based networks

In previous works we have proposed a hybrid wired/wireless PROFIBUS solution where the interconnection between the heterogeneous media was accomplished through bridge-like devices with wireless stations being able to move between different wireless cells. Additionally, we had also proposed a worst-case timing analysis assuming that stations were stationary. In this paper we advance these previous works by proposing a worst-case timing analysis for the system’s message streams considering the effect of inter-cell mobility.

Evaluating P-NET message's response time with fixed priority queuing at application process level

P-NET is a multi-master fieldbus standard based on a virtual token passing scheme. In P-NET each master is allowed to transmit only one message per token visit. In the worst-case, the communication response time can be derived considering that, in each token cycle, all stations use the token to transmit a message. In this paper, we define a more sophisticated P-NET model, which considers the actual token utilisation. We then analyse the possibility of implementing a local priority-based scheduling policy to improve the real-time behaviour of P-NET.

From task scheduling in single processor environments to message scheduling in a PROFIBUS fieldbus network

In this paper we survey the most relevant results for the prioritybased schedulability analysis of real-time tasks, both for the fixed and dynamic priority assignment schemes. We give emphasis to the worst-case response time analysis in non-preemptive contexts, which is fundamental for the communication schedulability analysis. We define an architecture to support priority-based scheduling of messages at the application process level of a specific fieldbus communication network, the PROFIBUS. The proposed architecture improves the worst-case messages’ response time, overcoming the limitation of the first-come-first-served (FCFS) PROFIBUS queue implementations.