Analisi e applicazione dei processi di data mining al flusso informativo di sistemi real-time: Adattamento di un algoritmo di apprendimento automatico per la caratterizzazione e la ricerca di frequent patterns su macchine automatiche

La tesi da me svolta durante questi ultimi sei mesi è stata sviluppata presso i laboratori di ricerca di IMA S.p.a.. IMA (Industria Macchine Automatiche) è una azienda italiana che naque nel 1961 a Bologna ed oggi riveste il ruolo di leader mondiale nella produzione di macchine automatiche per il packaging di medicinali. Vorrei subito mettere in luce che in tale contesto applicativo l’utilizzo di algoritmi di data-mining risulta essere ostico a causa dei due ambienti in cui mi trovo. Il primo è quello delle macchine automatiche che operano con sistemi in tempo reale dato che non presentano a pieno le risorse di cui necessitano tali algoritmi. Il secondo è relativo alla produzione di farmaci in quanto vige una normativa internazionale molto restrittiva che impone il tracciamento di tutti gli eventi trascorsi durante l’impacchettamento ma che non permette la visione al mondo esterno di questi dati sensibili. Emerge immediatamente l’interesse nell’utilizzo di tali informazioni che potrebbero far affiorare degli eventi riconducibili a un problema della macchina o a un qualche tipo di errore al fine di migliorare l’efficacia e l’efficienza dei prodotti IMA. Lo sforzo maggiore per riuscire ad ideare una strategia applicativa è stata nella comprensione ed interpretazione dei messaggi relativi agli aspetti software. Essendo i dati molti, chiusi, e le macchine con scarse risorse per poter applicare a dovere gli algoritmi di data mining ho provveduto ad adottare diversi approcci in diversi contesti applicativi: • Sistema di identificazione automatica di errore al fine di aumentare di diminuire i tempi di correzione di essi. • Modifica di un algoritmo di letteratura per la caratterizzazione della macchina. La trattazione è così strutturata: • Capitolo 1: descrive la macchina automatica IMA Adapta della quale ci sono stati forniti i vari file di log. Essendo lei l’oggetto di analisi per questo lavoro verranno anche riportati quali sono i flussi di informazioni che essa genera. • Capitolo 2: verranno riportati degli screenshoot dei dati in mio possesso al fine di, tramite un’analisi esplorativa, interpretarli e produrre una formulazione di idee/proposte applicabili agli algoritmi di Machine Learning noti in letteratura. • Capitolo 3 (identificazione di errore): in questo capitolo vengono riportati i contesti applicativi da me progettati al fine di implementare una infrastruttura che possa soddisfare il requisito, titolo di questo capitolo. • Capitolo 4 (caratterizzazione della macchina): definirò l’algoritmo utilizzato, FP-Growth, e mostrerò le modifiche effettuate al fine di poterlo impiegare all’interno di macchine automatiche rispettando i limiti stringenti di: tempo di cpu, memoria, operazioni di I/O e soprattutto la non possibilità di aver a disposizione l’intero dataset ma solamente delle sottoporzioni. Inoltre verranno generati dei DataSet per il testing di dell’algoritmo FP-Growth modificato.

Sistemi per la rilevazione di frodi nel "Carrier Billing"

Il rilevamento e l’analisi delle frodi è una delle attività cruciali per un sistema di carrier billing. Una frode non rilevata prontamente può causare ingenti danni economici, mentre un falso positivo porta ad uno spreco di tempo da parte del team di Reporting and Control. In questa tesi viene studiato il dominio di un Payment Service Provider (PSP) operativo nel settore del carrier billing, andando ad approfondire il sistema di rilevamento delle frodi basato sull’analisi di serie storiche con la tecnica Holt-Winters. Verrà fornita una panoramica sull’architettura del sistema seguita da alcuni esempi in cui la scarsa qualità delle predizioni ha causato una perdita economica o temporale al PSP. Verranno quindi proposte numerose soluzioni per estendere e migliorare il sistema attuale, concentrandosi principalmente sulla pulizia dei dati da analizzare e sullo sfruttamento di informazioni implicitamente contenute nei dati. I miglioramenti apportati possono essere divisi in due categorie: quelli che necessitano della supervisione dell’essere umano e quelli che possono essere ottenuti in modo automatico da un algoritmo. Alcune di queste soluzioni verranno implementate e commentate confrontando le prestazioni del sistema prima e dopo le varie implementazioni. Alcune proposte verranno invece trattate solamente a livello teorico ma faranno parte degli sviluppi futuri. Infine si cercherà di trarre delle conclusioni, dimostrando come nel dominio del carrier billing sia possibile ottenere prestazioni soddisfacenti grazie ad un filtraggio supervisionato dei dati delle serie storiche, mentre i tentativi di filtraggio non supervisionato hanno fornito risultati contrastanti.

Analisi dei comportamenti degli utenti per lo sviluppo di un sistema di App Recommendation

Negli ultimi cinque anni lo sviluppo di applicazioni mobile ha visto un grandissimo incremento dovuto pricipalmente all’esplosione della diffusione di smartphone; questo fenomeno ha reso disponibile agli analisti una enorme quantità di dati sulle abitudini degli utenti. L’approccio centralizzato nella distribuzione delle applicazioni da parte dei grandi provider quali Apple, Google e Microsoft ha permesso a migliaia di sviluppatori di tutto il mondo di raggiungere con i loro prodotti gli utenti finali e diffondere l’utilizzo di applicativi installabili; le app infatti sono diventate in poco tempo fondamentali nella vita di tutti i giorni e in alcuni casi hanno sostituito funzioni primarie del telefono cellulare. Obiettivo principale di questo studio sarà inferire pattern comportamentali dall’analisi di una grossa mole di dati riguardanti l’utilizzo dello smartphone e delle app installabili da parte di un gruppo di utenti. Ipotizzando di avere a disposizione tutte le azioni che un determinato bacino di utenza effettua nella selezione delle applicazioni di loro interesse quando accedono al marketplace (luogo digitale da cui è possibile scaricare nuove applicazioni ed installarle) è possibile stimare, ovviamente con un certo margine di errore, dati sensibili dell’utente quali: Sesso, Età, Interessi e così via analizzandoli in relazione ad un modello costruito su dati di un campione di utenti ben noto. Costruiremo così un modello utilizzando dati di utenti ben noti di cui conosciamo i dettagli sensibili e poi, tramite avanzate tecniche di regressione e classificazione saremo in grado di definire se esiste o meno una correlazione tra le azioni effettuate su uno Smartphone e il profilo dell’utente. La seconda parte della tesi sarà incentrata sull'analisi di sistemi di raccomandazioni attualmente operativi e ci concentreremo sullo studio di possibili sviluppi sviluppi futuri di questi sistemi partendo dai risultati sperimentali ottenuti.

Big Data: applicazione di una λ-Architecture alla gestione batch di dati climatici

L’avanzamento tecnologico degli ultimi anni ha portato ad un aumento sostanziale dei dati generati giornalmente. L’analisi di queste ingenti quantità di dati si è rivelata essere troppo complessa per i sistemi tradizionali ed è stato pertanto necessario sviluppare nuovi approcci basati sul calcolo distribuito. I nuovi strumenti sviluppati in seguito a queste nuove necessità sono framework di calcolo parallelo basati sul paradigma del MapReduce, un modello di programmazione sviluppato da Google, e sistemi di gestione di basi di dati fluidi, in grado di trattare rapidamente grandi quantità di dati non strutturati. Lo scopo alla base di entrambi è quello di costruire sistemi scalabili orizzontalmente e utilizzabili su hardware di largo consumo. L’utilizzo di questi nuovi strumenti può comunque portare alla creazione di sistemi poco ottimizzati e di difficile gestione. Nathan Marz propone un’architettura a livelli che utilizza i nuovi strumenti in maniera congiunta per creare sistemi semplici e robusti: questa prende il nome di Lambda-Architecture. In questa tesi viene introdotto brevemente il concetto di Big Data e delle nuove problematiche ad esso associate, si procede poi ad illustrare i principi su cui si basano i nuovi strumenti di calcolo distribuito sviluppati per affrontarle. Viene poi definita l’Architettura Lambda di Nathan Marz, ponendo particolare attenzione su uno dei livelli che la compone, chiamato Batch Layer. I principi della Lambda Architecture sono infine applicati nella costruzione di un Batch Layer, utilizzato per l’analisi e la gestione di dati climatici con fini statistici.

Elaborazione di Big Data: un’applicazione dello Speed Layer di Lambda Architecture

I Big Data hanno forgiato nuove tecnologie che migliorano la qualità della vita utilizzando la combinazione di rappresentazioni eterogenee di dati in varie discipline. Occorre, quindi, un sistema realtime in grado di computare i dati in tempo reale. Tale sistema viene denominato speed layer, come si evince dal nome si è pensato a garantire che i nuovi dati siano restituiti dalle query funcions con la rapidità in cui essi arrivano. Il lavoro di tesi verte sulla realizzazione di un’architettura che si rifaccia allo Speed Layer della Lambda Architecture e che sia in grado di ricevere dati metereologici pubblicati su una coda MQTT, elaborarli in tempo reale e memorizzarli in un database per renderli disponibili ai Data Scientist. L’ambiente di programmazione utilizzato è JAVA, il progetto è stato installato sulla piattaforma Hortonworks che si basa sul framework Hadoop e sul sistema di computazione Storm, che permette di lavorare con flussi di dati illimitati, effettuando l’elaborazione in tempo reale. A differenza dei tradizionali approcci di stream-processing con reti di code e workers, Storm è fault-tolerance e scalabile. Gli sforzi dedicati al suo sviluppo da parte della Apache Software Foundation, il crescente utilizzo in ambito di produzione di importanti aziende, il supporto da parte delle compagnie di cloud hosting sono segnali che questa tecnologia prenderà sempre più piede come soluzione per la gestione di computazioni distribuite orientate agli eventi. Per poter memorizzare e analizzare queste moli di dati, che da sempre hanno costituito una problematica non superabile con i database tradizionali, è stato utilizzato un database non relazionale: HBase.

Exaggerated Pulmonary Hypertension During Mild Exercise in Chronic Mountain Sickness

Chronic mountain sickness (CMS) is an important public health problem and is characterized by exaggerated hypoxemia, erythrocytosis, and pulmonary hypertension. While pulmonary hypertension is a leading cause of morbidity and mortality in patients with CMS, it is relatively mild and its underlying mechanisms are not known. We speculated that during mild exercise associated with daily activities, pulmonary hypertension in CMS is much more pronounced.

High-altitude exposure in patients with cardiovascular disease: risk assessment and practical recommendations

Because of the development of modern transportation facilities, an ever rising number of individuals including many patients with preexisting diseases visit high-altitude locations (>2500 m). High-altitude exposure triggers a series of physiologic responses intended to maintain an adequate tissue oxygenation. Even in normal subjects, there is enormous interindividual variability in these responses that may be further amplified by environmental factors such as cold temperature, low humidity, exercise, and stress. These adaptive mechanisms, although generally tolerated by most healthy subjects, may induce major problems in patients with preexisting cardiovascular diseases in which the functional reserves are already limited. Preexposure assessment of patients helps to minimize risk and detect contraindications to high-altitude exposure. Moreover, the great variability and nonpredictability of the adaptive response should encourage physicians counseling such patients to adapt a cautionary approach. Here, we will briefly review how high-altitude adjustments may interfere with and aggravate/decompensate preexisting cardiovascular diseases. Moreover, we will provide practical recommendations on how to investigate and counsel patients with cardiovascular disease desiring to travel to high-altitude locations.

Chest pulse-wave velocity: a novel approach to assess arterial stiffness

Pulse-wave velocity (PWV) is considered as the gold-standard method to assess arterial stiffness, an independent predictor of cardiovascular morbidity and mortality. Current available devices that measure PWV need to be operated by skilled medical staff, thus, reducing the potential use of PWV in the ambulatory setting. In this paper, we present a new technique allowing continuous, unsupervised measurements of pulse transit times (PTT) in central arteries by means of a chest sensor. This technique relies on measuring the propagation time of pressure pulses from their genesis in the left ventricle to their later arrival at the cutaneous vasculature on the sternum. Combined thoracic impedance cardiography and phonocardiography are used to detect the opening of the aortic valve, from which a pre-ejection period (PEP) value is estimated. Multichannel reflective photoplethysmography at the sternum is used to detect the distal pulse-arrival time (PAT). A PTT value is then calculated as PTT = PAT - PEP. After optimizing the parameters of the chest PTT calculation algorithm on a nine-subject cohort, a prospective validation study involving 31 normo- and hypertensive subjects was performed. 1/chest PTT correlated very well with the COMPLIOR carotid to femoral PWV (r = 0.88, p < 10 (-9)). Finally, an empirical method to map chest PTT values onto chest PWV values is explored.

Pulmonary and systemic vascular dysfunction in young offspring of mothers with preeclampsia

Adverse events in utero may predispose to cardiovascular disease in adulthood. The underlying mechanisms are unknown. During preeclampsia, vasculotoxic factors are released into the maternal circulation by the diseased placenta. We speculated that these factors pass the placental barrier and leave a defect in the circulation of the offspring that predisposes to a pathological response later in life. The hypoxia associated with high-altitude exposure is expected to facilitate the detection of this problem.

New insights in the pathogenesis of high-altitude pulmonary edema

High-altitude pulmonary edema is a life-threatening condition occurring in predisposed but otherwise healthy individuals. It therefore permits the study of underlying mechanisms of pulmonary edema in the absence of confounding factors such as coexisting cardiovascular or pulmonary disease, and/or drug therapy. There is evidence that some degree of asymptomatic alveolar fluid accumulation may represent a normal phenomenon in healthy humans shortly after arrival at high altitude. Two fundamental mechanisms then determine whether this fluid accumulation is cleared or whether it progresses to HAPE: the quantity of liquid escaping from the pulmonary vasculature and the rate of its clearance by the alveolar respiratory epithelium. The former is directly related to the degree of hypoxia-induced pulmonary hypertension, whereas the latter is determined by the alveolar epithelial sodium transport. Here, we will review evidence that, in HAPE-prone subjects, impaired pulmonary endothelial and epithelial NO synthesis and/or bioavailability may represent a central underlying defect predisposing to exaggerated hypoxic pulmonary vasoconstriction and, in turn, capillary stress failure and alveolar fluid flooding. We will then demonstrate that exaggerated pulmonary hypertension, although possibly a conditio sine qua non, may not always be sufficient to induce HAPE and how defective alveolar fluid clearance may represent a second important pathogenic mechanism.

High altitude, a natural research laboratory for the study of cardiovascular physiology and pathophysiology

High altitude constitutes an exciting natural laboratory for medical research. Although initially, the aim of high-altitude research was to understand the adaption of the organism to hypoxia and find treatments for altitude-related diseases, during the past decade or so, the scope of this research has broadened considerably. Two important observations led the foundation for the broadening of the scientific scope of high-altitude research. First, high-altitude pulmonary edema represents a unique model that allows studying fundamental mechanisms of pulmonary hypertension and lung edema in humans. Second, the ambient hypoxia associated with high-altitude exposure facilitates the detection of pulmonary and systemic vascular dysfunction at an early stage. Here, we will review studies that, by capitalizing on these observations, have led to the description of novel mechanisms underpinning lung edema and pulmonary hypertension and to the first direct demonstration of fetal programming of vascular dysfunction in humans.

Lung fluid movements in hypoxia

Pulmonary edema is a problem of major clinical importance resulting from a persistent imbalance between forces that drive water into the airspace of the lung and the biological mechanisms for its removal. Here, we will first review the fundamental mechanisms implicated in the regulation of lung fluid homeostasis, namely, the Starling forces and the respiratory transepithelial sodium transport. Second, we will discuss the contribution of hypoxia to the perturbation of this fine balance and the role of such perturbations in the development of high-altitude pulmonary edema, a disease characterized by a very high morbidity and mortality. Finally, we will review possible interventions aimed to maintain/restore lung fluid homeostasis and their importance for the prevention/treatment of pulmonary edema.