Big Data: applicazione di una λ-Architecture alla gestione batch di dati climatici

L’avanzamento tecnologico degli ultimi anni ha portato ad un aumento sostanziale dei dati generati giornalmente. L’analisi di queste ingenti quantità di dati si è rivelata essere troppo complessa per i sistemi tradizionali ed è stato pertanto necessario sviluppare nuovi approcci basati sul calcolo distribuito. I nuovi strumenti sviluppati in seguito a queste nuove necessità sono framework di calcolo parallelo basati sul paradigma del MapReduce, un modello di programmazione sviluppato da Google, e sistemi di gestione di basi di dati fluidi, in grado di trattare rapidamente grandi quantità di dati non strutturati. Lo scopo alla base di entrambi è quello di costruire sistemi scalabili orizzontalmente e utilizzabili su hardware di largo consumo. L’utilizzo di questi nuovi strumenti può comunque portare alla creazione di sistemi poco ottimizzati e di difficile gestione. Nathan Marz propone un’architettura a livelli che utilizza i nuovi strumenti in maniera congiunta per creare sistemi semplici e robusti: questa prende il nome di Lambda-Architecture. In questa tesi viene introdotto brevemente il concetto di Big Data e delle nuove problematiche ad esso associate, si procede poi ad illustrare i principi su cui si basano i nuovi strumenti di calcolo distribuito sviluppati per affrontarle. Viene poi definita l’Architettura Lambda di Nathan Marz, ponendo particolare attenzione su uno dei livelli che la compone, chiamato Batch Layer. I principi della Lambda Architecture sono infine applicati nella costruzione di un Batch Layer, utilizzato per l’analisi e la gestione di dati climatici con fini statistici.

Elaborazione di Big Data: un’applicazione dello Speed Layer di Lambda Architecture

I Big Data hanno forgiato nuove tecnologie che migliorano la qualità della vita utilizzando la combinazione di rappresentazioni eterogenee di dati in varie discipline. Occorre, quindi, un sistema realtime in grado di computare i dati in tempo reale. Tale sistema viene denominato speed layer, come si evince dal nome si è pensato a garantire che i nuovi dati siano restituiti dalle query funcions con la rapidità in cui essi arrivano. Il lavoro di tesi verte sulla realizzazione di un’architettura che si rifaccia allo Speed Layer della Lambda Architecture e che sia in grado di ricevere dati metereologici pubblicati su una coda MQTT, elaborarli in tempo reale e memorizzarli in un database per renderli disponibili ai Data Scientist. L’ambiente di programmazione utilizzato è JAVA, il progetto è stato installato sulla piattaforma Hortonworks che si basa sul framework Hadoop e sul sistema di computazione Storm, che permette di lavorare con flussi di dati illimitati, effettuando l’elaborazione in tempo reale. A differenza dei tradizionali approcci di stream-processing con reti di code e workers, Storm è fault-tolerance e scalabile. Gli sforzi dedicati al suo sviluppo da parte della Apache Software Foundation, il crescente utilizzo in ambito di produzione di importanti aziende, il supporto da parte delle compagnie di cloud hosting sono segnali che questa tecnologia prenderà sempre più piede come soluzione per la gestione di computazioni distribuite orientate agli eventi. Per poter memorizzare e analizzare queste moli di dati, che da sempre hanno costituito una problematica non superabile con i database tradizionali, è stato utilizzato un database non relazionale: HBase.

Molecular risk assessment of BIG 1-98 participants by expression profiling using RNA from archival tissue

The purpose of the work reported here is to test reliable molecular profiles using routinely processed formalin-fixed paraffin-embedded (FFPE) tissues from participants of the clinical trial BIG 1-98 with a median follow-up of 60 months.

MaxMAC: a Maximally Traffic-Adaptive MAC Protocol for Wireless Sensor Networks

Energy efficiency is a major concern in the design of Wireless Sensor Networks (WSNs) and their communication protocols. As the radio transceiver typically accounts for a major portion of a WSN node’s power consumption, researchers have proposed Energy-Efficient Medium Access (E2-MAC) protocols that switch the radio transceiver off for a major part of the time. Such protocols typically trade off energy-efficiency versus classical quality of service parameters (throughput, latency, reliability). Today’s E2-MAC protocols are able to deliver little amounts of data with a low energy footprint, but introduce severe restrictions with respect to throughput and latency. Regrettably, they yet fail to adapt to varying traffic load at run-time. This paper presents MaxMAC, an E2-MAC protocol that targets at achieving maximal adaptivity with respect to throughput and latency. By adaptively tuning essential parameters at run-time, the protocol reaches the throughput and latency of energy-unconstrained CSMA in high-traffic phases, while still exhibiting a high energy-efficiency in periods of sparse traffic. The paper compares the protocol against a selection of today’s E2-MAC protocols and evaluates its advantages and drawbacks.

Assessment of letrozole and tamoxifen alone and in sequence for postmenopausal women with steroid hormone receptor-positive breast cancer: the BIG 1-98 randomised clinical trial at 8·1 years median follow-up

Postmenopausal women with hormone receptor-positive early breast cancer have persistent, long-term risk of breast-cancer recurrence and death. Therefore, trials assessing endocrine therapies for this patient population need extended follow-up. We present an update of efficacy outcomes in the Breast International Group (BIG) 1-98 study at 8·1 years median follow-up.

Cognitive function in postmenopausal breast cancer patients one year after completing adjuvant endocrine therapy with letrozole and/or tamoxifen in the BIG 1-98 trial

Endocrine therapy for breast cancer may affect cognition. The purpose of this study was to examine whether cognitive function improves after cessation of adjuvant endocrine therapy. Change in cognitive function was assessed in 100 postmenopausal breast cancer patients in the BIG 1-98 trial, who were randomized to receive 5 years of adjuvant tamoxifen or letrozole alone or in sequence. Cognitive function was evaluated by computerized tests during the fifth year of trial treatment (Y5) and 1 year after treatment completion (Y6). Cognitive test scores were standardized according to age-specific norms and the change assessed using the Wilcoxon signed-rank test. There was significant improvement in the composite cognitive function score from Y5 to Y6 (median of change = 0.22, effect size = 0.53, P < 0.0001). This improvement was consistent in women taking either tamoxifen or letrozole at Y5 (P = 0.0006 and P = 0.0002, respectively). For postmenopausal patients who received either adjuvant letrozole or tamoxifen alone or in sequence, cognitive function improved after cessation of treatment.

Cognitive function in postmenopausal women receiving adjuvant letrozole or tamoxifen for breast cancer in the BIG 1-98 randomized trial

Cognitive function in postmenopausal women receiving letrozole or tamoxifen as adjuvant endocrine treatment was compared during the fifth year of treatment in a substudy of the BIG 1-98 trial. In BIG 1-98 patients were randomized to receive adjuvant (A) 5-years tamoxifen, (B) 5-years letrozole, (C) 2-years tamoxifen followed by 3-years letrozole, or (D) 2-years letrozole followed by 3-years tamoxifen. The primary comparison was the difference in composite score for patients taking letrozole (B+C; N=65) vs. tamoxifen (A+D; N=55). The patients taking letrozole had better overall cognitive function than those taking tamoxifen (difference in mean composite z-scores=0.28, P=0.04, 95% CI: 0.02, 0.54, Cohen's D=0.40 indicating small to moderate effect). In this substudy, breast cancer patients taking adjuvant letrozole during the fifth year of treatment had better cognitive function than those taking tamoxifen, suggesting aromatase inhibitors do not adversely impact cognition compared with tamoxifen.