Ensemble Stream Model for Data-Cleaning in Sensor Networks

Ensemble Stream Modeling and Data-cleaning are sensor information processing systems have different training and testing methods by which their goals are cross-validated. This research examines a mechanism, which seeks to extract novel patterns by generating ensembles from data. The main goal of label-less stream processing is to process the sensed events to eliminate the noises that are uncorrelated, and choose the most likely model without over fitting thus obtaining higher model confidence. Higher quality streams can be realized by combining many short streams into an ensemble which has the desired quality. The framework for the investigation is an existing data mining tool. First, to accommodate feature extraction such as a bush or natural forest-fire event we make an assumption of the burnt area (BA*), sensed ground truth as our target variable obtained from logs. Even though this is an obvious model choice the results are disappointing. The reasons for this are two: One, the histogram of fire activity is highly skewed. Two, the measured sensor parameters are highly correlated. Since using non descriptive features does not yield good results, we resort to temporal features. By doing so we carefully eliminate the averaging effects; the resulting histogram is more satisfactory and conceptual knowledge is learned from sensor streams. Second is the process of feature induction by cross-validating attributes with single or multi-target variables to minimize training error. We use F-measure score, which combines precision and accuracy to determine the false alarm rate of fire events. The multi-target data-cleaning trees use information purity of the target leaf-nodes to learn higher order features. A sensitive variance measure such as ƒ-test is performed during each node's split to select the best attribute. Ensemble stream model approach proved to improve when using complicated features with a simpler tree classifier. The ensemble framework for data-cleaning and the enhancements to quantify quality of fitness (30% spatial, 10% temporal, and 90% mobility reduction) of sensor led to the formation of streams for sensor-enabled applications. Which further motivates the novelty of stream quality labeling and its importance in solving vast amounts of real-time mobile streams generated today.

Progettazione e prototipazione di un sistema di Data Stream Processing basato su Apache Storm

Con l’avvento di Internet, il numero di utenti con un effettivo accesso alla rete e la possibilità di condividere informazioni con tutto il mondo è, negli anni, in continua crescita. Con l’introduzione dei social media, in aggiunta, gli utenti sono portati a trasferire sul web una grande quantità di informazioni personali mettendoli a disposizione delle varie aziende. Inoltre, il mondo dell’Internet Of Things, grazie al quale i sensori e le macchine risultano essere agenti sulla rete, permette di avere, per ogni utente, un numero maggiore di dispositivi, direttamente collegati tra loro e alla rete globale. Proporzionalmente a questi fattori anche la mole di dati che vengono generati e immagazzinati sta aumentando in maniera vertiginosa dando luogo alla nascita di un nuovo concetto: i Big Data. Nasce, di conseguenza, la necessità di far ricorso a nuovi strumenti che possano sfruttare la potenza di calcolo oggi offerta dalle architetture più complesse che comprendono, sotto un unico sistema, un insieme di host utili per l’analisi. A tal merito, una quantità di dati così vasta, routine se si parla di Big Data, aggiunta ad una velocità di trasmissione e trasferimento altrettanto alta, rende la memorizzazione dei dati malagevole, tanto meno se le tecniche di storage risultano essere i tradizionali DBMS. Una soluzione relazionale classica, infatti, permetterebbe di processare dati solo su richiesta, producendo ritardi, significative latenze e inevitabile perdita di frazioni di dataset. Occorre, perciò, far ricorso a nuove tecnologie e strumenti consoni a esigenze diverse dalla classica analisi batch. In particolare, è stato preso in considerazione, come argomento di questa tesi, il Data Stream Processing progettando e prototipando un sistema bastato su Apache Storm scegliendo, come campo di applicazione, la cyber security.

Fresh biomass of macroalgae collected at Hansneset, Kongsfjorden, Spitsbergen in 1996/1998

We surveyed macroalgae at Hansneset, Blomstrand in Kongsfjorden, Svalbard, down to 30 m depth between 1996 and 1998. In total, 62 species were identified: 16 Chlorophyta, 25 Phaeophyceae, and 21 Rhodophyta. The majority of species (53.5%) belonged to the Arctic cold-temperate group, followed in frequency by species distributed from the Arctic to the warm-temperate region (25.9%). Four endemic Arctic species (Laminaria solidungula, Acrosiphonia flagellata, A. incurva, and Urospora elongata) were found. Two species (Pogotrichum filiforme and Mikrosyphar polysiphoniae) were new to Svalbard. Chlorophyta, Phaeophyceae, and Rhodophyta extended from the eulittoral zone down to 11, 21, and >30 m depths with maximum biomasses at 1-5 m, 5-10 m, and 5-30 m depths, respectively. Annual and pseudoperennial species had highest biomasses in the upper 5 m, while perennials were distributed deeper. The highest biomass (8600 g/m**2 wet weight) at 5 m depth comprised mainly L. digitata, Saccorhiza dermatodea, Alaria esculenta, and Saccharina latissima. The biogeographic composition of macroalgae at Hansneset was rather similar to that of northeastern Greenland, but different from that of northern Norway, which has a higher proportion of temperate species. Climate warming and ship traffic may extend some of the distribution ranges of macroalgae from mainland Norway to Svalbard.

Stream drying drives microbial ammonia oxidation and first-flush nitrate export

Funded by Spanish National Research Council (CSIC). Grant Number: CGL2012-32747 MINECO. Grant Numbers: CGL2012-32747, CGL2011-30590-CO2-02 EU Commission. Grant Number: 244121 FP7

Semantic Stream Processing for IoT Devices in the Food Safety Domain

Postprint

Impact of the invasive macroalgae Asparagopsis armata - an ecotoxicological assessment

Os Oceanos representam o maior sistema de suporte de vida sendo a uma grande fonte de riqueza, oportunidade e abundância. No entanto, a humanidade tem levado este ecossistema ao seu limite com crescentes níveis de poluição e outras pressões antropogénicas. A introdução de espécies não-nativas é reconhecida como uma das maiores ameaças à biodiversidade e a segunda maior causa de extinção das espécies. A macroalga vermelha Asparagopsis armata é uma espécie invasora originária da Austrália e que atualmente apresenta uma ampla distribuição em todo o globo devido à sua estratégia oportunista, ausência de predadores e altas taxas de crescimento. Uma questão emergente está relacionada com a capacidade destas espécies invasoras produzirem grandes quantidades de metabolitos halogenados potencialmente tóxicos. Esta característica pode representar um perigo adicional para o equilíbrio ecológico da comunidade invadida. O presente trabalho teve como objetivo avaliar o potencial ecotoxicológico dos exsudatos de A. armata usando um gastrópode, Gibbula umbilicalis, como organismo modelo. A macroalga recolhida na costa de Peniche (Portugal) foi colocada em tanques no laboratório, durante 12 h, sendo depois o meio recolhido e filtrado para ensaios posteriores com os exsudatos da alga. No ensaio agudo, observou-se a mortalidade de G. umbilicalis que foi exposta a crescentes diluições do exsudato durante 96 h. Adicionalmente, os gastrópodes foram expostos a concentrações não letais do exsudato e analisou-se as respostas bioquímicas recorrendo a biomarcadores relacionados com destoxificação, defesas antioxidantes, danos oxidativos, danos neurotóxicos e metabolismo energético. Os resultados revelaram que os exsudatos de A. armata afetaram significativamente a sobrevivência dos organismos expostos com uma CL50 96h de 5.03% de exsudato da alga. A exposição aos exsudatos da alga também resultou em efeitos bioquímicos e metabólicos ao nível subcelular com resultados significativos na inibição da glutationa-S-transferase (GST), perda de integridade do ADN e níveis crescentes de atividade da lactato desidrogenase (LDH), dando uma indicação dos mecanismos de toxicidade desta alga marinha. Os níveis mais elevados de danos no ADN ocorreram quando a GST apresentou os níveis mais baixos de atividade e esta mesma atividade aumentou quando os danos no ADN diminuíram, em simultâneo com o aumento dos níveis de atividade da LDH, indicando que as necessidades energéticas aumentam devido à necessidade de sintetizar mais enzima. Conclui-se que a A. armata tem capacidade de libertar substâncias tóxicas que podem ter potenciais impactos no ambiente envolvente. Adicionalmente, as respostas bioquímicas estudadas em G. umbilicalis têm potencial para serem usadas como sinais de aviso na determinação dos efeitos provocados pelos compostos libertados por esta macroalga vermelha.