Adaptive Real-time Anomaly-based Intrusion Detection using Data Mining and Machine Learning Techniques

Die zunehmende Vernetzung der Informations- und Kommunikationssysteme führt zu einer weiteren Erhöhung der Komplexität und damit auch zu einer weiteren Zunahme von Sicherheitslücken. Klassische Schutzmechanismen wie Firewall-Systeme und Anti-Malware-Lösungen bieten schon lange keinen Schutz mehr vor Eindringversuchen in IT-Infrastrukturen. Als ein sehr wirkungsvolles Instrument zum Schutz gegenüber Cyber-Attacken haben sich hierbei die Intrusion Detection Systeme (IDS) etabliert. Solche Systeme sammeln und analysieren Informationen von Netzwerkkomponenten und Rechnern, um ungewöhnliches Verhalten und Sicherheitsverletzungen automatisiert festzustellen. Während signatur-basierte Ansätze nur bereits bekannte Angriffsmuster detektieren können, sind anomalie-basierte IDS auch in der Lage, neue bisher unbekannte Angriffe (Zero-Day-Attacks) frühzeitig zu erkennen. Das Kernproblem von Intrusion Detection Systeme besteht jedoch in der optimalen Verarbeitung der gewaltigen Netzdaten und der Entwicklung eines in Echtzeit arbeitenden adaptiven Erkennungsmodells. Um diese Herausforderungen lösen zu können, stellt diese Dissertation ein Framework bereit, das aus zwei Hauptteilen besteht. Der erste Teil, OptiFilter genannt, verwendet ein dynamisches "Queuing Concept", um die zahlreich anfallenden Netzdaten weiter zu verarbeiten, baut fortlaufend Netzverbindungen auf, und exportiert strukturierte Input-Daten für das IDS. Den zweiten Teil stellt ein adaptiver Klassifikator dar, der ein Klassifikator-Modell basierend auf "Enhanced Growing Hierarchical Self Organizing Map" (EGHSOM), ein Modell für Netzwerk Normalzustand (NNB) und ein "Update Model" umfasst. In dem OptiFilter werden Tcpdump und SNMP traps benutzt, um die Netzwerkpakete und Hostereignisse fortlaufend zu aggregieren. Diese aggregierten Netzwerkpackete und Hostereignisse werden weiter analysiert und in Verbindungsvektoren umgewandelt. Zur Verbesserung der Erkennungsrate des adaptiven Klassifikators wird das künstliche neuronale Netz GHSOM intensiv untersucht und wesentlich weiterentwickelt. In dieser Dissertation werden unterschiedliche Ansätze vorgeschlagen und diskutiert. So wird eine classification-confidence margin threshold definiert, um die unbekannten bösartigen Verbindungen aufzudecken, die Stabilität der Wachstumstopologie durch neuartige Ansätze für die Initialisierung der Gewichtvektoren und durch die Stärkung der Winner Neuronen erhöht, und ein selbst-adaptives Verfahren eingeführt, um das Modell ständig aktualisieren zu können. Darüber hinaus besteht die Hauptaufgabe des NNB-Modells in der weiteren Untersuchung der erkannten unbekannten Verbindungen von der EGHSOM und der Überprüfung, ob sie normal sind. Jedoch, ändern sich die Netzverkehrsdaten wegen des Concept drif Phänomens ständig, was in Echtzeit zur Erzeugung nicht stationärer Netzdaten führt. Dieses Phänomen wird von dem Update-Modell besser kontrolliert. Das EGHSOM-Modell kann die neuen Anomalien effektiv erkennen und das NNB-Model passt die Änderungen in Netzdaten optimal an. Bei den experimentellen Untersuchungen hat das Framework erfolgversprechende Ergebnisse gezeigt. Im ersten Experiment wurde das Framework in Offline-Betriebsmodus evaluiert. Der OptiFilter wurde mit offline-, synthetischen- und realistischen Daten ausgewertet. Der adaptive Klassifikator wurde mit dem 10-Fold Cross Validation Verfahren evaluiert, um dessen Genauigkeit abzuschätzen. Im zweiten Experiment wurde das Framework auf einer 1 bis 10 GB Netzwerkstrecke installiert und im Online-Betriebsmodus in Echtzeit ausgewertet. Der OptiFilter hat erfolgreich die gewaltige Menge von Netzdaten in die strukturierten Verbindungsvektoren umgewandelt und der adaptive Klassifikator hat sie präzise klassifiziert. Die Vergleichsstudie zwischen dem entwickelten Framework und anderen bekannten IDS-Ansätzen zeigt, dass der vorgeschlagene IDSFramework alle anderen Ansätze übertrifft. Dies lässt sich auf folgende Kernpunkte zurückführen: Bearbeitung der gesammelten Netzdaten, Erreichung der besten Performanz (wie die Gesamtgenauigkeit), Detektieren unbekannter Verbindungen und Entwicklung des in Echtzeit arbeitenden Erkennungsmodells von Eindringversuchen.

Workforce Issues in the Greater Boston Health Care Industry: Implications for Work and Family

Interviews with more than 40 leaders in the Boston area health care industry have identified a range of broadly-felt critical problems. This document synthesizes these problems and places them in the context of work and family issues implicit in the organization of health care workplaces. It concludes with questions about possible ways to address such issues. The defining circumstance for the health care industry nationally as well as regionally at present is an extraordinary reorganization, not yet fully negotiated, in the provision and financing of health care. Hoped-for controls on increased costs of medical care – specifically the widespread replacement of indemnity insurance by market-based managed care and business models of operation--have fallen far short of their promise. Pressures to limit expenditures have produced dispiriting conditions for the entire healthcare workforce, from technicians and aides to nurses and physicians. Under such strains, relations between managers and workers providing care are uneasy, ranging from determined efforts to maintain respectful cooperation to adversarial negotiation. Taken together, the interviews identify five key issues affecting a broad cross-section of occupational groups, albeit in different ways: Staffing shortages of various kinds throughout the health care workforce create problems for managers and workers and also for the quality of patient care. Long work hours and inflexible schedules place pressure on virtually every part of the healthcare workforce, including physicians. Degraded and unsupportive working conditions, often the result of workplace "deskilling" and "speed up," undercut previous modes of clinical practice. Lack of opportunities for training and advancement exacerbate workforce problems in an industry where occupational categories and terms of work are in a constant state of flux. Professional and employee voices are insufficiently heard in conditions of rapid institutional reorganization and consolidation. Interviewees describe multiple impacts of these issues--on the operation of health care workplaces, on the well being of the health care workforce, and on the quality of patient care. Also apparent in the interviews, but not clearly named and defined, is the impact of these issues on the ability of workers to attend well to the needs of their families--and the reciprocal impact of workers' family tensions on workplace performance. In other words, the same things that affect patient care also affect families, and vice versa. Some workers describe feeling both guilty about raising their own family issues when their patients' needs are at stake, and resentful about the exploitation of these feelings by administrators making workplace policy. The different institutions making up the health care system have responded to their most pressing issues with a variety of specific stratagems but few that address the complexities connecting relations between work and family. The MIT Workplace Center proposes a collaborative exploration of next steps to probe these complications and to identify possible locations within the health care system for workplace experimentation with outcomes benefiting all parties.

Building the 21st Century Aerospace Workforce

Begin with a call to action. Present evidence on the dimensions of an employment crisis in the Aerospace Industry. Understand the links to issues of instability and lean. Focus dialogue on high leverage, mutual gains options for all stakeholders in the industry. Identify specific next steps. Under the auspices of LAI. In other forums as appropriate.

TU Graz: Course: 707.000 Web Science and Web Technology: Lecture 10: Text Mining

This class introduces basics of web mining and information retrieval including, for example, an introduction to the Vector Space Model and Text Mining. Guest Lecturer: Dr. Michael Granitzer Optional: Modeling the Internet and the Web: Probabilistic Methods and Algorithms, Pierre Baldi, Paolo Frasconi, Padhraic Smyth, Wiley, 2003 (Chapter 4, Text Analysis)

Useful academic references for data mining and usage statistics

Relates to the following software for analysing Blackboard stats http://www.edshare.soton.ac.uk/11134/ Is supporting material for the following podcast: http://youtu.be/yHxCzjiYBoU

Mining Events from Multimedia streams, Jon Hare

peaker(s): Jon Hare Organiser: Time: 25/06/2014 11:00-11:50 Location: B32/3077 Abstract The aggregation of items from social media streams, such as Flickr photos and Twitter tweets, into meaningful groups can help users contextualise and effectively consume the torrents of information on the social web. This task is challenging due to the scale of the streams and the inherently multimodal nature of the information being contextualised. In this talk I'll describe some of our recent work on trend and event detection in multimedia data streams. We focus on scalable streaming algorithms that can be applied to multimedia data streams from the web and the social web. The talk will cover two particular aspects of our work: mining Twitter for trending images by detecting near duplicates; and detecting social events in multimedia data with streaming clustering algorithms. I'll will describe in detail our techniques, and explore open questions and areas of potential future work, in both these tasks.

The influence of human capital of the workforce in the adoption of high-performance work systems : the case of Portugal and Spain. 'La influencia del capital humano de la mano de obra en la adopción de sistemas de trabajo de alto rendimiento: el caso de Portugal y España'.

Resumen tomado de la publicación

Distribution of diatom communities in agricultural and mining watersheds of Southwest Spain

Els sistemes aquàtics continental representen un dels ecosistemes més amenaçats a nivell mundial, com a conseqüència de l'ús intensiu quel'home en fa. La conca del Guadiana no està lliure d'aquestes pressions antròpiques. Les grans infraestructures hidràuliques i l'escorrentia provinent de l'agricultura són només exemples dels greus problemes que pateix la conca. Aquests problemes es fan especialment palesos en la zona alta de la conca, on l'escassetat d'aigua no fa més que agreujar el problema.Tot això ha generat la necessitat urgent d'avaluar l'estat de conservació d'aquests ecosistemes aquàtics continentals, poder determinar la mesura i la magnitud de les pertorbacions que els estan afectant i així proposar mesures de gestió destinades a restaurar-ne la integritat ecològica. El principal objectiu que presenta aquest és determinar els patrons de distribució de les comunitats de algals (amb una menció especial en el grup de les diatomees) i de les seves causes en la conca del Guadiana i associades, amb la finalitat d'establir i proposar eines que permetin avaluar l'estat de conservació de les masses d'aigua d'aquestes conques.

Analytical methodologies based on X-Ray Fluorescence Spectrometry (XRF) and Inductively Couple Plasma Spectroscopy (ICP) for the assessment of metal dispersal around mining environments

La investigació que es presenta en aquesta tesi es centra en l'aplicació i millora de metodologies analítiques existents i el desenvolupament de nous procediments que poden ser utilitzats per a l'estudi dels efectes ambientals de la dispersió dels metalls entorn a les zones mineres abandonades. En primer lloc, es van aplicar diferents procediments d'extracció simple i seqüencial per a estudiar la mobilitat, perillositat i bio-disponibilitat dels metalls continguts en residus miners de característiques diferents. Per altra banda, per a estudiar les fonts potencials de Pb en la vegetació de les zones mineres d'estudi, una metodologia basada en la utilització de les relacions isotòpiques de Pb determinades mitjançant ICP-MS va ser avaluada. Finalment, tenint en compte l'elevat nombre de mostres analitzades per a avaluar l'impacte de les activitats mineres, es va considerar apropiat el desenvolupament de mètodes analítics d'elevada productivitat. En aquest sentit la implementació d'estratègies quantitatives així com l'aplicació de les millores instrumentals en els equips de XRF han estat avaluades per a aconseguir resultats analítics fiables en l'anàlisi de plantes. A més, alguns paràmetres de qualitat com la precisió, l'exactitud i els límits de detecció han estat curosament determinats en les diverses configuracions de espectròmetres de XRF utilitzats en el decurs d'aquest treball (EDXRF, WDXRF i EDPXRF) per a establir la capacitat de la tècnica de XRF com a tècnica alternativa a les clàssiques comunament aplicades en la determinació d'elements en mostres vegetals.

Aplicação de Data Mining à Segurança do Trabalho Ferroviário

Embora o objectivo de redução de acidentes laborais seja frequentemente invocado para justificar uma aplicação preventiva de testes de álcool e drogas no trabalho, há poucas evidências estatisticamente relevantes das pressupostas causalidade e correlação negativa entre a sujeição aos testes e os posteriores acidentes. Os dados de testes e dos acidentes ocorridos com os colaboradores de uma transportadora ferroviária portuguesa de âmbito nacional, durante anos recentes, começam agora a ser explorados, em busca de relações entre estas e outras variáveis biográficas. - Although the aim of reducing occupational accidents is frequently cited to justify preventive drug and alcohol testing at work, there is little statistically significant evidence of the assumed causality and negative correlation between exposure to testing and subsequent accidents. Data mining of tests and accidents involving employees of a Portuguese national wide railway transportation company, during recent years, is now beginning in search of relations between these and other biographical variables.