Adaptive Real-time Anomaly-based Intrusion Detection using Data Mining and Machine Learning Techniques

Die zunehmende Vernetzung der Informations- und Kommunikationssysteme führt zu einer weiteren Erhöhung der Komplexität und damit auch zu einer weiteren Zunahme von Sicherheitslücken. Klassische Schutzmechanismen wie Firewall-Systeme und Anti-Malware-Lösungen bieten schon lange keinen Schutz mehr vor Eindringversuchen in IT-Infrastrukturen. Als ein sehr wirkungsvolles Instrument zum Schutz gegenüber Cyber-Attacken haben sich hierbei die Intrusion Detection Systeme (IDS) etabliert. Solche Systeme sammeln und analysieren Informationen von Netzwerkkomponenten und Rechnern, um ungewöhnliches Verhalten und Sicherheitsverletzungen automatisiert festzustellen. Während signatur-basierte Ansätze nur bereits bekannte Angriffsmuster detektieren können, sind anomalie-basierte IDS auch in der Lage, neue bisher unbekannte Angriffe (Zero-Day-Attacks) frühzeitig zu erkennen. Das Kernproblem von Intrusion Detection Systeme besteht jedoch in der optimalen Verarbeitung der gewaltigen Netzdaten und der Entwicklung eines in Echtzeit arbeitenden adaptiven Erkennungsmodells. Um diese Herausforderungen lösen zu können, stellt diese Dissertation ein Framework bereit, das aus zwei Hauptteilen besteht. Der erste Teil, OptiFilter genannt, verwendet ein dynamisches "Queuing Concept", um die zahlreich anfallenden Netzdaten weiter zu verarbeiten, baut fortlaufend Netzverbindungen auf, und exportiert strukturierte Input-Daten für das IDS. Den zweiten Teil stellt ein adaptiver Klassifikator dar, der ein Klassifikator-Modell basierend auf "Enhanced Growing Hierarchical Self Organizing Map" (EGHSOM), ein Modell für Netzwerk Normalzustand (NNB) und ein "Update Model" umfasst. In dem OptiFilter werden Tcpdump und SNMP traps benutzt, um die Netzwerkpakete und Hostereignisse fortlaufend zu aggregieren. Diese aggregierten Netzwerkpackete und Hostereignisse werden weiter analysiert und in Verbindungsvektoren umgewandelt. Zur Verbesserung der Erkennungsrate des adaptiven Klassifikators wird das künstliche neuronale Netz GHSOM intensiv untersucht und wesentlich weiterentwickelt. In dieser Dissertation werden unterschiedliche Ansätze vorgeschlagen und diskutiert. So wird eine classification-confidence margin threshold definiert, um die unbekannten bösartigen Verbindungen aufzudecken, die Stabilität der Wachstumstopologie durch neuartige Ansätze für die Initialisierung der Gewichtvektoren und durch die Stärkung der Winner Neuronen erhöht, und ein selbst-adaptives Verfahren eingeführt, um das Modell ständig aktualisieren zu können. Darüber hinaus besteht die Hauptaufgabe des NNB-Modells in der weiteren Untersuchung der erkannten unbekannten Verbindungen von der EGHSOM und der Überprüfung, ob sie normal sind. Jedoch, ändern sich die Netzverkehrsdaten wegen des Concept drif Phänomens ständig, was in Echtzeit zur Erzeugung nicht stationärer Netzdaten führt. Dieses Phänomen wird von dem Update-Modell besser kontrolliert. Das EGHSOM-Modell kann die neuen Anomalien effektiv erkennen und das NNB-Model passt die Änderungen in Netzdaten optimal an. Bei den experimentellen Untersuchungen hat das Framework erfolgversprechende Ergebnisse gezeigt. Im ersten Experiment wurde das Framework in Offline-Betriebsmodus evaluiert. Der OptiFilter wurde mit offline-, synthetischen- und realistischen Daten ausgewertet. Der adaptive Klassifikator wurde mit dem 10-Fold Cross Validation Verfahren evaluiert, um dessen Genauigkeit abzuschätzen. Im zweiten Experiment wurde das Framework auf einer 1 bis 10 GB Netzwerkstrecke installiert und im Online-Betriebsmodus in Echtzeit ausgewertet. Der OptiFilter hat erfolgreich die gewaltige Menge von Netzdaten in die strukturierten Verbindungsvektoren umgewandelt und der adaptive Klassifikator hat sie präzise klassifiziert. Die Vergleichsstudie zwischen dem entwickelten Framework und anderen bekannten IDS-Ansätzen zeigt, dass der vorgeschlagene IDSFramework alle anderen Ansätze übertrifft. Dies lässt sich auf folgende Kernpunkte zurückführen: Bearbeitung der gesammelten Netzdaten, Erreichung der besten Performanz (wie die Gesamtgenauigkeit), Detektieren unbekannter Verbindungen und Entwicklung des in Echtzeit arbeitenden Erkennungsmodells von Eindringversuchen.

Abatement of mercury pollution in the small-scale gold mining industry: Restructuring the policy and research agendas

This paper critiques contemporary research and policy approaches taken toward the analysis and abatement of mercury pollution in the small-scale gold mining sector. Unmonitored releases of mercury from gold amalgamation have caused considerable environmental contamination and human health complications in rural reaches of sub-Saharan Africa, Latin America and Asia. Whilst these problems have caught the attention of the scientific community over the past 15-20 years, the research that has since been undertaken has failed to identify appropriate mitigation measures, and has done little to advance understanding of why contamination persists. Moreover, the strategies used to educate operators about the impacts of acute mercury exposure, and the technologies implemented to prevent farther pollution, have been marginally effective at best. The mercury pollution problem will not be resolved until governments and donor agencies commit to carrying out research aimed at improving understanding of the dynamics of small scale gold mining communities. Acquisition of this knowledge is the key to designing and implementing appropriate support and abatement measures. (c) 2005 Elsevier B.V. All rights reserved.

Alternatives to cyanide in the gold mining industry: what prospects for the future

This paper reviews a series of alternative lixiviant systems for the recovery of gold from ores and concentrates. For over 100 years, cyanide has been the leach reagent of choice in gold mining because of its high gold recoveries, robustness and relatively low costs. The environmental damages resulting from its mismanagement, however, have initiated widespread research aimed at identifying and developing less toxic leaching agents. The most widely-researched alternative lixiviants for gold ores are examined in this paper, but it is evident that none has yet made any significant inroad into the dominant position of cyanide as the reagent of choice at the vast majority of gold mines worldwide. (c) 2005 Published by Elsevier Ltd.

Winners and losers from industry reforms in the developing world: experiences from the electricity and mining sectors

The reform of previously state-owned and operated industries in many Less Developed Countries (LDCs) provide contrary experiences to those in the developed world, which have generally had more equitable distributional impacts. The economic reform policies proposed by the so-called 'Washington Consensus' state that privatisation provides governments with opportunities to raise revenues through the sale of under-performing and indebted state industries, thereby reducing significant fiscal burdens, and, at the same time, facilitating influxes of foreign capital, skills and technology, with the aim of improving operations and a "trickle-down" of benefits. However, experiences in many LDCs over the last 15-20 years suggest that reform has not solved the problem of chronic public-sector debt, and that poverty and socio-economic inequalities have increased during this period of 'neo-liberal' economics. This paper does not seek to challenge the policies themselves, but rather argues that the context in which reform has often taken place is of fundamental significance. The industry-centric policy advice provided by the IFIs typically causes a 'lock-in' of inequitably distributed 'efficiency gains', providing minimal, if any, benefits to impoverished groups. These arguments are made using case study analysis from the electricity and mining sectors.

Structural adjustment and subsistence industry: artisanal gold mining in Ghana

Since the implementation of Ghana's national Structural Adjustment Programme (SAP), policies associated with the programme have been criticized for perpetuating poverty within the country's subsistence economy. This article brings new evidence to bear on the contention that the SAP has both fuelled the uncontrolled growth of informal, poverty-driven artisanal gold mining and further marginalized its impoverished participants. Throughout the adjustment period, it has been a central goal of the government to promote the expansion of large-scale gold mining through foreign investment. Confronted with the challenge of resuscitating a deteriorating gold mining industry, the government introduced a number of tax breaks and policies in an effort to create an attractive investment climate for foreign multinational mining companies. The rapid rise in exploration and excavation activities that has since taken place has displaced thousands of previously-undisturbed subsistence artisanal gold miners. This, along with a laissez faire land concession allocation procedure, has exacerbated conflicts between mining parties. Despite legalizing small-scale mining in 1989, the Ghanaian government continues to implement procedurally complex and bureaucratically unwieldy regulations and policies for artisanal operators which have the effect of favouring the interests of established large-scale miners.

‘Cursed’ communities? Corporate Social Responsibility (CSR), company towns and the mining industry in Namibia

This article examines Corporate Social Responsibility (CSR) and mining community development, sustainability and viability. These issues are considered focussing on current and former company-owned mining towns in Namibia. Historically company towns have been a feature of mining activity in Namibia. However, the fate of such towns upon mine closure has been and remains controversial. Declining former mining communities and even ghost mining towns can be found across the country. This article draws upon research undertaken in Namibia and considers these issues with reference to three case study communities. This article examines the complexities which surround decision-making about these communities, and the challenges faced in efforts to encourage their sustainability after mining. In this article, mine company engagements through CSR with the development, sustainability and viability of such communities are also critically discussed. The role, responsibilities, and actions of the state in relation to these communities are furthermore reflected upon. Finally, ways forward for these communities are considered.

Special meeting on the mining industry: draft resolution approved by Committee II on 25 May 1957

Incluye Bibliografía