Adaptive Real-time Anomaly-based Intrusion Detection using Data Mining and Machine Learning Techniques

Die zunehmende Vernetzung der Informations- und Kommunikationssysteme führt zu einer weiteren Erhöhung der Komplexität und damit auch zu einer weiteren Zunahme von Sicherheitslücken. Klassische Schutzmechanismen wie Firewall-Systeme und Anti-Malware-Lösungen bieten schon lange keinen Schutz mehr vor Eindringversuchen in IT-Infrastrukturen. Als ein sehr wirkungsvolles Instrument zum Schutz gegenüber Cyber-Attacken haben sich hierbei die Intrusion Detection Systeme (IDS) etabliert. Solche Systeme sammeln und analysieren Informationen von Netzwerkkomponenten und Rechnern, um ungewöhnliches Verhalten und Sicherheitsverletzungen automatisiert festzustellen. Während signatur-basierte Ansätze nur bereits bekannte Angriffsmuster detektieren können, sind anomalie-basierte IDS auch in der Lage, neue bisher unbekannte Angriffe (Zero-Day-Attacks) frühzeitig zu erkennen. Das Kernproblem von Intrusion Detection Systeme besteht jedoch in der optimalen Verarbeitung der gewaltigen Netzdaten und der Entwicklung eines in Echtzeit arbeitenden adaptiven Erkennungsmodells. Um diese Herausforderungen lösen zu können, stellt diese Dissertation ein Framework bereit, das aus zwei Hauptteilen besteht. Der erste Teil, OptiFilter genannt, verwendet ein dynamisches "Queuing Concept", um die zahlreich anfallenden Netzdaten weiter zu verarbeiten, baut fortlaufend Netzverbindungen auf, und exportiert strukturierte Input-Daten für das IDS. Den zweiten Teil stellt ein adaptiver Klassifikator dar, der ein Klassifikator-Modell basierend auf "Enhanced Growing Hierarchical Self Organizing Map" (EGHSOM), ein Modell für Netzwerk Normalzustand (NNB) und ein "Update Model" umfasst. In dem OptiFilter werden Tcpdump und SNMP traps benutzt, um die Netzwerkpakete und Hostereignisse fortlaufend zu aggregieren. Diese aggregierten Netzwerkpackete und Hostereignisse werden weiter analysiert und in Verbindungsvektoren umgewandelt. Zur Verbesserung der Erkennungsrate des adaptiven Klassifikators wird das künstliche neuronale Netz GHSOM intensiv untersucht und wesentlich weiterentwickelt. In dieser Dissertation werden unterschiedliche Ansätze vorgeschlagen und diskutiert. So wird eine classification-confidence margin threshold definiert, um die unbekannten bösartigen Verbindungen aufzudecken, die Stabilität der Wachstumstopologie durch neuartige Ansätze für die Initialisierung der Gewichtvektoren und durch die Stärkung der Winner Neuronen erhöht, und ein selbst-adaptives Verfahren eingeführt, um das Modell ständig aktualisieren zu können. Darüber hinaus besteht die Hauptaufgabe des NNB-Modells in der weiteren Untersuchung der erkannten unbekannten Verbindungen von der EGHSOM und der Überprüfung, ob sie normal sind. Jedoch, ändern sich die Netzverkehrsdaten wegen des Concept drif Phänomens ständig, was in Echtzeit zur Erzeugung nicht stationärer Netzdaten führt. Dieses Phänomen wird von dem Update-Modell besser kontrolliert. Das EGHSOM-Modell kann die neuen Anomalien effektiv erkennen und das NNB-Model passt die Änderungen in Netzdaten optimal an. Bei den experimentellen Untersuchungen hat das Framework erfolgversprechende Ergebnisse gezeigt. Im ersten Experiment wurde das Framework in Offline-Betriebsmodus evaluiert. Der OptiFilter wurde mit offline-, synthetischen- und realistischen Daten ausgewertet. Der adaptive Klassifikator wurde mit dem 10-Fold Cross Validation Verfahren evaluiert, um dessen Genauigkeit abzuschätzen. Im zweiten Experiment wurde das Framework auf einer 1 bis 10 GB Netzwerkstrecke installiert und im Online-Betriebsmodus in Echtzeit ausgewertet. Der OptiFilter hat erfolgreich die gewaltige Menge von Netzdaten in die strukturierten Verbindungsvektoren umgewandelt und der adaptive Klassifikator hat sie präzise klassifiziert. Die Vergleichsstudie zwischen dem entwickelten Framework und anderen bekannten IDS-Ansätzen zeigt, dass der vorgeschlagene IDSFramework alle anderen Ansätze übertrifft. Dies lässt sich auf folgende Kernpunkte zurückführen: Bearbeitung der gesammelten Netzdaten, Erreichung der besten Performanz (wie die Gesamtgenauigkeit), Detektieren unbekannter Verbindungen und Entwicklung des in Echtzeit arbeitenden Erkennungsmodells von Eindringversuchen.

Changes of traditional farming systems and their effects on land degradation and socio-economic conditions in the Inle Lake region, Myanmar

At many locations in Myanmar, ongoing changes in land use have negative environmental impacts and threaten natural ecosystems at local, regional and national scales. In particular, the watershed area of Inle Lake in eastern Myanmar is strongly affected by the environmental effects of deforestation and soil erosion caused by agricultural intensification and expansion of agricultural land, which are exacerbated by the increasing population pressure and the growing number of tourists. This thesis, therefore, focuses on land use changes in traditional farming systems and their effects on socio-economic and biophysical factors to improve our understanding of sustainable natural resource management of this wetland ecosystem. The main objectives of this research were to: (1) assess the noticeable land transformations in space and time, (2) identify the typical farming systems as well as the divergent livelihood strategies, and finally, (3) estimate soil erosion risk in the different agro-ecological zones surrounding the Inle Lake watershed area. GIS and remote sensing techniques allowed to identify the dynamic land use and land cover changes (LUCC) during the past 40 years based on historical Corona images (1968) and Landsat images (1989, 2000 and 2009). In this study, 12 land cover classes were identified and a supervised classification was used for the Landsat datasets, whereas a visual interpretation approach was conducted for the Corona images. Within the past 40 years, the main landscape transformation processes were deforestation (- 49%), urbanization (+ 203%), agricultural expansion (+ 34%) with a notably increase of floating gardens (+ 390%), land abandonment (+ 167%), and marshlands losses in wetland area (- 83%) and water bodies (- 16%). The main driving forces of LUCC appeared to be high population growth, urbanization and settlements, a lack of sustainable land use and environmental management policies, wide-spread rural poverty, an open market economy and changes in market prices and access. To identify the diverse livelihood strategies in the Inle Lake watershed area and the diversity of income generating activities, household surveys were conducted (total: 301 households) using a stratified random sampling design in three different agro-ecological zones: floating gardens (FG), lowland cultivation (LL) and upland cultivation (UP). A cluster and discriminant analysis revealed that livelihood strategies and socio-economic situations of local communities differed significantly in the different zones. For all three zones, different livelihood strategies were identified which differed mainly in the amount of on-farm and off-farm income, and the level of income diversification. The gross margin for each household from agricultural production in the floating garden, lowland and upland cultivation was US$ 2108, 892 and 619 ha-1 respectively. Among the typical farming systems in these zones, tomato (Lycopersicon esculentum L.) plantation in the floating gardens yielded the highest net benefits, but caused negative environmental impacts given the overuse of inorganic fertilizers and pesticides. The Revised Universal Soil Loss Equation (RUSLE) and spatial analysis within GIS were applied to estimate soil erosion risk in the different agricultural zones and for the main cropping systems of the study region. The results revealed that the average soil losses in year 1989, 2000 and 2009 amounted to 20, 10 and 26 t ha-1, respectively and barren land along the steep slopes had the highest soil erosion risk with 85% of the total soil losses in the study area. Yearly fluctuations were mainly caused by changes in the amount of annual precipitation and the dynamics of LUCC such as deforestation and agriculture extension with inappropriate land use and unsustainable cropping systems. Among the typical cropping systems, upland rainfed rice (Oryza sativa L.) cultivation had the highest rate of soil erosion (20 t ha-1yr-1) followed by sebesten (Cordia dichotoma) and turmeric (Curcuma longa) plantation in the UP zone. This study indicated that the hotspot region of soil erosion risk were upland mountain areas, especially in the western part of the Inle lake. Soil conservation practices are thus urgently needed to control soil erosion and lake sedimentation and to conserve the wetland ecosystem. Most farmers have not yet implemented soil conservation measures to reduce soil erosion impacts such as land degradation, sedimentation and water pollution in Inle Lake, which is partly due to the low economic development and poverty in the region. Key challenges of agriculture in the hilly landscapes can be summarized as follows: fostering the sustainable land use of farming systems for the maintenance of ecosystem services and functions while improving the social and economic well-being of the population, integrated natural resources management policies and increasing the diversification of income opportunities to reduce pressure on forest and natural resources.