Evolving Distributed Algorithms with Genetic Programming

Distributed systems are one of the most vital components of the economy. The most prominent example is probably the internet, a constituent element of our knowledge society. During the recent years, the number of novel network types has steadily increased. Amongst others, sensor networks, distributed systems composed of tiny computational devices with scarce resources, have emerged. The further development and heterogeneous connection of such systems imposes new requirements on the software development process. Mobile and wireless networks, for instance, have to organize themselves autonomously and must be able to react to changes in the environment and to failing nodes alike. Researching new approaches for the design of distributed algorithms may lead to methods with which these requirements can be met efficiently. In this thesis, one such method is developed, tested, and discussed in respect of its practical utility. Our new design approach for distributed algorithms is based on Genetic Programming, a member of the family of evolutionary algorithms. Evolutionary algorithms are metaheuristic optimization methods which copy principles from natural evolution. They use a population of solution candidates which they try to refine step by step in order to attain optimal values for predefined objective functions. The synthesis of an algorithm with our approach starts with an analysis step in which the wanted global behavior of the distributed system is specified. From this specification, objective functions are derived which steer a Genetic Programming process where the solution candidates are distributed programs. The objective functions rate how close these programs approximate the goal behavior in multiple randomized network simulations. The evolutionary process step by step selects the most promising solution candidates and modifies and combines them with mutation and crossover operators. This way, a description of the global behavior of a distributed system is translated automatically to programs which, if executed locally on the nodes of the system, exhibit this behavior. In our work, we test six different ways for representing distributed programs, comprising adaptations and extensions of well-known Genetic Programming methods (SGP, eSGP, and LGP), one bio-inspired approach (Fraglets), and two new program representations called Rule-based Genetic Programming (RBGP, eRBGP) designed by us. We breed programs in these representations for three well-known example problems in distributed systems: election algorithms, the distributed mutual exclusion at a critical section, and the distributed computation of the greatest common divisor of a set of numbers. Synthesizing distributed programs the evolutionary way does not necessarily lead to the envisaged results. In a detailed analysis, we discuss the problematic features which make this form of Genetic Programming particularly hard. The two Rule-based Genetic Programming approaches have been developed especially in order to mitigate these difficulties. In our experiments, at least one of them (eRBGP) turned out to be a very efficient approach and in most cases, was superior to the other representations.

Offline Emergence Engineering For Agent Societies

Many examples for emergent behaviors may be observed in self-organizing physical and biological systems which prove to be robust, stable, and adaptable. Such behaviors are often based on very simple mechanisms and rules, but artificially creating them is a challenging task which does not comply with traditional software engineering. In this article, we propose a hybrid approach by combining strategies from Genetic Programming and agent software engineering, and demonstrate that this approach effectively yields an emergent design for given problems.

Neuartige Verfahren für die Überwachung und Diagnose von aktiv magnetgelagerten rotierenden Maschinen

Mit aktiven Magnetlagern ist es möglich, rotierende Körper durch magnetische Felder berührungsfrei zu lagern. Systembedingt sind bei aktiv magnetgelagerten Maschinen wesentliche Signale ohne zusätzlichen Aufwand an Messtechnik für Diagnoseaufgaben verfügbar. In der Arbeit wird ein Konzept entwickelt, das durch Verwendung der systeminhärenten Signale eine Diagnose magnetgelagerter rotierender Maschinen ermöglicht und somit neben einer kontinuierlichen Anlagenüberwachung eine schnelle Bewertung des Anlagenzustandes gestattet. Fehler können rechtzeitig und ursächlich in Art und Größe erkannt und entsprechende Gegenmaßnahmen eingeleitet werden. Anhand der erfassten Signale geschieht die Gewinnung von Merkmalen mit signal- und modellgestützten Verfahren. Für den Magnetlagerregelkreis erfolgen Untersuchungen zum Einsatz modellgestützter Parameteridentifikationsverfahren, deren Verwendbarkeit wird bei der Diagnose am Regler und Leistungsverstärker nachgewiesen. Unter Nutzung von Simulationsmodellen sowie durch Experimente an Versuchsständen werden die Merkmalsverläufe im normalen Referenzzustand und bei auftretenden Fehlern aufgenommen und die Ergebnisse in einer Wissensbasis abgelegt. Diese dient als Grundlage zur Festlegung von Grenzwerten und Regeln für die Überwachung des Systems und zur Erstellung wissensbasierter Diagnosemodelle. Bei der Überwachung werden die Merkmalsausprägungen auf das Überschreiten von Grenzwerten überprüft, Informationen über erkannte Fehler und Betriebszustände gebildet sowie gegebenenfalls Alarmmeldungen ausgegeben. Sich langsam anbahnende Fehler können durch die Berechnung der Merkmalstrends mit Hilfe der Regressionsanalyse erkannt werden. Über die bisher bei aktiven Magnetlagern übliche Überwachung von Grenzwerten hinaus erfolgt bei der Fehlerdiagnose eine Verknüpfung der extrahierten Merkmale zur Identifizierung und Lokalisierung auftretender Fehler. Die Diagnose geschieht mittels regelbasierter Fuzzy-Logik, dies gestattet die Einbeziehung von linguistischen Aussagen in Form von Expertenwissen sowie die Berücksichtigung von Unbestimmtheiten und ermöglicht damit eine Diagnose komplexer Systeme. Für Aktor-, Sensor- und Reglerfehler im Magnetlagerregelkreis sowie Fehler durch externe Kräfte und Unwuchten werden Diagnosemodelle erstellt und verifiziert. Es erfolgt der Nachweis, dass das entwickelte Diagnosekonzept mit beherrschbarem Rechenaufwand korrekte Diagnoseaussagen liefert. Durch Kaskadierung von Fuzzy-Logik-Modulen wird die Transparenz des Regelwerks gewahrt und die Abarbeitung der Regeln optimiert. Endresultat ist ein neuartiges hybrides Diagnosekonzept, welches signal- und modellgestützte Verfahren der Merkmalsgewinnung mit wissensbasierten Methoden der Fehlerdiagnose kombiniert. Das entwickelte Diagnosekonzept ist für die Anpassung an unterschiedliche Anforderungen und Anwendungen bei rotierenden Maschinen konzipiert.

State-selective study of the direct double photoionization of the Ne valence shell

Cross sections for double photoionization of the Ne L shell into the 2s2p{^5 3}P^0} and ^1P^0 and the 2s^02p^6 ^1S^e states were measured for energies from threshold up to 150 eV, using photon induced fluorescence spectroscopy. Both 2s2p^5 channels were observed with comparable magnitude in contradiction to a propensity rule based on the Wannier-Peterkop-Rau theory. A comparison of the summed ^3P^0 and ^1P^0 cross sections with MBPT calculations results in a deviation of 50%.

Applicability of Emergence Engineering to Distributed Systems Scenarios

Genetic Programming can be effectively used to create emergent behavior for a group of autonomous agents. In the process we call Offline Emergence Engineering, the behavior is at first bred in a Genetic Programming environment and then deployed to the agents in the real environment. In this article we shortly describe our approach, introduce an extended behavioral rule syntax, and discuss the impact of the expressiveness of the behavioral description to the generation success, using two scenarios in comparison: the election problem and the distributed critical section problem. We evaluate the results, formulating criteria for the applicability of our approach.

Förderung des Leseverständnisses durch Lesestrategien: Eine Interventionsstudie in der Grundschule

Anliegen dieser Dissertation ist die Untersuchung des Einflusses eines Lesestrategietrainings auf die Entwicklung des Leseverständnisses in den Klassen 2 und 4. In einer experimentellen Studie mit Prä-Post-Test-Design wurde die Wirksamkeit eines 25 Sitzungen umfassenden Trainings der Strategien Vorhersagen, kleinschrittiges Wiederholen und Zusammenfassen den Effekten einer lesefernen Kontrollbedingung gegenübergestellt. Die Lesestrategien wurden peergestützt vermittelt, d. h. in Dyaden aus einem leseschwächeren und einem lesestärkeren Kind. In drei Teilstudien wurden Fragestellungen zur differenzierten Analyse der Trainingswirksamkeit untersucht: (1) Wird die Trainingswirksamkeit durch die Effizienz der Worterkennungsprozesse beeinflusst?, (2) Kann die Entwicklung der Leseflüssigkeit durch das Lesestrategietraining gefördert werden? und (3) Können leseschwache Kinder von der Zusammenarbeit mit lesestärkeren Tutor(inn)en hinsichtlich der Verbesserung ihres Leseverständnisses profitieren?. Die Ergebnisse dieser Dissertation sprechen dafür, dass das eingesetzte peergestützte Lesestrategietraining das Leseverständnis und die Leseflüssigkeit von Zweit- und Viertklässler(inne)n unter bestimmten Voraussetzungen positiv beeinflussen konnte. Die Leseleistungen vor dem Training, die Effizienz der Worterkennungsprozesse und die Rolle im dyadischen Lernen erwiesen sich als relevante Einflussfaktoren für die Wirksamkeit des Strategietrainings. Zweitklässler(innen), die aufgrund guter Prä-Test Leseleistungen die Tutor(inn)enrolle erhielten, konnten ihr Leseverständnis gegenüber Kindern mit gleichen Leseleistungen in der Kontrollbedingung signifikant steigern. Leseschwache Zweitklässler(innen) hingegen schienen nur bei (relativ) effizienten Worterkennungsprozessen die Lesestrategien zur Steigerung ihres globalen Leseverständnisses nutzen zu können, wobei sie keinen Zugewinn aus der dyadischen Zusammenarbeit ziehen konnten. Bei ineffizienten Worterkennungsprozessen hatte das Strategietraining negative Auswirkungen auf das allgemeine Leseverständnis. Anders in Klasse 4: Kinder, die aufgrund unterdurchschnittlicher Leseleistungen im Prä-Test als Tutand(inn)en am Training teilnahmen, verbesserten ihr Leseverständnis und konnten dabei von der Zusammenarbeit mit lesestarken Tutor(inn)en profitieren. Für die Tutor(inn)en in Klasse 4 zeigte sich kein Effekt des Strategietrainings gegenüber der Kontrollgruppe. In beiden Klassenstufen stellte sich im Verlauf des Strategietrainings eine schnellere Entwicklung der Leseflüssigkeit der schwachen Leser(innen) ein. Zusammengefasst erzielte das Training die größten Effekte für gute Leser(innen) in Klasse 2 und schwache Leser(innen) in Klasse 4 – beide Gruppen konnten ihr Leseverständnis praktisch bedeutsam gegenüber Kindern mit gleichen Leseleistungen in der Kontrollbedingung steigern.

Efficient data mining based on formal concept analysis

Formal Concept Analysis is an unsupervised learning technique for conceptual clustering. We introduce the notion of iceberg concept lattices and show their use in Knowledge Discovery in Databases (KDD). Iceberg lattices are designed for analyzing very large databases. In particular they serve as a condensed representation of frequent patterns as known from association rule mining. In order to show the interplay between Formal Concept Analysis and association rule mining, we discuss the algorithm TITANIC. We show that iceberg concept lattices are a starting point for computing condensed sets of association rules without loss of information, and are a visualization method for the resulting rules.

The Courseware Watchdog: an ontology-based tool for finding and organizing learning material

Topics in education are changing with an ever faster pace. E-Learning resources tend to be more and more decentralised. Users need increasingly to be able to use the resources of the web. For this, they should have tools for finding and organizing information in a decentral way. In this, paper, we show how an ontology-based tool suite allows to make the most of the resources available on the web.

Identification of Problem-based learning components and their effects on graduates' competencies

This study investigated the relationship between higher education and the requirement of the world of work with an emphasis on the effect of problem-based learning (PBL) on graduates' competencies. The implementation of full PBL method is costly (Albanese & Mitchell, 1993; Berkson, 1993; Finucane, Shannon, & McGrath, 2009). However, the implementation of PBL in a less than curriculum-wide mode is more achievable in a broader context (Albanese, 2000). This means higher education institutions implement only a few PBL components in the curriculum. Or a teacher implements a few PBL components at the courses level. For this kind of implementation there is a need to identify PBL components and their effects on particular educational outputs (Hmelo-Silver, 2004; Newman, 2003). So far, however there has been little research about this topic. The main aims of this study were: (1) to identify each of PBL components which were manifested in the development of a valid and reliable PBL implementation questionnaire and (2) to determine the effect of each identified PBL component to specific graduates' competencies. The analysis was based on quantitative data collected in the survey of medicine graduates of Gadjah Mada University, Indonesia. A total of 225 graduates responded to the survey. The result of confirmatory factor analysis (CFA) showed that all individual constructs of PBL and graduates' competencies had acceptable GOFs (Goodness-of-fit). Additionally, the values of the factor loadings (standardize loading estimates), the AVEs (average variance extracted), CRs (construct reliability), and ASVs (average shared squared variance) showed the proof of convergent and discriminant validity. All values indicated valid and reliable measurements. The investigation of the effects of PBL showed that each PBL component had specific effects on graduates' competencies. Interpersonal competencies were affected by Student-centred learning (β = .137; p < .05) and Small group components (β = .078; p < .05). Problem as stimulus affected Leadership (β = .182; p < .01). Real-world problems affected Personal and organisational competencies (β = .140; p < .01) and Interpersonal competencies (β = .114; p < .05). Teacher as facilitator affected Leadership (β = 142; p < .05). Self-directed learning affected Field-related competencies (β = .080; p < .05). These results can help higher education institution and educator to have informed choice about the implementation of PBL components. With this information higher education institutions and educators could fulfil their educational goals and in the same time meet their limited resources. This study seeks to improve prior studies' research method in four major ways: (1) by indentifying PBL components based on theory and empirical data; (2) by using latent variables in the structural equation modelling instead of using a variable as a proxy of a construct; (3) by using CFA to validate the latent structure of the measurement, thus providing better evidence of validity; and (4) by using graduate survey data which is suitable for analysing PBL effects in the frame work of the relationship between higher education and the world of work.

Adaptive Real-time Anomaly-based Intrusion Detection using Data Mining and Machine Learning Techniques

Die zunehmende Vernetzung der Informations- und Kommunikationssysteme führt zu einer weiteren Erhöhung der Komplexität und damit auch zu einer weiteren Zunahme von Sicherheitslücken. Klassische Schutzmechanismen wie Firewall-Systeme und Anti-Malware-Lösungen bieten schon lange keinen Schutz mehr vor Eindringversuchen in IT-Infrastrukturen. Als ein sehr wirkungsvolles Instrument zum Schutz gegenüber Cyber-Attacken haben sich hierbei die Intrusion Detection Systeme (IDS) etabliert. Solche Systeme sammeln und analysieren Informationen von Netzwerkkomponenten und Rechnern, um ungewöhnliches Verhalten und Sicherheitsverletzungen automatisiert festzustellen. Während signatur-basierte Ansätze nur bereits bekannte Angriffsmuster detektieren können, sind anomalie-basierte IDS auch in der Lage, neue bisher unbekannte Angriffe (Zero-Day-Attacks) frühzeitig zu erkennen. Das Kernproblem von Intrusion Detection Systeme besteht jedoch in der optimalen Verarbeitung der gewaltigen Netzdaten und der Entwicklung eines in Echtzeit arbeitenden adaptiven Erkennungsmodells. Um diese Herausforderungen lösen zu können, stellt diese Dissertation ein Framework bereit, das aus zwei Hauptteilen besteht. Der erste Teil, OptiFilter genannt, verwendet ein dynamisches "Queuing Concept", um die zahlreich anfallenden Netzdaten weiter zu verarbeiten, baut fortlaufend Netzverbindungen auf, und exportiert strukturierte Input-Daten für das IDS. Den zweiten Teil stellt ein adaptiver Klassifikator dar, der ein Klassifikator-Modell basierend auf "Enhanced Growing Hierarchical Self Organizing Map" (EGHSOM), ein Modell für Netzwerk Normalzustand (NNB) und ein "Update Model" umfasst. In dem OptiFilter werden Tcpdump und SNMP traps benutzt, um die Netzwerkpakete und Hostereignisse fortlaufend zu aggregieren. Diese aggregierten Netzwerkpackete und Hostereignisse werden weiter analysiert und in Verbindungsvektoren umgewandelt. Zur Verbesserung der Erkennungsrate des adaptiven Klassifikators wird das künstliche neuronale Netz GHSOM intensiv untersucht und wesentlich weiterentwickelt. In dieser Dissertation werden unterschiedliche Ansätze vorgeschlagen und diskutiert. So wird eine classification-confidence margin threshold definiert, um die unbekannten bösartigen Verbindungen aufzudecken, die Stabilität der Wachstumstopologie durch neuartige Ansätze für die Initialisierung der Gewichtvektoren und durch die Stärkung der Winner Neuronen erhöht, und ein selbst-adaptives Verfahren eingeführt, um das Modell ständig aktualisieren zu können. Darüber hinaus besteht die Hauptaufgabe des NNB-Modells in der weiteren Untersuchung der erkannten unbekannten Verbindungen von der EGHSOM und der Überprüfung, ob sie normal sind. Jedoch, ändern sich die Netzverkehrsdaten wegen des Concept drif Phänomens ständig, was in Echtzeit zur Erzeugung nicht stationärer Netzdaten führt. Dieses Phänomen wird von dem Update-Modell besser kontrolliert. Das EGHSOM-Modell kann die neuen Anomalien effektiv erkennen und das NNB-Model passt die Änderungen in Netzdaten optimal an. Bei den experimentellen Untersuchungen hat das Framework erfolgversprechende Ergebnisse gezeigt. Im ersten Experiment wurde das Framework in Offline-Betriebsmodus evaluiert. Der OptiFilter wurde mit offline-, synthetischen- und realistischen Daten ausgewertet. Der adaptive Klassifikator wurde mit dem 10-Fold Cross Validation Verfahren evaluiert, um dessen Genauigkeit abzuschätzen. Im zweiten Experiment wurde das Framework auf einer 1 bis 10 GB Netzwerkstrecke installiert und im Online-Betriebsmodus in Echtzeit ausgewertet. Der OptiFilter hat erfolgreich die gewaltige Menge von Netzdaten in die strukturierten Verbindungsvektoren umgewandelt und der adaptive Klassifikator hat sie präzise klassifiziert. Die Vergleichsstudie zwischen dem entwickelten Framework und anderen bekannten IDS-Ansätzen zeigt, dass der vorgeschlagene IDSFramework alle anderen Ansätze übertrifft. Dies lässt sich auf folgende Kernpunkte zurückführen: Bearbeitung der gesammelten Netzdaten, Erreichung der besten Performanz (wie die Gesamtgenauigkeit), Detektieren unbekannter Verbindungen und Entwicklung des in Echtzeit arbeitenden Erkennungsmodells von Eindringversuchen.