Efficient mining of association rules based on formal concept analysis

Association rules are a popular knowledge discovery technique for warehouse basket analysis. They indicate which items of the warehouse are frequently bought together. The problem of association rule mining has first been stated in 1993. Five years later, several research groups discovered that this problem has a strong connection to Formal Concept Analysis (FCA). In this survey, we will first introduce some basic ideas of this connection along a specific algorithm, TITANIC, and show how FCA helps in reducing the number of resulting rules without loss of information, before giving a general overview over the history and state of the art of applying FCA for association rule mining.

Adaptive Real-time Anomaly-based Intrusion Detection using Data Mining and Machine Learning Techniques

Die zunehmende Vernetzung der Informations- und Kommunikationssysteme führt zu einer weiteren Erhöhung der Komplexität und damit auch zu einer weiteren Zunahme von Sicherheitslücken. Klassische Schutzmechanismen wie Firewall-Systeme und Anti-Malware-Lösungen bieten schon lange keinen Schutz mehr vor Eindringversuchen in IT-Infrastrukturen. Als ein sehr wirkungsvolles Instrument zum Schutz gegenüber Cyber-Attacken haben sich hierbei die Intrusion Detection Systeme (IDS) etabliert. Solche Systeme sammeln und analysieren Informationen von Netzwerkkomponenten und Rechnern, um ungewöhnliches Verhalten und Sicherheitsverletzungen automatisiert festzustellen. Während signatur-basierte Ansätze nur bereits bekannte Angriffsmuster detektieren können, sind anomalie-basierte IDS auch in der Lage, neue bisher unbekannte Angriffe (Zero-Day-Attacks) frühzeitig zu erkennen. Das Kernproblem von Intrusion Detection Systeme besteht jedoch in der optimalen Verarbeitung der gewaltigen Netzdaten und der Entwicklung eines in Echtzeit arbeitenden adaptiven Erkennungsmodells. Um diese Herausforderungen lösen zu können, stellt diese Dissertation ein Framework bereit, das aus zwei Hauptteilen besteht. Der erste Teil, OptiFilter genannt, verwendet ein dynamisches "Queuing Concept", um die zahlreich anfallenden Netzdaten weiter zu verarbeiten, baut fortlaufend Netzverbindungen auf, und exportiert strukturierte Input-Daten für das IDS. Den zweiten Teil stellt ein adaptiver Klassifikator dar, der ein Klassifikator-Modell basierend auf "Enhanced Growing Hierarchical Self Organizing Map" (EGHSOM), ein Modell für Netzwerk Normalzustand (NNB) und ein "Update Model" umfasst. In dem OptiFilter werden Tcpdump und SNMP traps benutzt, um die Netzwerkpakete und Hostereignisse fortlaufend zu aggregieren. Diese aggregierten Netzwerkpackete und Hostereignisse werden weiter analysiert und in Verbindungsvektoren umgewandelt. Zur Verbesserung der Erkennungsrate des adaptiven Klassifikators wird das künstliche neuronale Netz GHSOM intensiv untersucht und wesentlich weiterentwickelt. In dieser Dissertation werden unterschiedliche Ansätze vorgeschlagen und diskutiert. So wird eine classification-confidence margin threshold definiert, um die unbekannten bösartigen Verbindungen aufzudecken, die Stabilität der Wachstumstopologie durch neuartige Ansätze für die Initialisierung der Gewichtvektoren und durch die Stärkung der Winner Neuronen erhöht, und ein selbst-adaptives Verfahren eingeführt, um das Modell ständig aktualisieren zu können. Darüber hinaus besteht die Hauptaufgabe des NNB-Modells in der weiteren Untersuchung der erkannten unbekannten Verbindungen von der EGHSOM und der Überprüfung, ob sie normal sind. Jedoch, ändern sich die Netzverkehrsdaten wegen des Concept drif Phänomens ständig, was in Echtzeit zur Erzeugung nicht stationärer Netzdaten führt. Dieses Phänomen wird von dem Update-Modell besser kontrolliert. Das EGHSOM-Modell kann die neuen Anomalien effektiv erkennen und das NNB-Model passt die Änderungen in Netzdaten optimal an. Bei den experimentellen Untersuchungen hat das Framework erfolgversprechende Ergebnisse gezeigt. Im ersten Experiment wurde das Framework in Offline-Betriebsmodus evaluiert. Der OptiFilter wurde mit offline-, synthetischen- und realistischen Daten ausgewertet. Der adaptive Klassifikator wurde mit dem 10-Fold Cross Validation Verfahren evaluiert, um dessen Genauigkeit abzuschätzen. Im zweiten Experiment wurde das Framework auf einer 1 bis 10 GB Netzwerkstrecke installiert und im Online-Betriebsmodus in Echtzeit ausgewertet. Der OptiFilter hat erfolgreich die gewaltige Menge von Netzdaten in die strukturierten Verbindungsvektoren umgewandelt und der adaptive Klassifikator hat sie präzise klassifiziert. Die Vergleichsstudie zwischen dem entwickelten Framework und anderen bekannten IDS-Ansätzen zeigt, dass der vorgeschlagene IDSFramework alle anderen Ansätze übertrifft. Dies lässt sich auf folgende Kernpunkte zurückführen: Bearbeitung der gesammelten Netzdaten, Erreichung der besten Performanz (wie die Gesamtgenauigkeit), Detektieren unbekannter Verbindungen und Entwicklung des in Echtzeit arbeitenden Erkennungsmodells von Eindringversuchen.

TU Graz: Course: 707.000 Web Science and Web Technology: Lecture 10: Text Mining

This class introduces basics of web mining and information retrieval including, for example, an introduction to the Vector Space Model and Text Mining. Guest Lecturer: Dr. Michael Granitzer Optional: Modeling the Internet and the Web: Probabilistic Methods and Algorithms, Pierre Baldi, Paolo Frasconi, Padhraic Smyth, Wiley, 2003 (Chapter 4, Text Analysis)

Useful academic references for data mining and usage statistics

Relates to the following software for analysing Blackboard stats http://www.edshare.soton.ac.uk/11134/ Is supporting material for the following podcast: http://youtu.be/yHxCzjiYBoU

Open Equipment data flow

Short set of slides explaining the workflow from a university website to equipment.data.ac.uk

Mining Events from Multimedia streams, Jon Hare

peaker(s): Jon Hare Organiser: Time: 25/06/2014 11:00-11:50 Location: B32/3077 Abstract The aggregation of items from social media streams, such as Flickr photos and Twitter tweets, into meaningful groups can help users contextualise and effectively consume the torrents of information on the social web. This task is challenging due to the scale of the streams and the inherently multimodal nature of the information being contextualised. In this talk I'll describe some of our recent work on trend and event detection in multimedia data streams. We focus on scalable streaming algorithms that can be applied to multimedia data streams from the web and the social web. The talk will cover two particular aspects of our work: mining Twitter for trending images by detecting near duplicates; and detecting social events in multimedia data with streaming clustering algorithms. I'll will describe in detail our techniques, and explore open questions and areas of potential future work, in both these tasks.

Estudio de corte transversal en minería subterránea. Asociación entre los riesgos identificados por los trabajadores y los establecidos por las empresas. Boyacá - Colombia 2014.

Introducción. La minería subterránea de carbón en Colombia, es una de las áreas productivas más importantes con grandes oportunidades de trabajo para el capital obrero. Sin embargo en el sector se ha venido incrementando la accidentalidad problema que tiende a aumentar por el desarrollo proyectado para el 2019 en cuanto al número de trabajadores y la llegada de nuevas tecnologías. Objetivo. Determinar la asociación entre los riesgos identificados por los trabajadores y los establecidos por la empresa en los respectivos subprogramas de medicina preventiva y del trabajo, higiene y seguridad Industrial y caracterizar las actividades de los subprogramas de medicina preventiva y del trabajo, higiene y seguridad industrial implementados en las empresas. Materiales y métodos Se realizó un estudio de corte transversal, con el propósito de establecer frecuencias de asociación entre los riesgos identificados por los trabajadores y los establecidos por las empresas de minería subterránea de carbón en el departamento de Boyacá. Se aplicaron dos cuestionarios individual y de empresa, se hizo la caracterización de las actividades y se determino la asociación entre ambas por medio de análisis estadístico, la muestra fue probabilística, estratificada, con asignación proporcional aleatoria y por conglomerados bietapicos. Resultados El estudio evidenció que apenas se presenta un cumplimiento levemente superior al 50% del ordenamiento legal. En cuanto a la identificación y conocimiento del riesgo, la asociación entre el riesgo reconocido por los trabajadores y los reportados por la empresa fue significativo en físico ruido 16,2% y trabajo en caliente 8,88%. La asociación entre el uso de elementos de protección personal por parte de los trabajadores y los entregados por la empresa fue significativa en protección respiratoria con cartucho 75,80% y protección aditiva tipo inserción 78,00% y tipo copa 80,40%. Conclusiones Se encontró entre otros que los riesgos identificados por los trabajadores y establecidos por las empresas son muy pocos y que apenas se cumplen los requisitos legales vigentes.

Medidas de intervención para promoción de conductas saludables y prevención de riesgos laborales relacionados con accidentalidad y enfermedad laboral en trabajadores de minas de Carbón

Colombia en su legislación normatiza el sector de la minería de carbón, sin embargo se considera que las estrategias no han sido suficientes para la identificación, prevención y control de la accidentalidad y enfermedad laboral. Durante el año 2013 el índice de fatalidad fue de 1,59. Estadísticas del año 2004 evidencian que las neumoconiosis fueron las mayores causas de invalidez de origen profesional. Objetivo: Categorizar actividades de intervención en promoción y prevención de accidentalidad y enfermedad laboral en trabajadores de la minería de carbón. Metodología: Se realizó una revisión de literatura sobre minería de carbón y salud la cual fue obtenida de las bases de datos PUBMED, Sciendirect, VHL, SINAB por literatura publicada sin límites de año, en idioma inglés, español o portugués. Para la búsqueda se utilizaron términos en lenguaje controlado (términos MESH), revisión por pares de títulos y resúmenes. Las publicaciones fueron seleccionadas para revisión de texto completo bajo criterios de inclusión y exclusión. Los códigos contemplados para esta revisión fueron: a) país donde la intervención se llevó a cabo, b) salud ocupacional, c) prevención de accidentalidad, d) programas de promoción, e) tecnologías, f) resultados obtenidos. Resultados: Del total de 2500 artículos seleccionados por los autores principales se realizó la revisión de los primeros 300 artículos, 32 hacen referencia al tema de salud ocupacional y minería de carbón, 10 contienen intervenciones consideradas de relevancia para esta revisión bibliográfica. Se presentan intervenciones estadísticamente significativas (p<0.05) y que han demostrado ser de impacto positivo en la minería de carbón en promoción y prevención de accidentalidad y enfermedad ocupacional. Conclusiones: Se identificaron las siguientes cuatro tipos de intervención: 1) las de carácter educativo que hacen referencia a las capacitaciones participativas, el entrenamiento por medio de “degraded image”, la realización de gestión de autocontrol y retroalimentación para el uso de elementos de protección personal (EPP), la aplicación del Modelo de Proceso Paralelo Extendido; 2) intervenciones preventivas como la medición de alcoholimetría antes del turno, la presencia de personal de enfermería en minas de carbón y el reconocimiento de los predictores de la enfermedad para optimizar la prevención primaria; 3)intervenciones de vigilancia como la promovida en la metodología Estadísticas Europeas de Accidentes de Trabajo (EEAT) para la investigación de los accidentes de trabajo, la aplicación de las recomendaciones de la Organización Mundial de la Salud (OMS) para la detección de la neumoconiosis y 4) De carácter tecnológico consistente en la intervención de tareas a partir de los resultados de la aplicación del software desarrollado por el Instituto Nacional para la Seguridad y Salud Ocupacional (NIOSH). Estas intervenciones han demostrado ser eficaces en la promoción y prevención de accidentalidad y enfermedad ocupacional por lo cual se recomienda su aplicación en Colombia posterior al análisis de costo-efectividad.

Primary science equipment.

La ciencia en la escuela primaria resulta cada vez más solicitada, por ello los maestros deben aprender a elegir entre una gama de equipos cada vez más sofisticados. El objetivo es ayudar a los docentes en su tarea de garantizar que los niños accedan a un equipamiento científico adecuado,y que las escuelas desarrollen una política progresista en el suministro, uso y cuidado de estos aparatos.

Distribution of diatom communities in agricultural and mining watersheds of Southwest Spain

Els sistemes aquàtics continental representen un dels ecosistemes més amenaçats a nivell mundial, com a conseqüència de l'ús intensiu quel'home en fa. La conca del Guadiana no està lliure d'aquestes pressions antròpiques. Les grans infraestructures hidràuliques i l'escorrentia provinent de l'agricultura són només exemples dels greus problemes que pateix la conca. Aquests problemes es fan especialment palesos en la zona alta de la conca, on l'escassetat d'aigua no fa més que agreujar el problema.Tot això ha generat la necessitat urgent d'avaluar l'estat de conservació d'aquests ecosistemes aquàtics continentals, poder determinar la mesura i la magnitud de les pertorbacions que els estan afectant i així proposar mesures de gestió destinades a restaurar-ne la integritat ecològica. El principal objectiu que presenta aquest és determinar els patrons de distribució de les comunitats de algals (amb una menció especial en el grup de les diatomees) i de les seves causes en la conca del Guadiana i associades, amb la finalitat d'establir i proposar eines que permetin avaluar l'estat de conservació de les masses d'aigua d'aquestes conques.

Analytical methodologies based on X-Ray Fluorescence Spectrometry (XRF) and Inductively Couple Plasma Spectroscopy (ICP) for the assessment of metal dispersal around mining environments

La investigació que es presenta en aquesta tesi es centra en l'aplicació i millora de metodologies analítiques existents i el desenvolupament de nous procediments que poden ser utilitzats per a l'estudi dels efectes ambientals de la dispersió dels metalls entorn a les zones mineres abandonades. En primer lloc, es van aplicar diferents procediments d'extracció simple i seqüencial per a estudiar la mobilitat, perillositat i bio-disponibilitat dels metalls continguts en residus miners de característiques diferents. Per altra banda, per a estudiar les fonts potencials de Pb en la vegetació de les zones mineres d'estudi, una metodologia basada en la utilització de les relacions isotòpiques de Pb determinades mitjançant ICP-MS va ser avaluada. Finalment, tenint en compte l'elevat nombre de mostres analitzades per a avaluar l'impacte de les activitats mineres, es va considerar apropiat el desenvolupament de mètodes analítics d'elevada productivitat. En aquest sentit la implementació d'estratègies quantitatives així com l'aplicació de les millores instrumentals en els equips de XRF han estat avaluades per a aconseguir resultats analítics fiables en l'anàlisi de plantes. A més, alguns paràmetres de qualitat com la precisió, l'exactitud i els límits de detecció han estat curosament determinats en les diverses configuracions de espectròmetres de XRF utilitzats en el decurs d'aquest treball (EDXRF, WDXRF i EDPXRF) per a establir la capacitat de la tècnica de XRF com a tècnica alternativa a les clàssiques comunament aplicades en la determinació d'elements en mostres vegetals.

Aplicação de Data Mining à Segurança do Trabalho Ferroviário

Embora o objectivo de redução de acidentes laborais seja frequentemente invocado para justificar uma aplicação preventiva de testes de álcool e drogas no trabalho, há poucas evidências estatisticamente relevantes das pressupostas causalidade e correlação negativa entre a sujeição aos testes e os posteriores acidentes. Os dados de testes e dos acidentes ocorridos com os colaboradores de uma transportadora ferroviária portuguesa de âmbito nacional, durante anos recentes, começam agora a ser explorados, em busca de relações entre estas e outras variáveis biográficas. - Although the aim of reducing occupational accidents is frequently cited to justify preventive drug and alcohol testing at work, there is little statistically significant evidence of the assumed causality and negative correlation between exposure to testing and subsequent accidents. Data mining of tests and accidents involving employees of a Portuguese national wide railway transportation company, during recent years, is now beginning in search of relations between these and other biographical variables.