Efficient mining of association rules based on formal concept analysis

Association rules are a popular knowledge discovery technique for warehouse basket analysis. They indicate which items of the warehouse are frequently bought together. The problem of association rule mining has first been stated in 1993. Five years later, several research groups discovered that this problem has a strong connection to Formal Concept Analysis (FCA). In this survey, we will first introduce some basic ideas of this connection along a specific algorithm, TITANIC, and show how FCA helps in reducing the number of resulting rules without loss of information, before giving a general overview over the history and state of the art of applying FCA for association rule mining.

Adaptive Real-time Anomaly-based Intrusion Detection using Data Mining and Machine Learning Techniques

Die zunehmende Vernetzung der Informations- und Kommunikationssysteme führt zu einer weiteren Erhöhung der Komplexität und damit auch zu einer weiteren Zunahme von Sicherheitslücken. Klassische Schutzmechanismen wie Firewall-Systeme und Anti-Malware-Lösungen bieten schon lange keinen Schutz mehr vor Eindringversuchen in IT-Infrastrukturen. Als ein sehr wirkungsvolles Instrument zum Schutz gegenüber Cyber-Attacken haben sich hierbei die Intrusion Detection Systeme (IDS) etabliert. Solche Systeme sammeln und analysieren Informationen von Netzwerkkomponenten und Rechnern, um ungewöhnliches Verhalten und Sicherheitsverletzungen automatisiert festzustellen. Während signatur-basierte Ansätze nur bereits bekannte Angriffsmuster detektieren können, sind anomalie-basierte IDS auch in der Lage, neue bisher unbekannte Angriffe (Zero-Day-Attacks) frühzeitig zu erkennen. Das Kernproblem von Intrusion Detection Systeme besteht jedoch in der optimalen Verarbeitung der gewaltigen Netzdaten und der Entwicklung eines in Echtzeit arbeitenden adaptiven Erkennungsmodells. Um diese Herausforderungen lösen zu können, stellt diese Dissertation ein Framework bereit, das aus zwei Hauptteilen besteht. Der erste Teil, OptiFilter genannt, verwendet ein dynamisches "Queuing Concept", um die zahlreich anfallenden Netzdaten weiter zu verarbeiten, baut fortlaufend Netzverbindungen auf, und exportiert strukturierte Input-Daten für das IDS. Den zweiten Teil stellt ein adaptiver Klassifikator dar, der ein Klassifikator-Modell basierend auf "Enhanced Growing Hierarchical Self Organizing Map" (EGHSOM), ein Modell für Netzwerk Normalzustand (NNB) und ein "Update Model" umfasst. In dem OptiFilter werden Tcpdump und SNMP traps benutzt, um die Netzwerkpakete und Hostereignisse fortlaufend zu aggregieren. Diese aggregierten Netzwerkpackete und Hostereignisse werden weiter analysiert und in Verbindungsvektoren umgewandelt. Zur Verbesserung der Erkennungsrate des adaptiven Klassifikators wird das künstliche neuronale Netz GHSOM intensiv untersucht und wesentlich weiterentwickelt. In dieser Dissertation werden unterschiedliche Ansätze vorgeschlagen und diskutiert. So wird eine classification-confidence margin threshold definiert, um die unbekannten bösartigen Verbindungen aufzudecken, die Stabilität der Wachstumstopologie durch neuartige Ansätze für die Initialisierung der Gewichtvektoren und durch die Stärkung der Winner Neuronen erhöht, und ein selbst-adaptives Verfahren eingeführt, um das Modell ständig aktualisieren zu können. Darüber hinaus besteht die Hauptaufgabe des NNB-Modells in der weiteren Untersuchung der erkannten unbekannten Verbindungen von der EGHSOM und der Überprüfung, ob sie normal sind. Jedoch, ändern sich die Netzverkehrsdaten wegen des Concept drif Phänomens ständig, was in Echtzeit zur Erzeugung nicht stationärer Netzdaten führt. Dieses Phänomen wird von dem Update-Modell besser kontrolliert. Das EGHSOM-Modell kann die neuen Anomalien effektiv erkennen und das NNB-Model passt die Änderungen in Netzdaten optimal an. Bei den experimentellen Untersuchungen hat das Framework erfolgversprechende Ergebnisse gezeigt. Im ersten Experiment wurde das Framework in Offline-Betriebsmodus evaluiert. Der OptiFilter wurde mit offline-, synthetischen- und realistischen Daten ausgewertet. Der adaptive Klassifikator wurde mit dem 10-Fold Cross Validation Verfahren evaluiert, um dessen Genauigkeit abzuschätzen. Im zweiten Experiment wurde das Framework auf einer 1 bis 10 GB Netzwerkstrecke installiert und im Online-Betriebsmodus in Echtzeit ausgewertet. Der OptiFilter hat erfolgreich die gewaltige Menge von Netzdaten in die strukturierten Verbindungsvektoren umgewandelt und der adaptive Klassifikator hat sie präzise klassifiziert. Die Vergleichsstudie zwischen dem entwickelten Framework und anderen bekannten IDS-Ansätzen zeigt, dass der vorgeschlagene IDSFramework alle anderen Ansätze übertrifft. Dies lässt sich auf folgende Kernpunkte zurückführen: Bearbeitung der gesammelten Netzdaten, Erreichung der besten Performanz (wie die Gesamtgenauigkeit), Detektieren unbekannter Verbindungen und Entwicklung des in Echtzeit arbeitenden Erkennungsmodells von Eindringversuchen.

TU Graz: Course: 707.000 Web Science and Web Technology: Lecture 10: Text Mining

This class introduces basics of web mining and information retrieval including, for example, an introduction to the Vector Space Model and Text Mining. Guest Lecturer: Dr. Michael Granitzer Optional: Modeling the Internet and the Web: Probabilistic Methods and Algorithms, Pierre Baldi, Paolo Frasconi, Padhraic Smyth, Wiley, 2003 (Chapter 4, Text Analysis)

Useful academic references for data mining and usage statistics

Relates to the following software for analysing Blackboard stats http://www.edshare.soton.ac.uk/11134/ Is supporting material for the following podcast: http://youtu.be/yHxCzjiYBoU

Mining Events from Multimedia streams, Jon Hare

peaker(s): Jon Hare Organiser: Time: 25/06/2014 11:00-11:50 Location: B32/3077 Abstract The aggregation of items from social media streams, such as Flickr photos and Twitter tweets, into meaningful groups can help users contextualise and effectively consume the torrents of information on the social web. This task is challenging due to the scale of the streams and the inherently multimodal nature of the information being contextualised. In this talk I'll describe some of our recent work on trend and event detection in multimedia data streams. We focus on scalable streaming algorithms that can be applied to multimedia data streams from the web and the social web. The talk will cover two particular aspects of our work: mining Twitter for trending images by detecting near duplicates; and detecting social events in multimedia data with streaming clustering algorithms. I'll will describe in detail our techniques, and explore open questions and areas of potential future work, in both these tasks.

El reasentamiento involuntario a raíz de la actividad minera y su efecto en las transformaciones socio-espaciales en el corregimiento de Providencia-Antioquia

El corregimiento de Providencia -Antioquia, es el epicentro del proyecto minero aurífero a cielo abierto más grande de Colombia: ‘Gramalote’. Por ser parte de la zona de influencia directa del proyecto, el reasentamiento involuntario de la población parecería ser definitivo en el mediano plazo. Empero, el gran reto es llevar a cabo un proceso de reasentamiento exitoso a sabiendas que en Colombia no existe una política nacional de reasentamiento y por lo tanto, en este caso específico la empresa deberá implementar la Norma de Desempeño 5 –PS5-: Adquisición de Tierras y Reasentamiento Involuntario creada por el Banco Mundial. A lo largo del documento el lector encontrará que el mayor reto de la aplicación de la PS5 radica primero, en el desconocimiento que tienen las entidades de control al respecto y segundo, en el cómo aplicar a futuro una norma tan general conociendo que cada territorio y sociedad son altamente heterogéneos.

Impacto del proceso de eliminación del doble conteo del material importado por Carbones del Cerrejón Limited en términos de eficiencia y efectividad en el proceso de nacionalización y liberación del material

La operación de mega minería que abarca CERREJON se desarrolla bajo lo más altos estándares de seguridad y calidad, con el compromiso de entregar al mercado un excelente producto y evitando el deterioro del entorno. Uno de los puntos más fuertes de la compañía se haya en la integración de los procesos productivos entre la mina de carbón, el ferrocarril y el puerto, logrando que la operación sea eficiente y que garantice niveles altos de óptimos resultados y que los porcentajes de falla no existan o cada vez sean menores en el proceso de explotación y transporte del carbón de Colombia hacia el mundo. El departamento de MATERIALES es el punto de origen para garantizar que se desarrolle la operación, dado que el departamento tiene la gran labor de adquirir y entregar los bienes y servicios requeridos por la Compañía al más bajo costo total evaluado, en el menor tiempo posible y bajo el marco de la legislación Colombiana en el proceso de nacionalización, con un alto énfasis en el desarrollo de relaciones fuertes y sinérgicas entre todos los eslabones de la cadena. Todo el proceso del departamento se enmarca dentro de un ciclo que debe encaminarse a ser cada vez más efectivo y eficiente; de allí que se busquen opciones de mejoramiento para afinar los procesos. Para que sea posible y factible manejar una mega operación como esta se requiere afinar al máximo la red que se establece en su cadena de abastecimiento, buscando lograr un flujo de producto, información y fondos que garanticen disponibilidad del producto, para así generar una rentabilidad alta a la compañía, y controlar los costos por la operación. Dado que la cadena de suministro es susceptible a mejoras, gracias a la interacción con los proveedores, colaboradores y clientes; se pretende sacar el mejor provecho de esto, a través del análisis de la cadena actual de CERREJON; presentando una opción de mejora en uno de los eslabones del proceso productivo, esta opción ha sido contemplada desde años anteriores, pero en esta ocasión gracias a la integración de afinamientos en los sistemas de información, y la participación activa de los proveedores, se encuentra una opción viable de la eliminación de un reproceso, que garantiza eficiencia y efectividad en la agilización del ciclo de producción en CERREJON. A través de la ejecución del proyecto de reforma del conteo, se presenta la oportunidad de mejoramiento en la cadena del departamento; el proceso de reconteo en la mina, realizado posteriormente al conteo inicial en Puerto Bolívar, de los materiales que llegan importados vía marítima. El proceso de afinamiento del recibo documental en el consolidador de carga y los mayores proveedores de entrega directa (HITACHI y MCA) al transportador, genera la opción del uso de terminales portátiles, que de la mano con los ajustes documentales, permitirán que la carga sea contada y separada por localización, para enviarla vía tren a LMN, reduciendo tiempo de entrega al cliente final, los costos de remanejo al volver a contar, y los costos asociados a las entregas no oportunas de devolución de contenedores.

Síntomas respiratorios y neumoconiosis por polvo de carbón diagnosticada radiológicamente, en los trabajadores de minería subterránea en Boyacá en el año 2014

Introducción Las neumoconiosis son un grupo de enfermedades respiratorias ocupacionales, debidas a la acumulación de polvo en los pulmones. Colombia pese a ser un país minero, no cuenta con datos oficiales sobre la prevalencia de la neumoconiosis que permitan implementar medidas preventivas para evitar el desarrollo de enfermedades asociadas a la explotación minera y que disminuyan la incidencia y prevalencia de la neumoconiosis. Objetivos Determinar la prevalencia de neumoconiosis a partir del diagnóstico radiológico y describir síntomas respiratorios referidos por los trabajadores de las minas subterráneas de carbón en el departamento de Boyacá. Materiales y métodos Se realizó un estudio descriptivo de corte transversal en 232 trabajadores de minería subterránea del departamento de Boyacá; teniendo como fuente de información los datos obtenidos en el proyecto “Evaluación de la exposición a polvo de carbón en tres departamentos de Colombia, 2012-2015”, financiado por el Instituto Nacional de Salud, Universidad de Los Andes, la Universidad del Rosario, Positiva ARL y Colciencias. El análisis de los datos del estudio se realizó a través del software Stata versión 11. Resultados El 100% de la población estudio fueron de sexo masculino. La mediana para la edad fue de 40.5 años (20 – 73). La labor más comúnmente desempañada por los mineros fue: picadores 168 (72,41%). Los síntomas respiratorios más frecuentemente encontrados en este estudio fueron expectoración y tos. En cuanto a expectoración fue más frecuente en la mañana durante el invierno: 66.38% (154) y la tos de día o de noche durante el invierno: 53.88% (125). Para el hábito de fumar el 17.67% fumaba al momento del estudio. En 69 mineros (29.74%) se encontraron anormalidades parenquimatosas en la Radiografía de Tórax.

Síntomas respiratorios y neumoconiosis por polvo de carbón diagnosticada radiológicamente, en los trabajadores de minería subterránea en Boyacá en el año 2014

Introducción Las neumoconiosis son un grupo de enfermedades respiratorias ocupacionales, debidas a la acumulación de polvo en los pulmones. Colombia pese a ser un país minero, no cuenta con datos oficiales sobre la prevalencia de la neumoconiosis que permitan implementar medidas preventivas para evitar el desarrollo de enfermedades asociadas a la explotación minera y que disminuyan la incidencia y prevalencia de la neumoconiosis. Objetivos Determinar la prevalencia de neumoconiosis a partir del diagnóstico radiológico y describir síntomas respiratorios referidos por los trabajadores de las minas subterráneas de carbón en el departamento de Boyacá. Materiales y métodos Se realizó un estudio descriptivo de corte transversal en 232 trabajadores de minería subterránea del departamento de Boyacá; teniendo como fuente de información los datos obtenidos en el proyecto “Evaluación de la exposición a polvo de carbón en tres departamentos de Colombia, 2012-2015”, financiado por el Instituto Nacional de Salud, Universidad de Los Andes, la Universidad del Rosario, Positiva ARL y Colciencias. El análisis de los datos del estudio se realizó a través del software Stata versión 11. Resultados El 100% de la población estudio fueron de sexo masculino. La mediana para la edad fue de 40.5 años (20 – 73). La labor más comúnmente desempañada por los mineros fue: picadores 168 (72,41%). Los síntomas respiratorios más frecuentemente encontrados en este estudio fueron expectoración y tos. En cuanto a expectoración fue más frecuente en la mañana durante el invierno: 66.38% (154) y la tos de día o de noche durante el invierno: 53.88% (125). Para el hábito de fumar el 17.67% fumaba al momento del estudio. En 69 mineros (29.74%) se encontraron anormalidades parenquimatosas en la Radiografía de Tórax.

Prevalencia de signos y síntomas de desorden musculoesquelético y su asociación con factores ocupacionales en trabajadores de minas de carbón subterráneo en cinco municipios de la región de Ubaté, Cundinamarca 2013-2014

Estudio de corte transversal cuyo objetivo es identificar la prevalencia de signos y síntomas de desordenes musculoesqueléticos (DME) en trabajadores que realicen actividades laborales para las empresas mineras de carbón subterráneo en cinco municipios de la Región de Ubaté en el Departamento de Cundinamarca, 2013-2014. Los DME constituyen una de las causas de enfermedad de origen laboral más comunes en todo el mundo; en Colombia específicamente, representan el 82% de las enfermedades laborales. La minería en la Región de Ubaté es una de las principales fuentes producción y generación de empleo. Dado que el país se cuenta con escasa literatura al respecto en el sector minero, es importante dar a conocer la prevalencia de los signos y síntomas de DME y su asociación con los factores ocupacionales que se presentan en la minería subterránea. Se tuvo en cuenta una población de 1.901 trabajadores pertenecientes a 556 empresas de minería de carbón subterránea, donde la muestra fue estratificada por asignación proporcional, de conglomerados, con selección aleatoria y bietápica, correspondiente a 215 trabajadores mineros que trabajan en las 11 empresas seleccionadas, a quienes se aplicó el instrumento del cuestionario Nórdico y las pruebas clínicas estandarizadas para la evaluación de la presencia de signos y síntomas de DME. En los resultados se encontró que la mayor prevalencia de signos y síntomas de DME, se localizó en las regiones, lumbar y de hombros, los cuales están asociados principalmente a factores ocupacionales como el tipo de extracción manual y los cargos de descargue y frentero.

Niveles de exposición ambiental a polvo de carbón y su relación con las condiciones de higiene y seguridad industrial en trabajadores de minas subterráneas de la región de Boyacá

Introducción: La minería subterránea es considerada de alto riesgo afectando la salud de trabajadores expuestos a factores de riesgo y condiciones de trabajo, sin que exista información sobre concentración de material particulado y niveles de riesgo. Objetivo: Determinar la exposición ambiental a polvo de carbón y su relación con las condiciones de higiene y seguridad industrial en los trabajadores que laboran en minas subterráneas de la región de Boyacá. Materiales y métodos: Estudio de corte transversal donde se emplearon cuestionarios para recolectar datos sobre condiciones de trabajo y se realizaron muestreos ambientales de material particulado mediante método de análisis gravimétrico y metodología 0600 de NIOSH. Resultados: Estudio realizado en 19 empresas con 232 trabajadores, con edades entre 20 y 73 años. La concentración promedio de material particulado en los 209 monitoreos realizados fue de 3,4 +3,4mg/m3. El nivel de riesgo alto por exposición a polvo de carbón se encontró en el 70,8% (148) de los monitoreos y el 20,6% (43) en nivel severo, con promedio de 4,9 +4,9 mg/m3. Asociaciones significativas se reportaron entre trabajadores que no usaban protección respiratoria y nivel de riesgo medio y alto (p=0,033); uso mascarilla sin cartucho y nivel de riesgo bajo y medio (p=0,013); el no uso de protección auditiva y niveles medio y alto (p=0,010) y consumo de cigarrillo en el trabajo y niveles medio, alto y severo (p=0,008). Conclusiones: Se determinó vinculación y relación significativa entre los niveles de riesgo alto y severo por exposición a polvo de carbón con concentraciones por encima de niveles permisibles y las condiciones de seguridad industrial de trabajadores

La actividad carbonífera y su incidencia en las necesidades básicas humanas. Una aproximación al fenómeno de violencia estructural en el municipio de Albania, Guajira.

La presente investigación tiene como objetivo, determinar la manera a partir de la cual, las posibles consecuencias de la actividad carbonífera en el complejo minero de El Cerrejón, sobre las necesidades básicas humanas de la población del municipio de Albania Guajira, pueden ser consideradas como un fenómeno de violencia estructural.