A big data platform for large scale event processing

To date, big data applications have focused on the store-and-process paradigm. In this paper we describe an initiative to deal with big data applications for continuous streams of events. In many emerging applications, the volume of data being streamed is so large that the traditional ‘store-then-process’ paradigm is either not suitable or too inefficient. Moreover, soft-real time requirements might severely limit the engineering solutions. Many scenarios fit this description. In network security for cloud data centres, for instance, very high volumes of IP packets and events from sensors at firewalls, network switches and routers and servers need to be analyzed and should detect attacks in minimal time, in order to limit the effect of the malicious activity over the IT infrastructure. Similarly, in the fraud department of a credit card company, payment requests should be processed online and need to be processed as quickly as possible in order to provide meaningful results in real-time. An ideal system would detect fraud during the authorization process that lasts hundreds of milliseconds and deny the payment authorization, minimizing the damage to the user and the credit card company.

Urban trees and atmospheric pollutants in big cities: Effects in Madrid

Una investigación sobre la mejora de la contaminación del aire (CA) por medio de arbolado urbano se realizó en Madrid, una ciudad con casi 4 M de habitantes, 2,8 M de vehículos y casi 3 M de árboles de mantenimiento público. La mayoría de los árboles estaban en dos bosques periurbanos. Los 650.000 restantes era pies de alineación y parques. Los taxones estudiados fueron Platanus orientalis (97.205 árboles), Ulmus sp. (70.557), Pinus pinea (49.038), Aesculus hippocastanum (22.266), Cedrus sp. (13.678) y Quercus ilex (1.650), de calles y parques. Muestras foliares se analizaron en diferentes épocas del año, así como datos de contaminación por PM10 de 28 estaciones de medición de la contaminación durante 30 años, y también la intensidad del tráfico (IMD) en 2.660 calles. La acumulación de metales pesados (MP) sobre hojas y dentro de estas se estimó en relación con la CA y del suelo y la IMD del tráfico. La concentración media de Ba, Cd, Cr, Cu, Mn, Ni, Pb y Zn en suelo (materia seca) alcanzó: 489,5, 0,7, 49,4, 60,9, 460,9, 12,8, 155,9 y 190,3 mg kg-1 respectivamente. Los árboles urbanos, particularmente coníferas (debido a la mayor CA en invierno) contribuyen significativamente a mejorar la CA sobre todo en calles con alta IMD. La capacidad de las seis sp. para capturar partículas de polvo en su superficies foliares está relacionada con la IMD del tráfico y se estimó en 16,8 kg/año de MP tóxicos. Pb y Zn resultaron ser buenos marcadores antrópicos en la ciudad en relación con el tráfico, que fue la principal fuente de contaminación en los árboles y suelos de Madrid. Las especies de árboles variaron en función de su capacidad para capturar partículas (dependiendo de las propiedades de sus superficies foliares) y acumular los MP absorbidos de los suelos. Las concentraciones foliares de Pb y Zn estuvieron por encima de los límites establecidos en diferentes sitios de la ciudad. La microlocalización de Zn mediante microscópico mostró la translocación al xilema y floema. Se detectaron puntos de contaminación puntual de Cu and Cr en antiguos polígonos industriales y la distribución espacial de los MP en los suelos de Madrid mostró que en incluso en zonas interiores del El Retiro había ciertos niveles elevados de [Pb] en suelo, tal vez por el emplazamiento la Real Fábrica de Porcelana en la misma zona hace 200 años. Distintas áreas del centro de la ciudad también alcanzaron niveles altos de [Pb] en suelo. Según los resultados, el empleo de una combinación de Pinus pinea con un estrato intermedio de Ulmus sp. y Cedrus sp. puede ser la mejor recomendación como filtro verde eficiente. El efecto del ozono (O3) sobre el arbolado en Madrid fue también objeto de este estudio. A pesar de la reducción de precursores aplicada en muchos países industrializados, O3 sigue siendo la principal causa de CA en el hemisferio norte, con el aumento de [O3] de fondo. Las mayores [O3] se alcanzaron en regiones mediterráneas, donde el efecto sobre la vegetación natural es compensado por el xeromorfismo y la baja conductancia estomática en respuesta los episodios de sequía estival característicos de este clima. Durante una campaña de monitoreo, se identificaron daños abióticos en hojas de encina parecidos a los de O3 que estaban plantadas en una franja de césped con riego del centro de Madrid. Dada la poca evidencia disponible de los síntomas de O3 en frondosas perennifolias, se hizo un estudio que trató de 1) confirman el diagnóstico de daño de O3, 2) investigar el grado de los síntomas en encinas y 3) analizar los factores ambientales que contribuyeron a los daños por O3, en particular en lo relacionado con el riego. Se analizaron los marcadores macro y micromorfológicos de estrés por O3, utilizando las mencionadas encinas a modo de parcela experimental. Los síntomas consistieron en punteado intercostal del haz, que aumentó con la edad. Además de un punteado subyacente, donde las células superiores del mesófilo mostraron reacciones características de daños por O3. Las células próximas a las zonas dañadas, presentaron marcadores adicionales de estrés oxidativo. Estos marcadores morfológicos y micromorfológicos de estrés por O3 fueron similares a otras frondosas caducifolias con daños por O3. Sin embargo, en nuestro caso el punteado fue evidente con AOT40 de 21 ppm•h, asociada a riego. Análisis posteriores mostraron que los árboles con riego aumentaron su conductancia estomática, con aumento de senescencia, manteniéndose sin cambios sus características xeromórficas foliares. Estos hallazgos ponen de relieve el papel primordial de la disponibilidad de agua frente a las características xeromórficas a la hora de manifestarse los síntomas en las células por daños de O3 en encina. ABSTRACT Research about air pollution mitigation by urban trees was conducted in Madrid (Spain), a southern European city with almost 4 M inhabitants, 2.8 M daily vehicles and 3 M trees under public maintenance. Most trees were located in two urban forests, while 650'000 trees along urban streets and in parks. The urban taxa included Platanus orientalis (97'205 trees), Ulmus sp. (70’557), Pinus pinea (49'038), Aesculus hippocastanum (22’266), Cedrus sp. (13'678 and Quercus ilex (1'650) along streets and parks. Leave samples were analysed sequentially in different seasons, PM10 data from 28 air monitoring stations during 30 years and traffic density estimated from 2’660 streets. Heavy metal (HM) accumulation on the leaf surface and within leaves was estimated per tree related to air and soil pollution, and traffic intensity. Mean concentration of Ba, Cd, Cr, Cu, Mn, Ni, Pb and Zn in topsoil samples (dry mass) amounted in Madrid: 489.5, 0.7, 49.4, 60.9, 460.9, 12.8, 155.9 and 190.3 mg kg-1 respectively. Urban trees, particularly conifers (due to higher pollution in winter) contributed significantly to alleviate air pollution especially near to high ADT roads. The capacity of the six urban street trees species to capture air-born dust on the foliage surface as related to traffic intensity was estimated to 16.8 kg of noxious metals from exhausts per year. Pb and Zn pointed to be tracers of anthropic activity in the city with vehicle traffic as the main source of diffuse pollution on trees and soils. Tree species differed by their capacity to capture air-borne dust (by different leaf surface properties) and to allocate HM from soils. Pb and Zn concentrations in the foliage were above limits in different urban sites and microscopic Zn revelation showed translocation in xylem and phloem tissue. Punctual contamination in soils by Cu and Cr was identified in former industrial areas and spatial trace element mapping showed for central Retiro Park certain high values of [Pb] in soils even related to a Royal pottery 200 years ago. Different areas in the city centre also reached high levels [Pb] in soils. According to the results, a combination of Pinus pinea with understorey Ulmus sp. and Cedrus sp. layers can be recommended for the best air filter efficiency. The effects of ozone (O3) on trees in different areas of Madrid were also part of this study. Despite abatement programs of precursors implemented in many industrialized countries, ozone remained the main air pollutant throughout the northern hemisphere with background [O3] increasing. Some of the highest ozone concentrations were measured in regions with a Mediterranean climate but the effect on the natural vegetation is alleviated by low stomatal uptake and frequent leaf xeromorphy in response to summer drought episodes characteristic of this climate. During a bioindication survey, abiotic O3-like injury was identified in foliage. Trees were growing on an irrigated lawn strip in the centre of Madrid. Given the little structural evidence available for O3 symptoms in broadleaved evergreen species, a study was undertaken in 2007 with the following objectives 1) confirm the diagnosis, 2) investigate the extent of symptoms in holm oaks growing in Madrid and 3) analyse the environmental factors contributing to O3 injury, particularly, the site water supply. Therefore, macro- and micromorphological markers of O3 stress were analysed, using the aforementioned lawn strip as an intensive study site. Symptoms consisted of adaxial and intercostal stippling increasing with leaf age. Underlying stippling, cells in the upper mesophyll showed HR-like reactions typical of ozone stress. The surrounding cells showed further oxidative stress markers. These morphological and micromorphological markers of ozone stress were similar to those recorded in deciduous broadleaved species. However, stippling became obvious already at an AOT40 of 21 ppm•h and was primarily found at irrigated sites. Subsequent analyses showed that irrigated trees had their stomatal conductance increased and leaf life-span reduced whereas their leaf xeromorphy remained unchanged. These findings suggest a central role of water availability versus leaf xeromorphy for ozone symptom expression by cell injury in holm oak.

Big bridge in pérgola for high speed trains to the northwest of Spain

Big bridge in pérgola for high speed trains to the northwest of Spain

Big Data : análisis y estudio de la plataforma Hadoop

Desde el inicio de los tiempos el ser humano ha tenido la necesidad de comprender y analizar todo lo que nos rodea, para ello se ha valido de diferentes herramientas como las pinturas rupestres, la biblioteca de Alejandría, bastas colecciones de libros y actualmente una enorme cantidad de información informatizada. Todo esto siempre se ha almacenado, según la tecnología de la época lo permitía, con la esperanza de que fuera útil mediante su consulta y análisis. En la actualidad continúa ocurriendo lo mismo. Hasta hace unos años se ha realizado el análisis de información manualmente o mediante bases de datos relacionales. Ahora ha llegado el momento de una nueva tecnología, Big Data, con la cual se puede realizar el análisis de extensas cantidades de datos de todo tipo en tiempos relativamente pequeños. A lo largo de este libro, se estudiarán las características y ventajas de Big Data, además de realizar un estudio de la plataforma Hadoop. Esta es una plataforma basada en Java y puede realizar el análisis de grandes cantidades de datos de diferentes formatos y procedencias. Durante la lectura de estas páginas se irá dotando al lector de los conocimientos previos necesarios para su mejor comprensión, así como de ubicarle temporalmente en el desarrollo de este concepto, de su uso, las previsiones y la evolución y desarrollo que se prevé tenga en los próximos años. ABSTRACT. Since the beginning of time, human being was in need of understanding and analyzing everything around him. In order to do that, he used different media as cave paintings, Alexandria library, big amount of book collections and nowadays massive amount of computerized information. All this information was stored, depending on the age and technology capability, with the expectation of being useful though it consulting and analysis. Nowadays they keep doing the same. In the last years, they have been processing the information manually or using relational databases. Now it is time for a new technology, Big Data, which is able to analyze huge amount of data in a, relatively, small time. Along this book, characteristics and advantages of Big Data will be detailed, so as an introduction to Hadoop platform. This platform is based on Java and can perform the analysis of massive amount of data in different formats and coming from different sources. During this reading, the reader will be provided with the prior knowledge needed to it understanding, so as the temporal location, uses, forecast, evolution and growth in the next years.

Estudio y evaluación de sistemas “BIG Data” de tratamiento de información

En estos tiempos toma un papel fundamental poder analizar toda la información que circula por la red de una manera rápida y sencilla para poder obtener un gran valor de ella. La denominada Big Data es cada día más importante para las empresas y es por ello por lo que en este trabajo se va a estudiar una solución novedosa para su manejo. Apache Spark es una herramienta creada para el manejo de esas cantidades de información y a lo largo de este trabajo se van a mostrar sus puntos fuertes, así como diferentes casos de uso donde aporta una gran ventaja sobre sus alternativas.