Statistical models for short-term wind power ramp forecasting

La predicción de energía eólica ha desempeñado en la última década un papel fundamental en el aprovechamiento de este recurso renovable, ya que permite reducir el impacto que tiene la naturaleza fluctuante del viento en la actividad de diversos agentes implicados en su integración, tales como el operador del sistema o los agentes del mercado eléctrico. Los altos niveles de penetración eólica alcanzados recientemente por algunos países han puesto de manifiesto la necesidad de mejorar las predicciones durante eventos en los que se experimenta una variación importante de la potencia generada por un parque o un conjunto de ellos en un tiempo relativamente corto (del orden de unas pocas horas). Estos eventos, conocidos como rampas, no tienen una única causa, ya que pueden estar motivados por procesos meteorológicos que se dan en muy diferentes escalas espacio-temporales, desde el paso de grandes frentes en la macroescala a procesos convectivos locales como tormentas. Además, el propio proceso de conversión del viento en energía eléctrica juega un papel relevante en la ocurrencia de rampas debido, entre otros factores, a la relación no lineal que impone la curva de potencia del aerogenerador, la desalineación de la máquina con respecto al viento y la interacción aerodinámica entre aerogeneradores. En este trabajo se aborda la aplicación de modelos estadísticos a la predicción de rampas a muy corto plazo. Además, se investiga la relación de este tipo de eventos con procesos atmosféricos en la macroescala. Los modelos se emplean para generar predicciones de punto a partir del modelado estocástico de una serie temporal de potencia generada por un parque eólico. Los horizontes de predicción considerados van de una a seis horas. Como primer paso, se ha elaborado una metodología para caracterizar rampas en series temporales. La denominada función-rampa está basada en la transformada wavelet y proporciona un índice en cada paso temporal. Este índice caracteriza la intensidad de rampa en base a los gradientes de potencia experimentados en un rango determinado de escalas temporales. Se han implementado tres tipos de modelos predictivos de cara a evaluar el papel que juega la complejidad de un modelo en su desempeño: modelos lineales autorregresivos (AR), modelos de coeficientes variables (VCMs) y modelos basado en redes neuronales (ANNs). Los modelos se han entrenado en base a la minimización del error cuadrático medio y la configuración de cada uno de ellos se ha determinado mediante validación cruzada. De cara a analizar la contribución del estado macroescalar de la atmósfera en la predicción de rampas, se ha propuesto una metodología que permite extraer, a partir de las salidas de modelos meteorológicos, información relevante para explicar la ocurrencia de estos eventos. La metodología se basa en el análisis de componentes principales (PCA) para la síntesis de la datos de la atmósfera y en el uso de la información mutua (MI) para estimar la dependencia no lineal entre dos señales. Esta metodología se ha aplicado a datos de reanálisis generados con un modelo de circulación general (GCM) de cara a generar variables exógenas que posteriormente se han introducido en los modelos predictivos. Los casos de estudio considerados corresponden a dos parques eólicos ubicados en España. Los resultados muestran que el modelado de la serie de potencias permitió una mejora notable con respecto al modelo predictivo de referencia (la persistencia) y que al añadir información de la macroescala se obtuvieron mejoras adicionales del mismo orden. Estas mejoras resultaron mayores para el caso de rampas de bajada. Los resultados también indican distintos grados de conexión entre la macroescala y la ocurrencia de rampas en los dos parques considerados. Abstract One of the main drawbacks of wind energy is that it exhibits intermittent generation greatly depending on environmental conditions. Wind power forecasting has proven to be an effective tool for facilitating wind power integration from both the technical and the economical perspective. Indeed, system operators and energy traders benefit from the use of forecasting techniques, because the reduction of the inherent uncertainty of wind power allows them the adoption of optimal decisions. Wind power integration imposes new challenges as higher wind penetration levels are attained. Wind power ramp forecasting is an example of such a recent topic of interest. The term ramp makes reference to a large and rapid variation (1-4 hours) observed in the wind power output of a wind farm or portfolio. Ramp events can be motivated by a broad number of meteorological processes that occur at different time/spatial scales, from the passage of large-scale frontal systems to local processes such as thunderstorms and thermally-driven flows. Ramp events may also be conditioned by features related to the wind-to-power conversion process, such as yaw misalignment, the wind turbine shut-down and the aerodynamic interaction between wind turbines of a wind farm (wake effect). This work is devoted to wind power ramp forecasting, with special focus on the connection between the global scale and ramp events observed at the wind farm level. The framework of this study is the point-forecasting approach. Time series based models were implemented for very short-term prediction, this being characterised by prediction horizons up to six hours ahead. As a first step, a methodology to characterise ramps within a wind power time series was proposed. The so-called ramp function is based on the wavelet transform and it provides a continuous index related to the ramp intensity at each time step. The underlying idea is that ramps are characterised by high power output gradients evaluated under different time scales. A number of state-of-the-art time series based models were considered, namely linear autoregressive (AR) models, varying-coefficient models (VCMs) and artificial neural networks (ANNs). This allowed us to gain insights into how the complexity of the model contributes to the accuracy of the wind power time series modelling. The models were trained in base of a mean squared error criterion and the final set-up of each model was determined through cross-validation techniques. In order to investigate the contribution of the global scale into wind power ramp forecasting, a methodological proposal to identify features in atmospheric raw data that are relevant for explaining wind power ramp events was presented. The proposed methodology is based on two techniques: principal component analysis (PCA) for atmospheric data compression and mutual information (MI) for assessing non-linear dependence between variables. The methodology was applied to reanalysis data generated with a general circulation model (GCM). This allowed for the elaboration of explanatory variables meaningful for ramp forecasting that were utilized as exogenous variables by the forecasting models. The study covered two wind farms located in Spain. All the models outperformed the reference model (the persistence) during both ramp and non-ramp situations. Adding atmospheric information had a noticeable impact on the forecasting performance, specially during ramp-down events. Results also suggested different levels of connection between the ramp occurrence at the wind farm level and the global scale.

Capacidad y comportamiento de la adsorción de fenol en caolines naturales y modificados

En la actualidad las industrias químicas, farmacéuticas y clínicas, originan contaminantes en aguas superficiales, aguas subterráneas y suelos de nuestro país, como es el caso del fenol, contaminante orgánico común y altamente dañino para los organismos, incluso a bajas concentraciones. Existen en el mercado diferentes metodologías para minimizar la contaminación pero muchos de estos procesos tienen un alto coste, generación de contaminantes, etc. La adsorción de contaminantes por medio de arcillas es un método ampliamente utilizado, encontrándose eficaz y económico. Pero la dificultad de adsorber un contaminante orgánico como el fenol motiva la creación de un material llamado organoarcillas. Las organoarcillas son arcillas modificadas con un surfactante, a su vez, los surfactantes son moléculas orgánicas que confieren a la superficie de la arcilla carga catiónica en lugar de aniónica, haciendo más fácil la adsorción de fenol. Para esta tesis se ha elegido el caolín como material adsorbente, fácilmente disponible y relativamente de bajo coste. Se ha trabajado con: arenas de caolín, material directo de la extracción, y caolín lavado, originado del proceso de lavado de las arenas de caolín. Ambos grupos se diferencian fundamentalmente por su contenido en cuarzo, ampliamente mayor en las arenas de caolín. Con el objetivo de desarrollar un material a partir del caolín y arenas de éste con capacidad de retención de contaminates, en concreto, fenol, se procedió a modificar los materiales de partida mediante tratamientos térmicos, mecánicos y/o químicos, dando lugar a compuestos con mayor superficie química reactiva. Para ello se sometió el caolín y las arenas caoliníferas a temperaturas de 750ºC durante 3h, a moliendas hasta alcanzar su amorfización, y/o a activaciones con HCl 6M o con NaOH 5M durante 3h a 90ºC. En total se obtuvieron 18 muestras, en las que se estudiaron las características físico-químicas, mineralógicas y morfológicas de cada una de ellas con el fin de caracterizarlas después de haber sufrido los tratamientos y/o activaciones químicas. Los cambios producidos fueron estudiados mediante pH, capacidad de intercambio catiónico (CEC), capacidad de adsorción de agua (WCU y CWC), distribución de tamaño de partícula (PSD), área de superficie específica (SBET), difracción de rayos X (XRD), espectroscopía infrarroja por transformada de Fourier (FTIR), métodos térmicos (TG, DTG y DTA), y microscopía electrónica de transmisión y barrido (SEM y TEM). Además se analizó los cambios producidos por los tratamientos en función de las pérdidas de Al y Si que acontece en las 18 muestras. Los resultados para los materiales derivados de la arenas caoliníferas fueron similares a los obtenidos para los caolines lavados, la diferencia radica en la cantidad de contenido de caolinita en los diferente grupos de muestras. Apoyándonos en las técnicas de caracterización se puede observar que los tratamientos térmico y molienda produce materiales amorfos, este cambio en la estructura inicial sumado a las activaciones ácida y alcalina dan lugar a pérdidas de Si y Al, ocasionando que sus propiedades físico-químicas, mineralógicas y morfológicas se vean alteradas. Un fuerte aumento es observado en las áreas superficiales y en la CEC en determinadas muestras, además entre los cambios producidos se encuentra la producción de diferentes zeolitas en porcentajes distintos con el tratamiento alcalino. Para la obtención de las organoarcillas, las 18 muestras se sometieron a la surfactación con hexadeciltrimetil amonio (HDTMA) 20 mM durante 24h a 60ºC, esta concentración de tensioactivo fue más alta que la CEC de cada muestra. Los camext bios anteriormente producidos por los tratamientos y activaciones, afectan de forma diferente en la adsorción de HDTMA, variando por tanto la adsorción del surfactante en la superficie de las muestras. Se determinó el tensioactivo en superficie por FTIR, además se realizó un análisis de componentes principales (PCA) para examinar la dependencia entre las relaciones Si/Al de las muestras en la capacidad de adsorción de tensioactivo, y para el estudio de la adsorción de HDTMA en las muestras se realizaron además del análisis termogravimétrico, aproximaciones con los modelos de Freundllich y Langmuir. Se persigue conocer las diferentes formas y maneras que tiene el tensioactivo de fijarse en la superficie de las muestras. En las organoarcillas resultantes se cuantificó el fenol adsorbido cuando éstas fueron puestas en contacto con diferentes concentraciones de fenol: 50, 500, 1000, 2000, y 2500 mg/l durante 24h. El contaminante sorbido se calculó por medio de cromatografía de gases, y se realizaron aproximaciones con los modelos de Freundllich y Langmuir. El comportamiento de adsorción de fenol en arcillas orgánicas es regido por las características de las muestras. De forma general se puede decir que las muestras de caolines lavados tienen más capacidad de adsorción de fenol que las muestras de arenas de caolín y que la activación alcalina ha proporcionado una mejora en la adsorción de fenol en los dos grupos. En consecuencia se han obtenido materiales adsorbentes heterogéneos y por tanto, con propiedades diferentes. Se ha evaluado el comportamiento global de las arenas de caolín por un lado y del caolín lavado por otro. Las arenas de caolín presentan altos niveles de cuarzo y su uso para ciertos tipos de industrias no son recomendados en ocasiones por el alto costo que el proceso de limpieza y purificación implicaría. Por ello es importante reseñar en este proyecto las aplicaciones que ofrecen algunas muestras de este grupo. Los ensayos acontecidos en esta tesis han dado lugar a las siguientes publicaciones: • Pérdida de Al y Si en caolines modificados térmica- o mecánicamente y activados por tratamientos químicos. A. G. San Cristóbal, C Vizcayno, R. Castelló. Macla 9, 113-114. (2008). • Acid activation of mechanically and thermally modfied kaolins. A. G. San Cristóbal, R. Castelló, M. A. Martín Luengo, C Vizcayno. Mater. Res. Bull. 44 (2009) 2103-2111. • Zeolites prepared from calcined and mechanically modified kaolins. A comparative study. A. G San Cristóbal, R. Castelló, M. A. Martín Luengo, C Vizcayno. Applied Clay Science 49 (2010) 239-246. • Study comparative of the sorption of HDTMA on natural and modified kaolin. A. G San Cristóbal, R. Castelló, J. M. Castillejo, C Vizcayno. Aceptada en Clays and Clay minerals. • Capacity of modified kaolin sand and washed kaolin to adsorb phenol. A. G San Cristóbal, R. Castelló, C Vizcayno. Envío a revista sujeto a la publicación del artículo anterior. ABSTRACT Today’s chemical, pharmaceutical and clinical industries generate pollutants that affect the soils and surface and ground waters of our country. Among these, phenol is a common organic pollutant that is extremely harmful to living organisms, even at low concentrations. Several protocols exist to minimize the effects of pollutants, but most are costly procedures or even generate other pollutants. The adsorption of hazardous materials onto clays is perhaps the most used, efficient and cost-saving method available. However, organic compounds such as phenol are difficult to adsorb and this has led to the development of materials known as organoclays, which are much better at remediating organic compounds. Organoclays are clays that have been modified using a surfactant. In turn, surfactants are organic molecules that confer a cationic rather than anionic charge to the clay surface, improving it’s capacity to adsorb phenol. For this doctorate project, kaolin was selected as an adsorbent material for the removal of phenol given its easy sourcing and relatively low cost. The materials investigated were kaolin sand, a directly extracted material, and washed kaolin, which is the byproduct of the kaolin sand washing process. The main difference between the materials is their quartz content, which is much higher in the kaolin sands. To generate a product from kaolin or kaolin sand capable of retaining organic pollutants such as phenol, both materials were subjected to several heat, chemical and/or mechanical treatments to give rise to compounds with a greater reactive surface area. To this end the two starting materials underwent heating at 750ºC for 3 h, grinding to the point of amorphization and/or activation with HCl 6M or NaOH 5M for 3 h at 90ºC. These treatments gave rise to 18 processed samples, which were characterized in terms of their morphological, mineralogical, and physical-chemical properties. The behaviour of these new materials was examined in terms of their pH, cation exchange capacity (CEC), water adsorption capacity (WCU and WCC), particle size distribution (PSD), specific surface area (SBET), and their X-ray diffraction (XRD), Fourier transform infrared spectroscopy (FTIR), thermal (DTG, DTA) and scanning and transmission electron microscopy (SEM and TEM) properties. The changes conferred by the different treatments were also examined in terms of Al and Si losses. Results for the materials derived from kaolin sands and washed kaolin were similar, with differences attributable to the kaolinite contents of the samples. The treatments heat and grinding produced amorphous materials, which when subjected to acid or alkali activation gave rise to Si and Al losses. This in turn led to a change in physico- chemical, mineralogical and morphological properties. Some samples showed a highly increased surface area and CEC. Further, among the changes produced, alkali treatment led to the generation of zeolites in different proportions depending on the sample. To produce the organoclays, the 18 samples were surfacted with hexadecyltrimethylammonium (HDTMA) 20 mM for 24 h at 60ºC. This surfactant concentration is higher than the CEC of each sample. The amount of HDTMA adsorbed onto the surface of each sample determined by FTIR varied according to treatment. A principle components analysis (PCA) was performed to examine correlations between sample Si/Al ratios and surfactant adsorption capacity. In addition, to explore HDTMA adsorption by the samples, DTG and DTA data were fitted to Freundllich and Langmuir models. The mechanisms of surfactant attachment to the sample surface were also addressed. The amount of phenol adsorbed by the resultant organoclays was determined when exposed to different phenol concentrations: 50, 500, 1000, 2000, and 2500 mg/l for 24 h. The quantity of adsorbed pollutant was estimated by gas chromatography and the data fitted to the models of Freundllich and Langmuir. Results indicate that the phenol adsorption capacity of the surfacted samples is dependent on the sample’s characteristics. In general, the washed kaolin samples showed a greater phenol adsorption capacity than the kaolon sands and alkali activation improved this capacity in the two types of sample. In conclusion, the treatments used gave rise to adsorbent materials with varying properties. Kaolin sands showed high quartz levels and their use in some industries is not recommended due to the costs involved in their washing and purification. The applications suggested by the data obtained for some of the kaolin sand samples indicate the added value of this industrial by-product. The results of this research project have led to the following publications: • Pérdida de Al y Si en caolines modificados térmica- o mecánicamente y activados por tratamientos químicos. A. G. San Cristóbal, C Vizcayno, R. Castelló. Macla 9, 113-114. (2008). • Acid activation of mechanically and thermally modfied kaolins. A. G. San Cristóbal, R. Castelló, M. A. Martín Luengo, C Vizcayno. Mater. Res. Bull. 44 (2009) 2103-2111. • Zeolites prepared from calcined and mechanically modified kaolins. A comparative study. A. G. San Cristóbal, R. Castelló, M. A. Martín Luengo, C Vizcayno. Applied Clay Science 49 (2010) 239-246. • Study comparative of the sorption of HDTMA on natural and modified kaolin. A. G. San Cristóbal, R. Castelló, J. M. Castillejo, C Vizcayno Accepted in Clays and Clay minerals. • Capacity of modified kaolin sand and washed kaolin to adsorb phenol. A. G San Cristóbal, R. Castelló, C Vizcayno. Shipment postponed, subject to the publication of the previous article.

Caracterización de suelos agrícolas de Brasil con un espectrofotómetro VERIS VIS-NIR

La distribución de nutrientes del suelo presenta una gran variabilidad. Algunos estudios indican la interdependencia entre atributos físico-químicos, concluyendo que se necesitan muestreos densos para caracterizar eficientemente la distribución espacial. Para la realización de este trabajo experimental se han empleado datos tanto espectrales, obtenidos con el espectrofotómetro Veris Vis-NIR, como de referencia, mediante análisis de laboratorio, correspondientes a 341 muestras de suelo de 41 ha. Para ambos tipos de datos se ha realizado un análisis de componentes principales (PCA), y un análisis de Conglomerados (Clúster). En las variables de referencia se escogieron aquellos atributos con mayor coeficiente de variación: arcilla, potasio, fósforo, calcio, magnesio, materia orgánica y capacidad de intercambio catiónica efectiva. El objetivo principal es establecer las necesidades mínimas de muestreo comparando los resultados obtenidos con plantillas cartesianas de distinta resolución, y determinar la relación existente entre la cantidad de nutrientes y la reflectancia espectral Vis-NIR.

Clasificación de tráfico de Internet mediante análisis de datos

Poder clasificar de manera precisa la aplicación o programa del que provienen los flujos que conforman el tráfico de uso de Internet dentro de una red permite tanto a empresas como a organismos una útil herramienta de gestión de los recursos de sus redes, así como la posibilidad de establecer políticas de prohibición o priorización de tráfico específico. La proliferación de nuevas aplicaciones y de nuevas técnicas han dificultado el uso de valores conocidos (well-known) en puertos de aplicaciones proporcionados por la IANA (Internet Assigned Numbers Authority) para la detección de dichas aplicaciones. Las redes P2P (Peer to Peer), el uso de puertos no conocidos o aleatorios, y el enmascaramiento de tráfico de muchas aplicaciones en tráfico HTTP y HTTPS con el fin de atravesar firewalls y NATs (Network Address Translation), entre otros, crea la necesidad de nuevos métodos de detección de tráfico. El objetivo de este estudio es desarrollar una serie de prácticas que permitan realizar dicha tarea a través de técnicas que están más allá de la observación de puertos y otros valores conocidos. Existen una serie de metodologías como Deep Packet Inspection (DPI) que se basa en la búsqueda de firmas, signatures, en base a patrones creados por el contenido de los paquetes, incluido el payload, que caracterizan cada aplicación. Otras basadas en el aprendizaje automático de parámetros de los flujos, Machine Learning, que permite determinar mediante análisis estadísticos a qué aplicación pueden pertenecer dichos flujos y, por último, técnicas de carácter más heurístico basadas en la intuición o el conocimiento propio sobre tráfico de red. En concreto, se propone el uso de alguna de las técnicas anteriormente comentadas en conjunto con técnicas de minería de datos como son el Análisis de Componentes Principales (PCA por sus siglas en inglés) y Clustering de estadísticos extraídos de los flujos procedentes de ficheros de tráfico de red. Esto implicará la configuración de diversos parámetros que precisarán de un proceso iterativo de prueba y error que permita dar con una clasificación del tráfico fiable. El resultado ideal sería aquel en el que se pudiera identificar cada aplicación presente en el tráfico en un clúster distinto, o en clusters que agrupen grupos de aplicaciones de similar naturaleza. Para ello, se crearán capturas de tráfico dentro de un entorno controlado e identificando cada tráfico con su aplicación correspondiente, a continuación se extraerán los flujos de dichas capturas. Tras esto, parámetros determinados de los paquetes pertenecientes a dichos flujos serán obtenidos, como por ejemplo la fecha y hora de llagada o la longitud en octetos del paquete IP. Estos parámetros serán cargados en una base de datos MySQL y serán usados para obtener estadísticos que ayuden, en un siguiente paso, a realizar una clasificación de los flujos mediante minería de datos. Concretamente, se usarán las técnicas de PCA y clustering haciendo uso del software RapidMiner. Por último, los resultados obtenidos serán plasmados en una matriz de confusión que nos permitirá que sean valorados correctamente. ABSTRACT. Being able to classify the applications that generate the traffic flows in an Internet network allows companies and organisms to implement efficient resource management policies such as prohibition of specific applications or prioritization of certain application traffic, looking for an optimization of the available bandwidth. The proliferation of new applications and new technics in the last years has made it more difficult to use well-known values assigned by the IANA (Internet Assigned Numbers Authority), like UDP and TCP ports, to identify the traffic. Also, P2P networks and data encapsulation over HTTP and HTTPS traffic has increased the necessity to improve these traffic analysis technics. The aim of this project is to develop a number of techniques that make us able to classify the traffic with more than the simple observation of the well-known ports. There are some proposals that have been created to cover this necessity; Deep Packet Inspection (DPI) tries to find signatures in the packets reading the information contained in them, the payload, looking for patterns that can be used to characterize the applications to which that traffic belongs; Machine Learning procedures work with statistical analysis of the flows, trying to generate an automatic process that learns from those statistical parameters and calculate the likelihood of a flow pertaining to a certain application; Heuristic Techniques, finally, are based in the intuition or the knowledge of the researcher himself about the traffic being analyzed that can help him to characterize the traffic. Specifically, the use of some of the techniques previously mentioned in combination with data mining technics such as Principal Component Analysis (PCA) and Clustering (grouping) of the flows extracted from network traffic captures are proposed. An iterative process based in success and failure will be needed to configure these data mining techniques looking for a reliable traffic classification. The perfect result would be the one in which the traffic flows of each application is grouped correctly in each cluster or in clusters that contain group of applications of similar nature. To do this, network traffic captures will be created in a controlled environment in which every capture is classified and known to pertain to a specific application. Then, for each capture, all the flows will be extracted. These flows will be used to extract from them information such as date and arrival time or the IP length of the packets inside them. This information will be then loaded to a MySQL database where all the packets defining a flow will be classified and also, each flow will be assigned to its specific application. All the information obtained from the packets will be used to generate statistical parameters in order to describe each flow in the best possible way. After that, data mining techniques previously mentioned (PCA and Clustering) will be used on these parameters making use of the software RapidMiner. Finally, the results obtained from the data mining will be compared with the real classification of the flows that can be obtained from the database. A Confusion Matrix will be used for the comparison, letting us measure the veracity of the developed classification process.

Evaluación de la relación entre la proporción de los atributos químicos y la reflectancia espectral (Vis-NIR) del suelo

La distribución de nutrientes del suelo presenta una gran variabilidad. Algunos estudios indican la interdependencia entre atributos físico-químicos, concluyendo que se necesitan muestreos densos para caracterizar eficientemente la distribución espacial. Para la realización de este trabajo experimental se han empleado datos tanto espectrales, obtenidos con el espectrofotómetro Veris Vis-NIR, como de referencia, mediante análisis de laboratorio, correspondientes a 341 muestras de suelo de 41 ha. Para ambos tipos de datos se ha realizado un análisis de componentes principales (PCA), y un análisis de Conglomerados (Clúster). En las variables de referencia se escogieron aquellos atributos con mayor coeficiente de variación: arcilla, potasio, fósforo, calcio, magnesio, materia orgánica y capacidad de intercambio catiónica efectiva. El objetivo principal es establecer las necesidades mínimas de muestreo comparando los resultados obtenidos con plantillas cartesianas de distinta resolución, y determinar la relación existente entre la cantidad de nutrientes y la reflectáncia espectral Vis-NIR.