28 resultados para Hybrid clustering algorithm
em Universidad Politécnica de Madrid
Resumo:
Industrial applications of computer vision sometimes require detection of atypical objects that occur as small groups of pixels in digital images. These objects are difficult to single out because they are small and randomly distributed. In this work we propose an image segmentation method using the novel Ant System-based Clustering Algorithm (ASCA). ASCA models the foraging behaviour of ants, which move through the data space searching for high data-density regions, and leave pheromone trails on their path. The pheromone map is used to identify the exact number of clusters, and assign the pixels to these clusters using the pheromone gradient. We applied ASCA to detection of microcalcifications in digital mammograms and compared its performance with state-of-the-art clustering algorithms such as 1D Self-Organizing Map, k-Means, Fuzzy c-Means and Possibilistic Fuzzy c-Means. The main advantage of ASCA is that the number of clusters needs not to be known a priori. The experimental results show that ASCA is more efficient than the other algorithms in detecting small clusters of atypical data.
Resumo:
Recent advances in non-destructive imaging techniques, such as X-ray computed tomography (CT), make it possible to analyse pore space features from the direct visualisation from soil structures. A quantitative characterisation of the three-dimensional solid-pore architecture is important to understand soil mechanics, as they relate to the control of biological, chemical, and physical processes across scales. This analysis technique therefore offers an opportunity to better interpret soil strata, as new and relevant information can be obtained. In this work, we propose an approach to automatically identify the pore structure of a set of 200-2D images that represent slices of an original 3D CT image of a soil sample, which can be accomplished through non-linear enhancement of the pixel grey levels and an image segmentation based on a PFCM (Possibilistic Fuzzy C-Means) algorithm. Once the solids and pore spaces have been identified, the set of 200-2D images is then used to reconstruct an approximation of the soil sample by projecting only the pore spaces. This reconstruction shows the structure of the soil and its pores, which become more bounded, less bounded, or unbounded with changes in depth. If the soil sample image quality is sufficiently favourable in terms of contrast, noise and sharpness, the pore identification is less complicated, and the PFCM clustering algorithm can be used without additional processing; otherwise, images require pre-processing before using this algorithm. Promising results were obtained with four soil samples, the first of which was used to show the algorithm validity and the additional three were used to demonstrate the robustness of our proposal. The methodology we present here can better detect the solid soil and pore spaces on CT images, enabling the generation of better 2D?3D representations of pore structures from segmented 2D images.
Resumo:
The application of thematic maps obtained through the classification of remote images needs the obtained products with an optimal accuracy. The registered images from the airplanes display a very satisfactory spatial resolution, but the classical methods of thematic classification not always give better results than when the registered data from satellite are used. In order to improve these results of classification, in this work, the LIDAR sensor data from first return (Light Detection And Ranging) registered simultaneously with the spectral sensor data from airborne are jointly used. The final results of the thematic classification of the scene object of study have been obtained, quantified and discussed with and without LIDAR data, after applying different methods: Maximum Likehood Classification, Support Vector Machine with four different functions kernel and Isodata clustering algorithm (ML, SVM-L, SVM-P, SVM-RBF, SVM-S, Isodata). The best results are obtained for SVM with Sigmoide kernel. These allow the correlation with others different physical parameters with great interest like Manning hydraulic coefficient, for their incorporation in a GIS and their application in hydraulic modeling.
Resumo:
Salamanca has been considered among the most polluted cities in Mexico. The vehicular park, the industry and the emissions produced by agriculture, as well as orography and climatic characteristics have propitiated the increment in pollutant concentration of Particulate Matter less than 10 μg/m3 in diameter (PM10). In this work, a Multilayer Perceptron Neural Network has been used to make the prediction of an hour ahead of pollutant concentration. A database used to train the Neural Network corresponds to historical time series of meteorological variables (wind speed, wind direction, temperature and relative humidity) and air pollutant concentrations of PM10. Before the prediction, Fuzzy c-Means clustering algorithm have been implemented in order to find relationship among pollutant and meteorological variables. These relationship help us to get additional information that will be used for predicting. Our experiments with the proposed system show the importance of this set of meteorological variables on the prediction of PM10 pollutant concentrations and the neural network efficiency. The performance estimation is determined using the Root Mean Square Error (RMSE) and Mean Absolute Error (MAE). The results shown that the information obtained in the clustering step allows a prediction of an hour ahead, with data from past 2 hours
Resumo:
The image by Computed Tomography is a non-invasive alternative for observing soil structures, mainly pore space. The pore space correspond in soil data to empty or free space in the sense that no material is present there but only fluids, the fluid transport depend of pore spaces in soil, for this reason is important identify the regions that correspond to pore zones. In this paper we present a methodology in order to detect pore space and solid soil based on the synergy of the image processing, pattern recognition and artificial intelligence. The mathematical morphology is an image processing technique used for the purpose of image enhancement. In order to find pixels groups with a similar gray level intensity, or more or less homogeneous groups, a novel image sub-segmentation based on a Possibilistic Fuzzy c-Means (PFCM) clustering algorithm was used. The Artificial Neural Networks (ANNs) are very efficient for demanding large scale and generic pattern recognition applications for this reason finally a classifier based on artificial neural network is applied in order to classify soil images in two classes, pore space and solid soil respectively.
Resumo:
This work presents a method to detect Microcalcifications in Regions of Interest from digitized mammograms. The method is based mainly on the combination of Image Processing, Pattern Recognition and Artificial Intelligence. The Top-Hat transform is a technique based on mathematical morphology operations that, in this work is used to perform contrast enhancement of microcalcifications in the region of interest. In order to find more or less homogeneous regions in the image, we apply a novel image sub-segmentation technique based on Possibilistic Fuzzy c-Means clustering algorithm. From the original region of interest we extract two window-based features, Mean and Deviation Standard, which will be used in a classifier based on a Artificial Neural Network in order to identify microcalcifications. Our results show that the proposed method is a good alternative in the stage of microcalcifications detection, because this stage is an important part of the early Breast Cancer detection
Resumo:
This doctoral thesis focuses on the modeling of multimedia systems to create personalized recommendation services based on the analysis of users’ audiovisual consumption. Research is focused on the characterization of both users’ audiovisual consumption and content, specifically images and video. This double characterization converges into a hybrid recommendation algorithm, adapted to different application scenarios covering different specificities and constraints. Hybrid recommendation systems use both content and user information as input data, applying the knowledge from the analysis of these data as the initial step to feed the algorithms in order to generate personalized recommendations. Regarding the user information, this doctoral thesis focuses on the analysis of audiovisual consumption to infer implicitly acquired preferences. The inference process is based on a new probabilistic model proposed in the text. This model takes into account qualitative and quantitative consumption factors on the one hand, and external factors such as zapping factor or company factor on the other. As for content information, this research focuses on the modeling of descriptors and aesthetic characteristics, which influence the user and are thus useful for the recommendation system. Similarly, the automatic extraction of these descriptors from the audiovisual piece without excessive computational cost has been considered a priority, in order to ensure applicability to different real scenarios. Finally, a new content-based recommendation algorithm has been created from the previously acquired information, i.e. user preferences and content descriptors. This algorithm has been hybridized with a collaborative filtering algorithm obtained from the current state of the art, so as to compare the efficiency of this hybrid recommender with the individual techniques of recommendation (different hybridization techniques of the state of the art have been studied for suitability). The content-based recommendation focuses on the influence of the aesthetic characteristics on the users. The heterogeneity of the possible users of these kinds of systems calls for the use of different criteria and attributes to create effective recommendations. Therefore, the proposed algorithm is adaptable to different perceptions producing a dynamic representation of preferences to obtain personalized recommendations for each user of the system. The hypotheses of this doctoral thesis have been validated by conducting a set of tests with real users, or by querying a database containing user preferences - available to the scientific community. This thesis is structured based on the different research and validation methodologies of the techniques involved. In the three central chapters the state of the art is studied and the developed algorithms and models are validated via self-designed tests. It should be noted that some of these tests are incremental and confirm the validation of previously discussed techniques. Resumen Esta tesis doctoral se centra en el modelado de sistemas multimedia para la creación de servicios personalizados de recomendación a partir del análisis de la actividad de consumo audiovisual de los usuarios. La investigación se focaliza en la caracterización tanto del consumo audiovisual del usuario como de la naturaleza de los contenidos, concretamente imágenes y vídeos. Esta doble caracterización de usuarios y contenidos confluye en un algoritmo de recomendación híbrido que se adapta a distintos escenarios de aplicación, cada uno de ellos con distintas peculiaridades y restricciones. Todo sistema de recomendación híbrido toma como datos de partida tanto información del usuario como del contenido, y utiliza este conocimiento como entrada para algoritmos que permiten generar recomendaciones personalizadas. Por la parte de la información del usuario, la tesis se centra en el análisis del consumo audiovisual para inferir preferencias que, por lo tanto, se adquieren de manera implícita. Para ello, se ha propuesto un nuevo modelo probabilístico que tiene en cuenta factores de consumo tanto cuantitativos como cualitativos, así como otros factores de contorno, como el factor de zapping o el factor de compañía, que condicionan la incertidumbre de la inferencia. En cuanto a la información del contenido, la investigación se ha centrado en la definición de descriptores de carácter estético y morfológico que resultan influyentes en el usuario y que, por lo tanto, son útiles para la recomendación. Del mismo modo, se ha considerado una prioridad que estos descriptores se puedan extraer automáticamente de un contenido sin exigir grandes requisitos computacionales y, de tal forma que se garantice la posibilidad de aplicación a escenarios reales de diverso tipo. Por último, explotando la información de preferencias del usuario y de descripción de los contenidos ya obtenida, se ha creado un nuevo algoritmo de recomendación basado en contenido. Este algoritmo se cruza con un algoritmo de filtrado colaborativo de referencia en el estado del arte, de tal manera que se compara la eficiencia de este recomendador híbrido (donde se ha investigado la idoneidad de las diferentes técnicas de hibridación del estado del arte) con cada una de las técnicas individuales de recomendación. El algoritmo de recomendación basado en contenido que se ha creado se centra en las posibilidades de la influencia de factores estéticos en los usuarios, teniendo en cuenta que la heterogeneidad del conjunto de usuarios provoca que los criterios y atributos que condicionan las preferencias de cada individuo sean diferentes. Por lo tanto, el algoritmo se adapta a las diferentes percepciones y articula una metodología dinámica de representación de las preferencias que permite obtener recomendaciones personalizadas, únicas para cada usuario del sistema. Todas las hipótesis de la tesis han sido debidamente validadas mediante la realización de pruebas con usuarios reales o con bases de datos de preferencias de usuarios que están a disposición de la comunidad científica. La diferente metodología de investigación y validación de cada una de las técnicas abordadas condiciona la estructura de la tesis, de tal manera que los tres capítulos centrales se estructuran sobre su propio estudio del estado del arte y los algoritmos y modelos desarrollados se validan mediante pruebas autónomas, sin impedir que, en algún caso, las pruebas sean incrementales y ratifiquen la validación de técnicas expuestas anteriormente.
Resumo:
El sector ganadero está siendo gradualmente dominado por sistemas intensivos y especializados en los que los factores de producción están controlados y en los que los caracteres productivos son los criterios principales para la selección de especies y razas. Entretanto, muchos de los bienes y servicios que tradicionalmente suministraba el ganado, tales como los fertilizantes, la tracción animal o materias primas para la elaboración vestimenta y calzado están siendo reemplazados por productos industriales. Como consecuencia de ambos cambios, las razas seleccionadas intensivamente, las cuales están estrechamente ligadas a sistemas agrícolas de alta producción y altos insumos, han desplazado a muchas razas autóctonas, en las que la selección prácticamente ha cesado o es muy poco intensa. Actualmente existe una mayor conciencia social sobre la situación de las razas autóctonas y muchas funciones del ganado que previamente habían sido ignoradas están siendo reconocidas. Desde hace algunas décadas, se ha aceptado internacionalmente que las razas de ganado cumplen funciones económicas, socio-culturales, medioambientales y de seguridad alimentaria. Por ello, diferentes organismos internacionales han reconocido que la disminución de los recursos genéticos de animales domésticos (RGADs) es un problema grave y han recomendado su conservación. Aun así, la conservación de RGADs es un tema controvertido por la dificultad de valorar las funciones del ganado. Esta valoración es compleja debido que los RGADs tiene una doble naturaleza privada - pública. Como algunos economistas han subrayado, el ganado es un bien privado, sin embargo debido a algunas de sus funciones, también es un bien público. De esta forma, el aumento del conocimiento sobre valor de cada una de sus funciones facilitaría la toma de decisiones en relación a su conservación y desarrollo. Sin embargo, esta valoración es controvertida puesto que la importancia relativa de las funciones del ganado varía en función del momento, del lugar, de las especies y de las razas. El sector ganadero, debido a sus múltiples funciones, está influenciado por factores técnicos, medioambientales, sociales, culturales y políticos que están interrelacionados y que engloban a una enorme variedad de actores y procesos. Al igual que las funciones del ganado, los factores que afectan a su conservación y desarrollo están fuertemente condicionados por localización geográfica. Asimismo, estos factores pueden ser muy heterogéneos incluso dentro de una misma raza. Por otro lado, es razonable pensar que el ganadero es el actor principal de la conservación de razas locales. Actualmente, las razas locales están siendo Integration of socioeconomic and genetic aspects involved in the conservation of animal genetic resources 5 explotadas por ganaderos muy diversos bajo sistemas de producción también muy diferentes. Por todo ello, es de vital importancia comprender y evaluar el impacto que tienen las motivaciones, y el proceso de toma de decisiones de los ganaderos en la estructura genética de las razas. En esta tesis doctoral exploramos diferentes aspectos sociales, económicos y genéticos involucrados en la conservación de razas locales de ganado vacuno en Europa, como ejemplo de RGADs, esperando contribuir al entendimiento científico de este complejo tema. Nuestro objetivo es conseguir una visión global de los procesos subyacentes en la conservación y desarrollo de estas razas. Pretendemos ilustrar como se pueden utilizar métodos cuantitativos en el diseño y establecimiento de estrategias de conservación y desarrollo de RGADs objetivas y adecuadas. En primer lugar, exploramos el valor económico total (VET) del ganado analizando sus componentes públicos fuera de mercado usando como caso de estudio la raza vacuna Alistana-Sanabresa (AS). El VET de cualquier bien está formado por componentes de uso y de no-uso. Estos últimos incluyen el valor de opción, el valor de herencia y el valor de existencia. En el caso del ganado local, el valor de uso directo proviene de sus productos. Los valores de uso indirecto están relacionados con el papel que cumple las razas en el mantenimiento de los paisajes y cultura rural. El valor de opción se refiere a su futuro uso potencial y el valor de herencia al uso potencial de las generaciones venideras. Finalmente, el valor de existencia está relacionado con el bienestar que produce a la gente saber que existe un recurso específico. Nuestro objetivo fue determinar la importancia relativa que tienen los componentes fuera de mercado sobre el VET de la raza AS. Para ello evaluamos la voluntad de la gente a pagar por la conservación de la AS mediante experimentos de elección (EEs) a través de encuestas. Estos experimentos permiten valorar individualmente los distintos componentes del VET de cualquier bien. Los resultados los analizamos mediante de uso de modelos aleatorios logit. Encontramos que las funciones públicas de la raza AS tienen un valor significativo. Sus valores más importantes son el valor de uso indirecto como elemento cultural Zamorano y el valor de existencia (ambos representaron el 80% de VET). Además observamos que el valor que gente da a las funciones públicas de la razas de ganado dependen de sus características socioeconómicas. Los factores que condicionaron la voluntad a pagar para la conservación de la raza AS fueron el lugar de residencia (ciudad o pueblo), el haber visto animales de la raza o haber consumido sus productos y la actitud de los encuestados ante los conflictos entre el desarrollo económico y el medioambiente. Por otro lado, encontramos que no todo el mundo tiene una visión completa e integrada de todas las funciones públicas de la raza AS. Por este motivo, los programas o actividades de concienciación sobre su estado deberían hacer hincapié en este aspecto. La existencia de valores públicos de la raza AS implica que los ganaderos deberían recibir compensaciones económicas como pago por las funciones públicas que cumple su raza local. Las compensaciones asegurarían un tamaño de población que permitiría que la raza AS siga realizando estas funciones. Un mecanismo para ello podría ser el desarrollo del turismo rural relacionado con la raza. Esto aumentaría el valor de uso privado mientras que supondría un elemento añadido a las estrategias de conservación y desarrollo. No obstante, los ganaderos deben analizar cómo aprovechar los nichos de mercado existentes, así como mejorar la calidad de los productos de la raza prestando especial atención al etiquetado de los mismos. Una vez evaluada la importancia de las funciones públicas de las razas locales de ganado, analizamos la diversidad de factores técnicos, económicos y sociales de la producción de razas locales de ganado vacuno existente en Europa. Con este fin analizamos el caso de quince razas locales de ocho países en el contexto de un proyecto de colaboración internacional. Investigamos las diferencias entre los países para determinar los factores comunes clave que afectan a la viabilidad de las razas locales. Para ello entrevistamos mediante cuestionarios a un total de 355 ganaderos en las quince razas. Como indicador de viabilidad usamos los planes de los ganaderos de variación del tamaño de las ganaderías. Los cuestionarios incluían diferentes aspectos económicos, técnicos y sociales con potencial influencia en las dinámicas demográficas de las razas locales. Los datos recogidos los analizamos mediante distintas técnicas estadísticas multivariantes como el análisis discriminante y la regresión logística. Encontramos que los factores que afectan a la viabilidad de las razas locales en Europa son muy heterogéneos. Un resultado reseñable fue que los ganaderos de algunos países no consideran que la explotación de su raza tenga un alto valor social. Este hecho vuelve a poner de manifiesto la importancia de desarrollar programas Europeos de concienciación sobre la importancia de las funciones que cumplen las razas locales. Además los países analizados presentaron una alta variabilidad en cuanto a la importancia de los mercados locales en la distribución de los productos y en cuanto al porcentaje en propiedad del total de los pastos usados en las explotaciones. Este estudio reflejó la variabilidad de los sistemas y medios de producción (en el sentido socioeconómico, técnico y ecológico) que existe en Europa. Por ello hay que ser cautos en la implementación de las políticas comunes en los diferentes países. También encontramos que la variabilidad dentro de los países puede ser elevada debido a las diferencias entre razas, lo que implica que las políticas nacionales deber ser suficientemente flexibles para adaptarse a las peculiaridades de cada una de las razas. Por otro lado, encontramos una serie de factores comunes a la viabilidad de las razas en los distintos países; la edad de los ganaderos, la colaboración entre ellos y la apreciación social de las funciones culturales, medioambientales y sociales del ganado local. El envejecimiento de los ganaderos de razas locales no es solo un problema de falta de transferencia generacional, sino que también puede suponer una actitud más negativa hacia la inversión en las actividades ganaderas y en una menor capacidad de adaptación a los cambios del sector. La capacidad de adaptación de los ganaderos es un factor crucial en la viabilidad de las razas locales. Las estrategias y políticas de conservación comunes deben incluir las variables comunes a la viabilidad de las razas manteniendo flexibilidad suficiente para adaptarse a las especificidades nacionales. Estas estrategias y políticas deberían ir más allá de compensación económica a los ganaderos de razas locales por la menor productividad de sus razas. Las herramientas para la toma de decisiones ayudan a generar una visión amplia de la conservación y desarrollo de las razas locales. Estas herramientas abordan el diseño de estrategias de conservación y desarrollo de forma sistemática y estructurada. En la tercera parte de la tesis usamos una de estas herramientas, el análisis DAFO (Debilidades, Amenazas, Fortalezas y Oportunidades), con este propósito, reconociendo que la conservación de RGADs depende de los ganaderos. Desarrollamos un análisis DAFO cuantitativo y lo aplicamos a trece razas locales de ganado vacuno de seis países europeos en el contexto del proyecto de colaboración mencionado anteriormente. El método tiene cuatro pasos: 1) la definición del sistema; 2) la identificación y agrupación de los factores influyentes; 3) la cuantificación de la importancia de dichos factores y 4) la identificación y priorización de estrategias. Identificamos los factores utilizando multitud de agentes (multi-stakeholder appproach). Una vez determinados los factores se agruparon en una estructura de tres niveles. La importancia relativa de los cada uno de los factores para cada raza fue determinada por grupos de expertos en RGADs de los países integrados en el citado proyecto. Finalmente, desarrollamos un proceso de cuantificación para identificar y priorizar estrategias. La estructura de agrupación de factores permitió analizar el problema de la conservación desde el nivel general hasta el concreto. La unión de análisis específicos de cada una de las razas en un análisis DAFO común permitió evaluar la adecuación de las estrategias a cada caso concreto. Identificamos un total de 99 factores. El análisis reveló que mientras los factores menos importantes son muy consistentes entre razas, los factores y estrategias más relevantes son muy heterogéneos. La idoneidad de las estrategias fue mayor a medida que estas se hacían más generales. A pesar de dicha heterogeneidad, los factores influyentes y estrategias más importantes estaban ligados a aspectos positivos (fortalezas y oportunidades) lo que implica que el futuro de estas razas es prometedor. Los resultados de nuestro análisis también confirmaron la gran relevancia del valor cultural de estas razas. Las factores internos (fortalezas y debilidades) más importantes estaban relacionadas con los sistemas de producción y los ganaderos. Las oportunidades más relevantes estaban relacionadas con el desarrollo y marketing de nuevos productos mientras que las amenazas más importantes se encontraron a la hora de vender los productos actuales. Este resultado implica que sería fructífero trabajar en la motivación y colaboración entre ganaderos así como, en la mejora de sus capacidades. Concluimos que las políticas comunes europeas deberían centrarse en aspectos generales y ser los suficientemente flexibles para adaptarse a las singularidades de los países y las razas. Como ya se ha mencionado, los ganaderos juegan un papel esencial en la conservación y desarrollo de las razas autóctonas. Por ello es relevante entender que implicación puede tener la heterogeneidad de los mismos en la viabilidad de una raza. En la cuarta parte de la tesis hemos identificado tipos de ganaderos con el fin de entender cómo la relación entre la variabilidad de sus características socioeconómicas, los perfiles de las ganaderías y las dinámicas de las mismas. El análisis se ha realizado en un contexto sociológico, aplicando los conceptos de capital cultural y económico. Las tipologías se han determinado en función de factores socioeconómicos y culturales indicadores del capital cultural y capital económico de un individuo. Nuestro objetivo era estudiar si la tipología socioeconómica de los ganaderos afecta al perfil de su ganadería y a las decisiones que toman. Entrevistamos a 85 ganaderos de la raza Avileña-Negra Ibérica (ANI) y utilizamos los resultados de dichas entrevistas para ilustrar y testar el proceso. Definimos los tipos de ganaderos utilizando un análisis de clúster jerarquizado con un grupo de variables canónicas que se obtuvieron en función de cinco factores socioeconómicos: el nivel de educación del ganadero, el año en que empezó a ser ganadero de ANI, el porcentaje de los ingresos familiares que aporta la ganadería, el porcentaje de propiedad de la tierra de la explotación y la edad del ganadero. La tipología de los ganaderos de ANI resultó ser más compleja que en el pasado. Los resultados indicaron que los tipos de ganaderos variaban en muchos aspectos socioeconómicos y en los perfiles de sus Integration of socioeconomic and genetic aspects involved in the conservation of animal genetic resources 9 ganaderías. Los tipos de ganaderos determinados toman diferentes decisiones en relación a la modificación del tamaño de su ganadería y a sus objetivos de selección. Por otro lado, reaccionaron de forma diferente ante un hipotético escenario de reducción de las compensaciones económicas que les planteamos. En este estudio hemos visto que el capital cultural y el económico interactúan y hemos explicado como lo hacen en los distintos tipos de ganaderos. Por ejemplo, los ganaderos que poseían un mayor capital económico, capital cultural formal y capital cultural adquirido sobre la raza, eran los ganaderos cuyos animales tenían una mayor demanda por parte de otros ganaderos, lo cual podría responder a su mayor prestigio social dentro de la raza. Uno de los elementos claves para el futuro de la raza es si este prestigio responde a una superioridad genética de las animales. Esto ocurriría si los ganaderos utilizaran las herramientas que tienen a su disposición a la hora de seleccionar animales. Los tipos de ganaderos identificados mostraron también claras diferencias en sus formas de colaboración y en su reacción a una hipotética variación de las compensaciones económicas. Aunque algunos tipos de ganaderos mostraron un bajo nivel de dependencia a estas compensaciones, la mayoría se manifestaron altamente dependientes. Por ello cualquier cambio drástico en la política de ayudas puede comprometer el desarrollo de las razas autóctonas. La adaptación las políticas de compensaciones económicas a la heterogeneidad de los ganaderos podría aumentar la eficacia de las mismas por lo que sería interesante explorar posibilidades a este respecto. Concluimos destacando la necesidad de desarrollar políticas que tengan en cuenta la heterogeneidad de los ganaderos. Finalmente abordamos el estudio de la estructura genética de poblaciones ganaderas. Las decisiones de los ganaderos en relación a la selección de sementales y su número de descendientes configuran la estructura demográfica y genética de las razas. En la actualidad existe un interés renovado por estudiar las estructuras poblacionales debido a la influencia potencial de su estratificación sobre la predicción de valores genómicos y/o los análisis de asociación a genoma completo. Utilizamos dos métodos distintos, un algoritmo de clústeres basados en teoría de grafos (GCA) y un algoritmo de clustering bayesiano (STRUCTURE) para estudiar la estructura genética de la raza ANI. Prestamos especial atención al efecto de la presencia de parientes cercanos en la población y de la diferenciación genética entre subpoblaciones sobre el análisis de la estructura de la población. En primer lugar evaluamos el comportamiento de los dos algoritmos en poblaciones simuladas para posteriormente analizar los genotipos para 17 microsatélites de 13343 animales de 57 ganaderías distintas de raza ANI. La ANI es un ejemplo de raza con relaciones complejas. Por otro lado, utilizamos el archivo de pedigrí de la raza para estudiar el flujo de genes, calculando, entre otras cosas, la contribución de cada ganadería a la constitución genética de la raza. En el caso de las poblaciones simuladas, cuando el FST entre subpoblaciones fue suficientemente alto, ambos algoritmos, GCA y STRUCTURE, identificaron la misma estructura genética independientemente de que existieran o no relaciones familiares. Por el contrario, cuando el grado de diferenciación entre poblaciones fue bajo, el STRUCTURE identificó la estructura familiar mientras que GCA no permitió obtener ningún resultado concluyente. El GCA resultó ser un algoritmo más rápido y eficiente para de inferir la estructura genética en poblaciones con relaciones complejas. Este algoritmo también puede ser usado para reducir el número de clústeres a testar con el STRUTURE. En cuanto al análisis de la población de ANI, ambos algoritmos describieron la misma estructura, lo cual sugiere que los resultados son robustos. Se identificaron tres subpoblaciones diferenciadas que pudieran corresponderse con tres linajes distintos. Estos linajes estarían directamente relacionados con las ganaderías que han tenido una mayor contribución a la constitución genética de la raza. Por otro lado, hay un conjunto muy numeroso de individuos con una mezcla de orígenes. La información molecular describe una estructura estratificada de la población que se corresponde con la evolución demográfica de la raza. Es esencial analizar en mayor profundidad la composición de este último grupo de animales para determinar cómo afecta a la variabilidad genética de la población de ANI. SUMMARY Summary Livestock sector is gradually dominated by intensive and specialized systems where the production environment is controlled and the production traits are the main criteria for the selection of species and breeds. In the meantime, the traditional use of domestic animals for draught work, clothes and manure has been replaced by industrial products. As a consequence of both these changes, the intensively selected breeds closely linked with high-input highoutput production systems have displaced many native breeds where the selection has practically ceased or been very mild. People are now more aware of the state of endangerment among the native breeds and the previously ignored values of livestock are gaining recognition. For some decades now, the economic, socio-cultural, environmental and food security function of livestock breeds have been accepted worldwide and their loss has been recognized as a major problem. Therefore, the conservation of farm animal genetic resources (FAnGR) has been recommended. The conservation of FAnGR is controversial due to the complexity of the evaluation of its functions. This evaluation is difficult due to the nature of FAnGR both as private and public good. As some economists have highlighted, livestock animals are private goods, however, they are also public goods by their functions. Therefore, there is a need to increase the knowledge about the value of all livestock functions since to support the decision-making for the sustainable conservation and breeding of livestock. This is not straightforward since the relative importance of livestock functions depends on time, place, species and breed. Since livestock play a variety of roles, their production is driven by interrelated and everchanging economic, technical, environmental, social, cultural and political elements involving an enormous range of stakeholders. Not only FAnGR functions but also the importance of factors affecting the development and conservation of FAnGR can be very different across geographical areas. Furthermore, heterogeneity can be found even within breeds. Local breeds are nowadays raised by highly diverse farmers in equally diverse farms. It is quite reasonable to think that farmer is the major actor in the in situ conservation of livestock breeds. Thus, there is a need to understand the farmers’ motivations, decision making processes and the impact of their decisions on the genetic structure of breeds. In this PhD thesis we explore different social, economic and genetic aspects involved in the conservation of local cattle breeds, i.e. FAnGR, in Europe seeking to contribute to the scientific understanding of this complex issue. We aim to achieve a comprehensive view of the processes involved in the conservation and development of local cattle breeds and have made special efforts in discussing the implications of the research results in this respect. The final outcome of the thesis is to illustrate how quantitative methods can be exploited in designing and establishing sound strategies and programmes for the conservation and development of local livestock breeds. Firstly we explored the public non-market attributes of the total economic value (TEV) of livestock, using the Spanish Alistana-Sanabresa (AS) cattle breed as a case study. Total economic value of any good comprises both use and non-use components, where the latter include option, bequest and existence values. For livestock, the direct use values are mainly stemming from production outputs. Indirect use values relate to the role of livestock as a maintainer of rural culture and landscape. The option value is related to the potential use of livestock, the bequest values relate to the value associated with the inheritance of the resources to future generation and the existence values relate to the utility perceived by people from knowing that specific resources exist. We aimed to determine the relative importance of the non-market components of the TEV of the AS breed, the socio-economic variables that influence how people value the different components of TEV and to assess the implications of the Spanish national conservation strategy for the AS breed. To do so, we used a choice experiment (CE) approach and applied the technique to assess people’s willingness to pay (WTP) for the conservation of AS breed. The use of CE allows the valuation of the individual components of TEV for a given good. We analysed the choice data using a random parameter logit (RPL) model. AS breed was found to have a significant public good value. Its most important values were related to the indirect use value due to the maintenance of Zamorian culture and the existence value (both represent over 80% of its TEV). There were several socioeconomic variables influencing people’s valuation of the public service of the breed. In the case of AS breed, the place of living (city or rural area), having seen animals of the breed, having eaten breed products and the respondents’ attitude towards economic development – environment conflicts do influence people’s WTP for AS conservation. We also found that people do not have a complete picture of all the functions and roles that AS breed as AnGR. Therefore, the actions for increasing awareness of AS should go to that direction. The farmers will need incentives to exploit some of the public goods values and maintain the breed population size at socially desirable levels. One such mechanism could be related to the development of agritourism, which would enhance the private good value and provide an important addition to the conservation and utilisation strategy. However, the farmers need a serious evaluation on how to invest in niche product development or how to improve product quality and brand recognition. Using the understanding on the importance of the public function of local cattle we tried to depict the current diversity regarding technical, economic and social factors found in local cattle farming across Europe. To do so we focused in an international collaborative project on the case of fifteen local cattle breeds in eight European countries. We investigated the variation among the countries to detect the common key elements, which affect the viability of local breeds. We surveyed with interviews a total of 355 farms across the fifteen breeds. We used the planned herd size changes by the farmer as an indicator of breed viability. The questionnaire included several economic, technical and social aspects with potential influence on breeds’ demographic trends. We analysed the data using multivariate statistical techniques, such as discriminat analysis and logistic regression. The factors affecting a local breed’s viability were highly heterogeneous across Europe. In some countries, farmers did not recognise any high social value attached to keeping a local cattle breed. Hence there is a need to develop communication programmes across EU countries making people aware about the diversity and importance of values associated to raising local breeds. The countries were also very variable regarding the importance of local markets and the percentage of farm land owned by the farmers. Despite the country specificities, there were also common factors affecting the breed viability across Europe. The factors were from different grounds, from social, such as the age of the farmer and the social appreciation of their work, to technicalorganizational, such as the farmers’ attitude to collaborating with each other. The heterogeneity found reflects the variation in breeding systems and production environment (in the socioeconomic, technical and ecological sense) present in Europe. Therefore, caution should be taken in implementing common policies at the country level. Variability could also be rather high within countries due to breed specificities. Therefore, the national policies should be flexible to adapt to the specificities. The variables significantly associated with breed viability should be positively incorporated in the conservation strategies, and considered in developing common and/or national policies. The strategy preparation and policy planning should go beyond the provision of a general economic support to compensate farmers for the lower profitability of local breeds. Of particular interest is the observation that the opportunity for farmer collaboration and the appreciation by the society of the cultural, environmental and social role of local cattle farming were positively associated with the breed survival. In addition, farmer's high age is not only a problem of poor generation transfer but it is also a problem because it might lead to a lower attitude to investing in farming activities and to a lower ability to adapt to environment changes. The farmers’ adaptation capability may be a key point for the viability of local breeds. Decision making tools can help to get a comprehensive view on the conservation and development of local breeds. It allows us to use a systematic and structured approach for identifying and prioritizing conservation and development strategies. We used SWOT (Strengths, Weaknesses Opportunities and Threats) analysis for this purpose and recognized that many conservation and development projects rely on farmers. We developed a quantified SWOT method and applied it in the aforementioned collaborative research to a set of thirteen cattle breeds in six European countries. The method has four steps: definition of the system, identification and grouping of the driving factors, quantification of the importance of driving factors and identification and prioritization of the strategies. The factors were determined following a multi-stakeholder approach and grouped with a three level structure. FAnGR expert groups ranked the factors and a quantification process was implemented to identify and prioritize strategies. The structure of the SWOT analysis allowed analyzing the conservation problem from general down to specific perspectives. Joining breed specific analyses into a common SWOT analysis permitted comparison of breed cases across countries. We identified 99 driving factors across breeds. The across breed analysis revealed that irrelevant factors were consistent. There was high heterogeneity among the most relevant factors and strategies. The strategies increased eligibility as they lost specificity. Although the situation was very heterogeneous, the most promising factors and strategies were linked to the positive aspects (Strengths and Opportunities). Therefore, the future of the studied local breed is promising. The results of our analysis also confirmed the high relevance of the cultural value of the breeds. The most important internal factors (strengths and weaknesses) were related farmers and production systems. The most important opportunities were found in developing and marketing new products, while the most relevant threats were found in selling the current conventional products. In this regard, it should be fruitful to work on farmers’ motivation, collaboration, and capacity building. We conclude that European policies should focus on general aspects and be flexible enough to be adapted to the country and breed specificities. As mentioned, farmers have a key role in the conservation and development of a local cattle breed. Therefore, it is very relevant to understand the implications of farmer heterogeneity within a breed for its viability. In the fourth part of the thesis, we developed a general farmer typology to help analyzing the relations between farmer features and farm profiles, herd dynamics and farmers’ decision making. In the analysis we applied and used the sociological framework of economic and cultural capital and studied how the determined farmer types were linked to farm profiles and breeding decisions, among others. The typology was based on measurable socioeconomic factors indicating the economic and cultural capital of farmers. A group of 85 farmers raising the Spanish Avileña-Negra Ibérica (ANI) local cattle breed was used to illustrate and test the procedure. The farmer types were defined by a hierarchical cluster analysis with a set of canonical variables derived from the following five the socioeconomic factors: the formal educational level of the farmer, the year the farmer started keeping the ANI breed, the percentage of the total family income covered by the farm, the percentage of the total farm land owned by the farmer and the farmer’s age. The present ANI farmer types were much more complex than what they were in the past. We found that the farmer types differed in many socioeconomic aspects and in the farms profile. Furthermore, the types also differentiate farmers with respect to decisions about changing the farm size, breeding aims and stated reactions towards hypothetical subsidy variation. We have verified that economic and cultural capitals are not independent and further showed how they are interacting in the different farmer types. The farmers related to the types with high economic, institutionalized and embodied cultural capitals had a higher demand of breeding animals from others farmers of the breed, which may be related to the higher social prestige within the breed. One of the key implications of this finding for the future of the breed is whether or not the prestige of farmers is related to genetic superiority of their animals, what is to say, that it is related with a sound use of tools that farmers have available to make selection decisions. The farmer types differed in the form of collaboration and in the reactions to the hypothetical variation in subsidies. There were farmers with low dependency on subsidies, while most of them are highly dependent on subsidies. Therefore, any drastic change in the subsidy programme might have influence on the development of local breeds. The adaptation of these programme to the farmers’ heterogeneity might increase its efficacy, thus it would be interesting to explore ways of doing it. We conclude highlighting the need to have a variety of policies, which take into account the heterogeneity among the farmers. To finish we dealt with the genetic structure of livestock populations. Farmers’ decisions on the breeding animals and their progeny numbers shape the demographic and genetic structure of the breeds. Nowadays there is a renovated interest in studying the population structure since it can bias the prediction of genomic breeding values and genome wide association studies. We determined the genetic structure of ANI breed using two different methods, a graphical clustering algorithm (GCA) and a Bayesian clustering algorithm (STRUCTURE) were used. We paid particular attention to the influence that the presence of closely related individuals and the genetic differentiation of subpopulations may have on the inferences about the population structure. We first evaluated the performance of the algorithms in simulated populations. Then we inferred the genetic structure of the Spanish cattle breed ANI analysing a data set of 13343 animals (genotyped for 17 microsatellites) from 57 herds. ANI breed is an example of a population with complex relationships. We used the herdbook to study the gene flow, estimation among other things, the contribution of different herds to the genetic composition of the ANI breed. For the simulated scenarios, when FST among subpopulations was sufficiently high, both algorithms consistently inferred the correct structure regardless of the presence of related individuals. However, when the genetic differentiation among subpopulations was low, STRUCTURE identified the family based structure while GCA did not provide any consistent picture. The GCA was a fast and efficient method to infer genetic structure to determine the hidden core structure of a population with complex history and relationships. GCA could also be used to narrow down the number of clusters to be tested by STRUCTURE. Both, STRUCTURE and GCA describe a similar structure for the ANI breed suggesting that the results are robust. ANI population was found to have three genetically differentiated clusters that could correspond to three genetic lineages. These are directly related to the herds with a major contribution to the breed. In addition, ANI breed has also a large pool made of individuals with an admixture of origins. The genetic structure of ANI, assessed by molecular information, shows a stratification that corresponds to the demographic evolution of the breed. It will be of great importance to learn more about the composition of the pool and study how it is related to the existing genetic variability of the breed.
Resumo:
Probabilistic modeling is the de�ning characteristic of estimation of distribution algorithms (EDAs) which determines their behavior and performance in optimization. Regularization is a well-known statistical technique used for obtaining an improved model by reducing the generalization error of estimation, especially in high-dimensional problems. `1-regularization is a type of this technique with the appealing variable selection property which results in sparse model estimations. In this thesis, we study the use of regularization techniques for model learning in EDAs. Several methods for regularized model estimation in continuous domains based on a Gaussian distribution assumption are presented, and analyzed from di�erent aspects when used for optimization in a high-dimensional setting, where the population size of EDA has a logarithmic scale with respect to the number of variables. The optimization results obtained for a number of continuous problems with an increasing number of variables show that the proposed EDA based on regularized model estimation performs a more robust optimization, and is able to achieve signi�cantly better results for larger dimensions than other Gaussian-based EDAs. We also propose a method for learning a marginally factorized Gaussian Markov random �eld model using regularization techniques and a clustering algorithm. The experimental results show notable optimization performance on continuous additively decomposable problems when using this model estimation method. Our study also covers multi-objective optimization and we propose joint probabilistic modeling of variables and objectives in EDAs based on Bayesian networks, speci�cally models inspired from multi-dimensional Bayesian network classi�ers. It is shown that with this approach to modeling, two new types of relationships are encoded in the estimated models in addition to the variable relationships captured in other EDAs: objectivevariable and objective-objective relationships. An extensive experimental study shows the e�ectiveness of this approach for multi- and many-objective optimization. With the proposed joint variable-objective modeling, in addition to the Pareto set approximation, the algorithm is also able to obtain an estimation of the multi-objective problem structure. Finally, the study of multi-objective optimization based on joint probabilistic modeling is extended to noisy domains, where the noise in objective values is represented by intervals. A new version of the Pareto dominance relation for ordering the solutions in these problems, namely �-degree Pareto dominance, is introduced and its properties are analyzed. We show that the ranking methods based on this dominance relation can result in competitive performance of EDAs with respect to the quality of the approximated Pareto sets. This dominance relation is then used together with a method for joint probabilistic modeling based on `1-regularization for multi-objective feature subset selection in classi�cation, where six di�erent measures of accuracy are considered as objectives with interval values. The individual assessment of the proposed joint probabilistic modeling and solution ranking methods on datasets with small-medium dimensionality, when using two di�erent Bayesian classi�ers, shows that comparable or better Pareto sets of feature subsets are approximated in comparison to standard methods.
Resumo:
Los avances en el hardware permiten disponer de grandes volúmenes de datos, surgiendo aplicaciones que deben suministrar información en tiempo cuasi-real, la monitorización de pacientes, ej., el seguimiento sanitario de las conducciones de agua, etc. Las necesidades de estas aplicaciones hacen emerger el modelo de flujo de datos (data streaming) frente al modelo almacenar-para-despuésprocesar (store-then-process). Mientras que en el modelo store-then-process, los datos son almacenados para ser posteriormente consultados; en los sistemas de streaming, los datos son procesados a su llegada al sistema, produciendo respuestas continuas sin llegar a almacenarse. Esta nueva visión impone desafíos para el procesamiento de datos al vuelo: 1) las respuestas deben producirse de manera continua cada vez que nuevos datos llegan al sistema; 2) los datos son accedidos solo una vez y, generalmente, no son almacenados en su totalidad; y 3) el tiempo de procesamiento por dato para producir una respuesta debe ser bajo. Aunque existen dos modelos para el cómputo de respuestas continuas, el modelo evolutivo y el de ventana deslizante; éste segundo se ajusta mejor en ciertas aplicaciones al considerar únicamente los datos recibidos más recientemente, en lugar de todo el histórico de datos. En los últimos años, la minería de datos en streaming se ha centrado en el modelo evolutivo. Mientras que, en el modelo de ventana deslizante, el trabajo presentado es más reducido ya que estos algoritmos no sólo deben de ser incrementales si no que deben borrar la información que caduca por el deslizamiento de la ventana manteniendo los anteriores tres desafíos. Una de las tareas fundamentales en minería de datos es la búsqueda de agrupaciones donde, dado un conjunto de datos, el objetivo es encontrar grupos representativos, de manera que se tenga una descripción sintética del conjunto. Estas agrupaciones son fundamentales en aplicaciones como la detección de intrusos en la red o la segmentación de clientes en el marketing y la publicidad. Debido a las cantidades masivas de datos que deben procesarse en este tipo de aplicaciones (millones de eventos por segundo), las soluciones centralizadas puede ser incapaz de hacer frente a las restricciones de tiempo de procesamiento, por lo que deben recurrir a descartar datos durante los picos de carga. Para evitar esta perdida de datos, se impone el procesamiento distribuido de streams, en concreto, los algoritmos de agrupamiento deben ser adaptados para este tipo de entornos, en los que los datos están distribuidos. En streaming, la investigación no solo se centra en el diseño para tareas generales, como la agrupación, sino también en la búsqueda de nuevos enfoques que se adapten mejor a escenarios particulares. Como ejemplo, un mecanismo de agrupación ad-hoc resulta ser más adecuado para la defensa contra la denegación de servicio distribuida (Distributed Denial of Services, DDoS) que el problema tradicional de k-medias. En esta tesis se pretende contribuir en el problema agrupamiento en streaming tanto en entornos centralizados y distribuidos. Hemos diseñado un algoritmo centralizado de clustering mostrando las capacidades para descubrir agrupaciones de alta calidad en bajo tiempo frente a otras soluciones del estado del arte, en una amplia evaluación. Además, se ha trabajado sobre una estructura que reduce notablemente el espacio de memoria necesario, controlando, en todo momento, el error de los cómputos. Nuestro trabajo también proporciona dos protocolos de distribución del cómputo de agrupaciones. Se han analizado dos características fundamentales: el impacto sobre la calidad del clustering al realizar el cómputo distribuido y las condiciones necesarias para la reducción del tiempo de procesamiento frente a la solución centralizada. Finalmente, hemos desarrollado un entorno para la detección de ataques DDoS basado en agrupaciones. En este último caso, se ha caracterizado el tipo de ataques detectados y se ha desarrollado una evaluación sobre la eficiencia y eficacia de la mitigación del impacto del ataque. ABSTRACT Advances in hardware allow to collect huge volumes of data emerging applications that must provide information in near-real time, e.g., patient monitoring, health monitoring of water pipes, etc. The data streaming model emerges to comply with these applications overcoming the traditional store-then-process model. With the store-then-process model, data is stored before being consulted; while, in streaming, data are processed on the fly producing continuous responses. The challenges of streaming for processing data on the fly are the following: 1) responses must be produced continuously whenever new data arrives in the system; 2) data is accessed only once and is generally not maintained in its entirety, and 3) data processing time to produce a response should be low. Two models exist to compute continuous responses: the evolving model and the sliding window model; the latter fits best with applications must be computed over the most recently data rather than all the previous data. In recent years, research in the context of data stream mining has focused mainly on the evolving model. In the sliding window model, the work presented is smaller since these algorithms must be incremental and they must delete the information which expires when the window slides. Clustering is one of the fundamental techniques of data mining and is used to analyze data sets in order to find representative groups that provide a concise description of the data being processed. Clustering is critical in applications such as network intrusion detection or customer segmentation in marketing and advertising. Due to the huge amount of data that must be processed by such applications (up to millions of events per second), centralized solutions are usually unable to cope with timing restrictions and recur to shedding techniques where data is discarded during load peaks. To avoid discarding of data, processing of streams (such as clustering) must be distributed and adapted to environments where information is distributed. In streaming, research does not only focus on designing for general tasks, such as clustering, but also in finding new approaches that fit bests with particular scenarios. As an example, an ad-hoc grouping mechanism turns out to be more adequate than k-means for defense against Distributed Denial of Service (DDoS). This thesis contributes to the data stream mining clustering technique both for centralized and distributed environments. We present a centralized clustering algorithm showing capabilities to discover clusters of high quality in low time and we provide a comparison with existing state of the art solutions. We have worked on a data structure that significantly reduces memory requirements while controlling the error of the clusters statistics. We also provide two distributed clustering protocols. We focus on the analysis of two key features: the impact on the clustering quality when computation is distributed and the requirements for reducing the processing time compared to the centralized solution. Finally, with respect to ad-hoc grouping techniques, we have developed a DDoS detection framework based on clustering.We have characterized the attacks detected and we have evaluated the efficiency and effectiveness of mitigating the attack impact.
Resumo:
En la última década ha aumentado en gran medida el interés por las redes móviles Ad Hoc. La naturaleza dinámica y sin infraestructura de estas redes, exige un nuevo conjunto de algoritmos y estrategias para proporcionar un servicio de comunicación fiable extremo a extremo. En el contexto de las redes móviles Ad Hoc, el encaminamiento surge como una de las áreas más interesantes para transmitir información desde una fuente hasta un destino, con la calidad de servicio de extremo a extremo. Debido a las restricciones inherentes a las redes móviles, los modelos de encaminamiento tradicionales sobre los que se fundamentan las redes fijas, no son aplicables a las redes móviles Ad Hoc. Como resultado, el encaminamiento en redes móviles Ad Hoc ha gozado de una gran atención durante los últimos años. Esto ha llevado al acrecentamiento de numerosos protocolos de encaminamiento, tratando de cubrir con cada uno de ellos las necesidades de los diferentes tipos de escenarios. En consecuencia, se hace imprescindible estudiar el comportamiento de estos protocolos bajo configuraciones de red variadas, con el fin de ofrecer un mejor encaminamiento respecto a los existentes. El presente trabajo de investigación muestra precisamente una solución de encaminamiento en las redes móviles Ad Hoc. Dicha solución se basa en el mejoramiento de un algoritmo de agrupamiento y la creación de un modelo de encaminamiento; es decir, un modelo que involucra la optimización de un protocolo de enrutamiento apoyado de un mecanismo de agrupación. El algoritmo mejorado, denominado GMWCA (Group Management Weighted Clustering Algorithm) y basado en el WCA (Weighted Clustering Algorithm), permite calcular el mejor número y tamaño de grupos en la red. Con esta mejora se evitan constantes reagrupaciones y que los jefes de clústeres tengan más tiempo de vida intra-clúster y por ende una estabilidad en la comunicación inter-clúster. En la tesis se detallan las ventajas de nuestro algoritmo en relación a otras propuestas bajo WCA. El protocolo de enrutamiento Ad Hoc propuesto, denominado QoS Group Cluster Based Routing Protocol (QoSG-CBRP), utiliza como estrategia el empleo de clúster y jerarquías apoyada en el algoritmo de agrupamiento. Cada clúster tiene un jefe de clúster (JC), quien administra la información de enrutamiento y la envía al destino cuando esta fuera de su área de cobertura. Para evitar que haya constantes reagrupamientos y llamados al algoritmo de agrupamiento se consideró agregarle un jefe de cluster de soporte (JCS), el que asume las funciones del JC, siempre y cuando este haya roto el enlace con los otros nodos comunes del clúster por razones de alejamiento o por desgaste de batería. Matemáticamente y a nivel de algoritmo se han demostrado las mejoras del modelo propuesto, el cual ha involucrado el mejoramiento a nivel de algoritmo de clustering y del protocolo de enrutamiento. El protocolo QoSG-CBRP, se ha implementado en la herramienta de simulación Network Simulator 2 (NS2), con la finalidad de ser comparado con el protocolo de enrutamiento jerárquico Cluster Based Routing Protocol (CBRP) y con un protocolo de enrutamiento Ad Hoc reactivo denominado Ad Hoc On Demand Distance Vector Routing (AODV). Estos protocolos fueron elegidos por ser los que mejor comportamiento presentaron dentro de sus categorías. Además de ofrecer un panorama general de los actuales protocolos de encaminamiento en redes Ad Hoc, este proyecto presenta un procedimiento integral para el análisis de capacidades de la propuesta del nuevo protocolo con respecto a otros, sobre redes que tienen un alto número de nodos. Estas prestaciones se miden en base al concepto de eficiencia de encaminamiento bajo parámetros de calidad de servicio (QoS), permitiendo establecer el camino más corto posible entre un nodo origen y un nodo destino. Con ese fin se han realizado simulaciones con diversos escenarios para responder a los objetivos de la tesis. La conclusiones derivadas del análisis de los resultados permiten evaluar cualitativamente las capacidades que presenta el protocolo dentro del modelo propuesto, al mismo tiempo que avizora un atractivo panorama en líneas futuras de investigación. ABSTRACT In the past decade, the interest in mobile Ad Hoc networks has greatly increased. The dynamic nature of these networks without infrastructure requires a new set of algorithms and strategies to provide a reliable end-to-end communication service. In the context of mobile Ad Hoc networks, routing emerges as one of the most interesting areas for transmitting information from a source to a destination, with the quality of service from end-to-end. Due to the constraints of mobile networks, traditional routing models that are based on fixed networks are not applicable to Ad Hoc mobile networks. As a result, the routing in mobile Ad Hoc networks has experienced great attention in recent years. This has led to the enhancement of many routing protocols, trying to cover with each one of them, the needs of different types of scenarios. Consequently, it is essential to study the behavior of these protocols under various network configurations, in order to provide a better routing scheme. Precisely, the present research shows a routing solution in mobile Ad Hoc networks. This solution is based on the improvement of a clustering algorithm, and the creation of a routing model, ie a model that involves optimizing a routing protocol with the support of a grouping mechanism. The improved algorithm called GMWCA (Group Management Weighted Clustering Algorithm) and based on the WCA (Weighted Clustering Algorithm), allows to calculate the best number and size of groups in the network. With this enhancement, constant regroupings are prevented and cluster heads are living longer intra-cluster lives and therefore stability in inter-cluster communication. The thesis details the advantages of our algorithm in relation to other proposals under WCA. The Ad Hoc routing protocol proposed, called QoS Group Cluster Based Routing Protocol (QoSG-CBRP), uses a cluster-employment strategy and hierarchies supported by the clustering algorithm. Each cluster has a cluster head (JC), who manages the routing information and sends it to the destination when is out of your coverage area. To avoid constant rearrangements and clustering algorithm calls, adding a support cluster head (JCS) was considered. The JCS assumes the role of the JC as long as JC has broken the link with the other nodes in the cluster for common restraining reasons or battery wear. Mathematically and at an algorithm level, the improvements of the proposed model have been showed, this has involved the improvement level clustering algorithm and the routing protocol. QoSG-CBRP protocol has been implemented in the simulation tool Network Simulator 2 (NS2), in order to be compared with the hierarchical routing protocol Cluster Based Routing Protocol (CBRP) and with the reactive routing protocol Ad Hoc On Demand Distance Vector Routing (AODV). These protocols were chosen because they showed the best individual performance in their categories. In addition to providing an overview of existing routing protocols in Ad Hoc networks, this project presents a comprehensive procedure for capacity analysis of the proposed new protocol with respect to others on networks that have a high number of nodes. These benefits are measured based on the concept of routing efficiency under the quality of service (QoS) parameters, thus allowing for the shortest possible path between a source node and a destination node. To meet the objectives of the thesis, simulations have been performed with different scenarios. The conclusions derived from the analysis of the results to assess qualitatively the protocol capabilities presented in the proposed model, while an attractive scenario for future research appears.
Resumo:
El Malware es una grave amenaza para la seguridad de los sistemas. Con el uso generalizado de la World Wide Web, ha habido un enorme aumento en los ataques de virus, haciendo que la seguridad informática sea esencial para todas las computadoras y se expandan las áreas de investigación sobre los nuevos incidentes que se generan, siendo una de éstas la clasificación del malware. Los “desarrolladores de malware” utilizan nuevas técnicas para generar malware polimórfico reutilizando los malware existentes, por lo cual es necesario agruparlos en familias para estudiar sus características y poder detectar nuevas variantes de los mismos. Este trabajo, además de presentar un detallado estado de la cuestión de la clasificación del malware de ficheros ejecutables PE, presenta un enfoque en el que se mejora el índice de la clasificación de la base de datos de Malware MALICIA utilizando las características estáticas de ficheros ejecutables Imphash y Pehash, utilizando dichas características se realiza un clustering con el algoritmo clustering agresivo el cual se cambia con la clasificación actual mediante el algoritmo de majority voting y la característica icon_label, obteniendo un Precision de 99,15% y un Recall de 99,32% mejorando la clasificación de MALICIA con un F-measure de 99,23%.---ABSTRACT---Malware is a serious threat to the security of systems. With the widespread use of the World Wide Web, there has been a huge increase in virus attacks, making the computer security essential for all computers. Near areas of research have append in this area including classifying malware into families, Malware developers use polymorphism to generate new variants of existing malware. Thus it is crucial to group variants of the same family, to study their characteristics and to detect new variants. This work, in addition to presenting a detailed analysis of the problem of classifying malware PE executable files, presents an approach in which the classification in the Malware database MALICIA is improved by using static characteristics of executable files, namely Imphash and Pehash. Both features are evaluated through clustering real malware with family labels with aggressive clustering algorithm and combining this with the current classification by Majority voting algorithm, obtaining a Precision of 99.15% and a Recall of 99.32%, improving the classification of MALICIA with an F-measure of 99,23%.
Resumo:
A nivel mundial, el cáncer de mama es el tipo de cáncer más frecuente además de una de las principales causas de muerte entre la población femenina. Actualmente, el método más eficaz para detectar lesiones mamarias en una etapa temprana es la mamografía. Ésta contribuye decisivamente al diagnóstico precoz de esta enfermedad que, si se detecta a tiempo, tiene una probabilidad de curación muy alta. Uno de los principales y más frecuentes hallazgos en una mamografía, son las microcalcificaciones, las cuales son consideradas como un indicador importante de cáncer de mama. En el momento de analizar las mamografías, factores como la capacidad de visualización, la fatiga o la experiencia profesional del especialista radiólogo hacen que el riesgo de omitir ciertas lesiones presentes se vea incrementado. Para disminuir dicho riesgo es importante contar con diferentes alternativas como por ejemplo, una segunda opinión por otro especialista o un doble análisis por el mismo. En la primera opción se eleva el coste y en ambas se prolonga el tiempo del diagnóstico. Esto supone una gran motivación para el desarrollo de sistemas de apoyo o asistencia en la toma de decisiones. En este trabajo de tesis se propone, se desarrolla y se justifica un sistema capaz de detectar microcalcificaciones en regiones de interés extraídas de mamografías digitalizadas, para contribuir a la detección temprana del cáncer demama. Dicho sistema estará basado en técnicas de procesamiento de imagen digital, de reconocimiento de patrones y de inteligencia artificial. Para su desarrollo, se tienen en cuenta las siguientes consideraciones: 1. Con el objetivo de entrenar y probar el sistema propuesto, se creará una base de datos de imágenes, las cuales pertenecen a regiones de interés extraídas de mamografías digitalizadas. 2. Se propone la aplicación de la transformada Top-Hat, una técnica de procesamiento digital de imagen basada en operaciones de morfología matemática. La finalidad de aplicar esta técnica es la de mejorar el contraste entre las microcalcificaciones y el tejido presente en la imagen. 3. Se propone un algoritmo novel llamado sub-segmentación, el cual está basado en técnicas de reconocimiento de patrones aplicando un algoritmo de agrupamiento no supervisado, el PFCM (Possibilistic Fuzzy c-Means). El objetivo es encontrar las regiones correspondientes a las microcalcificaciones y diferenciarlas del tejido sano. Además, con la finalidad de mostrar las ventajas y desventajas del algoritmo propuesto, éste es comparado con dos algoritmos del mismo tipo: el k-means y el FCM (Fuzzy c-Means). Por otro lado, es importante destacar que en este trabajo por primera vez la sub-segmentación es utilizada para detectar regiones pertenecientes a microcalcificaciones en imágenes de mamografía. 4. Finalmente, se propone el uso de un clasificador basado en una red neuronal artificial, específicamente un MLP (Multi-layer Perceptron). El propósito del clasificador es discriminar de manera binaria los patrones creados a partir de la intensidad de niveles de gris de la imagen original. Dicha clasificación distingue entre microcalcificación y tejido sano. ABSTRACT Breast cancer is one of the leading causes of women mortality in the world and its early detection continues being a key piece to improve the prognosis and survival. Currently, the most reliable and practical method for early detection of breast cancer is mammography.The presence of microcalcifications has been considered as a very important indicator ofmalignant types of breast cancer and its detection and classification are important to prevent and treat the disease. However, the detection and classification of microcalcifications continue being a hard work due to that, in mammograms there is a poor contrast between microcalcifications and the tissue around them. Factors such as visualization, tiredness or insufficient experience of the specialist increase the risk of omit some present lesions. To reduce this risk, is important to have alternatives such as a second opinion or a double analysis for the same specialist. In the first option, the cost increases and diagnosis time also increases for both of them. This is the reason why there is a great motivation for development of help systems or assistance in the decision making process. This work presents, develops and justifies a system for the detection of microcalcifications in regions of interest extracted fromdigitizedmammographies to contribute to the early detection of breast cancer. This systemis based on image processing techniques, pattern recognition and artificial intelligence. For system development the following features are considered: With the aim of training and testing the system, an images database is created, belonging to a region of interest extracted from digitized mammograms. The application of the top-hat transformis proposed. This image processing technique is based on mathematical morphology operations. The aim of this technique is to improve the contrast betweenmicrocalcifications and tissue present in the image. A novel algorithm called sub-segmentation is proposed. The sub-segmentation is based on pattern recognition techniques applying a non-supervised clustering algorithm known as Possibilistic Fuzzy c-Means (PFCM). The aim is to find regions corresponding to the microcalcifications and distinguish them from the healthy tissue. Furthermore,with the aim of showing themain advantages and disadvantages this is compared with two algorithms of same type: the k-means and the fuzzy c-means (FCM). On the other hand, it is important to highlight in this work for the first time the sub-segmentation is used for microcalcifications detection. Finally, a classifier based on an artificial neural network such as Multi-layer Perceptron is used. The purpose of this classifier is to discriminate froma binary perspective the patterns built from gray level intensity of the original image. This classification distinguishes between microcalcifications and healthy tissue.
Resumo:
Las redes de sensores inalámbricas son uno de los sectores con más crecimiento dentro de las redes inalámbricas. La rápida adopción de estas redes como solución para muchas nuevas aplicaciones ha llevado a un creciente tráfico en el espectro radioeléctrico. Debido a que las redes inalámbricas de sensores operan en las bandas libres Industrial, Scientific and Medical (ISM) se ha producido una saturación del espectro que en pocos años no permitirá un buen funcionamiento. Con el objetivo de solucionar este tipo de problemas ha aparecido el paradigma de Radio Cognitiva (CR). La introducción de las capacidades cognitivas en las redes inalámbricas de sensores permite utilizar estas redes para aplicaciones con unos requisitos más estrictos respecto a fiabilidad, cobertura o calidad de servicio. Estas redes que aúnan todas estas características son llamadas redes de sensores inalámbricas cognitivas (CWSNs). La mejora en prestaciones de las CWSNs permite su utilización en aplicaciones críticas donde antes no podían ser utilizadas como monitorización de estructuras, de servicios médicos, en entornos militares o de vigilancia. Sin embargo, estas aplicaciones también requieren de otras características que la radio cognitiva no nos ofrece directamente como, por ejemplo, la seguridad. La seguridad en CWSNs es un aspecto poco desarrollado al ser una característica no esencial para su funcionamiento, como pueden serlo el sensado del espectro o la colaboración. Sin embargo, su estudio y mejora es esencial de cara al crecimiento de las CWSNs. Por tanto, esta tesis tiene como objetivo implementar contramedidas usando las nuevas capacidades cognitivas, especialmente en la capa física, teniendo en cuenta las limitaciones con las que cuentan las WSNs. En el ciclo de trabajo de esta tesis se han desarrollado dos estrategias de seguridad contra ataques de especial importancia en redes cognitivas: el ataque de simulación de usuario primario (PUE) y el ataque contra la privacidad eavesdropping. Para mitigar el ataque PUE se ha desarrollado una contramedida basada en la detección de anomalías. Se han implementado dos algoritmos diferentes para detectar este ataque: el algoritmo de Cumulative Sum y el algoritmo de Data Clustering. Una vez comprobado su validez se han comparado entre sí y se han investigado los efectos que pueden afectar al funcionamiento de los mismos. Para combatir el ataque de eavesdropping se ha desarrollado una contramedida basada en la inyección de ruido artificial de manera que el atacante no distinga las señales con información del ruido sin verse afectada la comunicación que nos interesa. También se ha estudiado el impacto que tiene esta contramedida en los recursos de la red. Como resultado paralelo se ha desarrollado un marco de pruebas para CWSNs que consta de un simulador y de una red de nodos cognitivos reales. Estas herramientas han sido esenciales para la implementación y extracción de resultados de la tesis. ABSTRACT Wireless Sensor Networks (WSNs) are one of the fastest growing sectors in wireless networks. The fast introduction of these networks as a solution in many new applications has increased the traffic in the radio spectrum. Due to the operation of WSNs in the free industrial, scientific, and medical (ISM) bands, saturation has ocurred in these frequencies that will make the same operation methods impossible in the future. Cognitive radio (CR) has appeared as a solution for this problem. The networks that join all the mentioned features together are called cognitive wireless sensor networks (CWSNs). The adoption of cognitive features in WSNs allows the use of these networks in applications with higher reliability, coverage, or quality of service requirements. The improvement of the performance of CWSNs allows their use in critical applications where they could not be used before such as structural monitoring, medical care, military scenarios, or security monitoring systems. Nevertheless, these applications also need other features that cognitive radio does not add directly, such as security. The security in CWSNs has not yet been explored fully because it is not necessary field for the main performance of these networks. Instead, other fields like spectrum sensing or collaboration have been explored deeply. However, the study of security in CWSNs is essential for their growth. Therefore, the main objective of this thesis is to study the impact of some cognitive radio attacks in CWSNs and to implement countermeasures using new cognitive capabilities, especially in the physical layer and considering the limitations of WSNs. Inside the work cycle of this thesis, security strategies against two important kinds of attacks in cognitive networks have been developed. These attacks are the primary user emulator (PUE) attack and the eavesdropping attack. A countermeasure against the PUE attack based on anomaly detection has been developed. Two different algorithms have been implemented: the cumulative sum algorithm and the data clustering algorithm. After the verification of these solutions, they have been compared and the side effects that can disturb their performance have been analyzed. The developed approach against the eavesdropping attack is based on the generation of artificial noise to conceal information messages. The impact of this countermeasure on network resources has also been studied. As a parallel result, a new framework for CWSNs has been developed. This includes a simulator and a real network with cognitive nodes. This framework has been crucial for the implementation and extraction of the results presented in this thesis.
Resumo:
A method to analyze parabolic reflectors with arbitrary piecewise rim is presented in this communication. This kind of reflectors, when operating as collimators in compact range facilities, needs to be large in terms of wavelength. Their analysis is very inefficient, when it is carried out with fullwave/MoM techniques, and it is not very appropriate for designing with PO techniques. Also, fast GO formulations do not offer enough accuracy to reach performance results. The proposed algorithm is based on a GO-PWS hybrid scheme, using analytical as well as non-analytical formulations. On one side, an analytical treatment of the polygonal rim reflectors is carried out. On the other side, non-analytical calculi are based on efficient operations, such as M2 order 2-dimensional FFT. A combination of these two techniques in the algorithm ensures real ad-hoc design capabilities, reached through analysis speedup. The purpose of the algorithm is to obtain an optimal conformal serrated-edge reflector design through the analysis of the field quality within the quiet zone that it is able to generate in its forward half space.