Bayesian Adaptive Designs for Early Phase Clinical Trials

My dissertation focuses mainly on Bayesian adaptive designs for phase I and phase II clinical trials. It includes three specific topics: (1) proposing a novel two-dimensional dose-finding algorithm for biological agents, (2) developing Bayesian adaptive screening designs to provide more efficient and ethical clinical trials, and (3) incorporating missing late-onset responses to make an early stopping decision. Treating patients with novel biological agents is becoming a leading trend in oncology. Unlike cytotoxic agents, for which toxicity and efficacy monotonically increase with dose, biological agents may exhibit non-monotonic patterns in their dose-response relationships. Using a trial with two biological agents as an example, we propose a phase I/II trial design to identify the biologically optimal dose combination (BODC), which is defined as the dose combination of the two agents with the highest efficacy and tolerable toxicity. A change-point model is used to reflect the fact that the dose-toxicity surface of the combinational agents may plateau at higher dose levels, and a flexible logistic model is proposed to accommodate the possible non-monotonic pattern for the dose-efficacy relationship. During the trial, we continuously update the posterior estimates of toxicity and efficacy and assign patients to the most appropriate dose combination. We propose a novel dose-finding algorithm to encourage sufficient exploration of untried dose combinations in the two-dimensional space. Extensive simulation studies show that the proposed design has desirable operating characteristics in identifying the BODC under various patterns of dose-toxicity and dose-efficacy relationships. Trials of combination therapies for the treatment of cancer are playing an increasingly important role in the battle against this disease. To more efficiently handle the large number of combination therapies that must be tested, we propose a novel Bayesian phase II adaptive screening design to simultaneously select among possible treatment combinations involving multiple agents. Our design is based on formulating the selection procedure as a Bayesian hypothesis testing problem in which the superiority of each treatment combination is equated to a single hypothesis. During the trial conduct, we use the current values of the posterior probabilities of all hypotheses to adaptively allocate patients to treatment combinations. Simulation studies show that the proposed design substantially outperforms the conventional multi-arm balanced factorial trial design. The proposed design yields a significantly higher probability for selecting the best treatment while at the same time allocating substantially more patients to efficacious treatments. The proposed design is most appropriate for the trials combining multiple agents and screening out the efficacious combination to be further investigated. The proposed Bayesian adaptive phase II screening design substantially outperformed the conventional complete factorial design. Our design allocates more patients to better treatments while at the same time providing higher power to identify the best treatment at the end of the trial. Phase II trial studies usually are single-arm trials which are conducted to test the efficacy of experimental agents and decide whether agents are promising to be sent to phase III trials. Interim monitoring is employed to stop the trial early for futility to avoid assigning unacceptable number of patients to inferior treatments. We propose a Bayesian single-arm phase II design with continuous monitoring for estimating the response rate of the experimental drug. To address the issue of late-onset responses, we use a piece-wise exponential model to estimate the hazard function of time to response data and handle the missing responses using the multiple imputation approach. We evaluate the operating characteristics of the proposed method through extensive simulation studies. We show that the proposed method reduces the total length of the trial duration and yields desirable operating characteristics for different physician-specified lower bounds of response rate with different true response rates.

DNA alignment and Bayesian trees of partial sequences of COI, COIII and the haemocyanin functional unit f-g of 28 octopod species

Background: Octopods have successfully colonised the world's oceans from the tropics to the poles. Yet, successful persistence in these habitats has required adaptations of their advanced physiological apparatus to compensate impaired oxygen supply. Their oxygen transporter haemocyanin plays a major role in cold tolerance and accordingly has undergone functional modifications to sustain oxygen release at sub-zero temperatures. However, it remains unknown how molecular properties evolved to explain the observed functional adaptations. We thus aimed to assess whether natural selection affected molecular and structural properties of haemocyanin that explains temperature adaptation in octopods. Results: Analysis of 239 partial sequences of the haemocyanin functional units (FU) f and g of 28 octopod species of polar, temperate, subtropical and tropical origin revealed natural selection was acting primarily on charge properties of surface residues. Polar octopods contained haemocyanins with higher net surface charge due to decreased glutamic acid content and higher numbers of basic amino acids. Within the analysed partial sequences, positive selection was present at site 2545, positioned between the active copper binding centre and the FU g surface. At this site, methionine was the dominant amino acid in polar octopods and leucine was dominant in tropical octopods. Sites directly involved in oxygen binding or quaternary interactions were highly conserved within the analysed sequence. Conclusions: This study has provided the first insight into molecular and structural mechanisms that have enabled octopods to sustain oxygen supply from polar to tropical conditions. Our findings imply modulation of oxygen binding via charge-charge interaction at the protein surface, which stabilize quaternary interactions among functional units to reduce detrimental effects of high pH on venous oxygen release. Of the observed partial haemocyanin sequence, residue 2545 formed a close link between the FU g surface and the active centre, suggesting a role as allosteric binding site. The prevalence of methionine at this site in polar octopods, implies regulation of oxygen affinity via increased sensitivity to allosteric metal binding. High sequence conservation of sites directly involved in oxygen binding indicates that functional modifications of octopod haemocyanin rather occur via more subtle mechanisms, as observed in this study.

Comparison of metaheuristic strategies for peakbin selection in proteomic mass spectrometry data

Mass spectrometry (MS) data provide a promising strategy for biomarker discovery. For this purpose, the detection of relevant peakbins in MS data is currently under intense research. Data from mass spectrometry are challenging to analyze because of their high dimensionality and the generally low number of samples available. To tackle this problem, the scientific community is becoming increasingly interested in applying feature subset selection techniques based on specialized machine learning algorithms. In this paper, we present a performance comparison of some metaheuristics: best first (BF), genetic algorithm (GA), scatter search (SS) and variable neighborhood search (VNS). Up to now, all the algorithms, except for GA, have been first applied to detect relevant peakbins in MS data. All these metaheuristic searches are embedded in two different filter and wrapper schemes coupled with Naive Bayes and SVM classifiers.

Integration of socioeconomic and genetic aspects involved in the conservation of animal genetic resources = Integración de aspectos socioeconómicos y genéticos involucrados en la conservación de recursos genéticos animales

El sector ganadero está siendo gradualmente dominado por sistemas intensivos y especializados en los que los factores de producción están controlados y en los que los caracteres productivos son los criterios principales para la selección de especies y razas. Entretanto, muchos de los bienes y servicios que tradicionalmente suministraba el ganado, tales como los fertilizantes, la tracción animal o materias primas para la elaboración vestimenta y calzado están siendo reemplazados por productos industriales. Como consecuencia de ambos cambios, las razas seleccionadas intensivamente, las cuales están estrechamente ligadas a sistemas agrícolas de alta producción y altos insumos, han desplazado a muchas razas autóctonas, en las que la selección prácticamente ha cesado o es muy poco intensa. Actualmente existe una mayor conciencia social sobre la situación de las razas autóctonas y muchas funciones del ganado que previamente habían sido ignoradas están siendo reconocidas. Desde hace algunas décadas, se ha aceptado internacionalmente que las razas de ganado cumplen funciones económicas, socio-culturales, medioambientales y de seguridad alimentaria. Por ello, diferentes organismos internacionales han reconocido que la disminución de los recursos genéticos de animales domésticos (RGADs) es un problema grave y han recomendado su conservación. Aun así, la conservación de RGADs es un tema controvertido por la dificultad de valorar las funciones del ganado. Esta valoración es compleja debido que los RGADs tiene una doble naturaleza privada - pública. Como algunos economistas han subrayado, el ganado es un bien privado, sin embargo debido a algunas de sus funciones, también es un bien público. De esta forma, el aumento del conocimiento sobre valor de cada una de sus funciones facilitaría la toma de decisiones en relación a su conservación y desarrollo. Sin embargo, esta valoración es controvertida puesto que la importancia relativa de las funciones del ganado varía en función del momento, del lugar, de las especies y de las razas. El sector ganadero, debido a sus múltiples funciones, está influenciado por factores técnicos, medioambientales, sociales, culturales y políticos que están interrelacionados y que engloban a una enorme variedad de actores y procesos. Al igual que las funciones del ganado, los factores que afectan a su conservación y desarrollo están fuertemente condicionados por localización geográfica. Asimismo, estos factores pueden ser muy heterogéneos incluso dentro de una misma raza. Por otro lado, es razonable pensar que el ganadero es el actor principal de la conservación de razas locales. Actualmente, las razas locales están siendo Integration of socioeconomic and genetic aspects involved in the conservation of animal genetic resources 5 explotadas por ganaderos muy diversos bajo sistemas de producción también muy diferentes. Por todo ello, es de vital importancia comprender y evaluar el impacto que tienen las motivaciones, y el proceso de toma de decisiones de los ganaderos en la estructura genética de las razas. En esta tesis doctoral exploramos diferentes aspectos sociales, económicos y genéticos involucrados en la conservación de razas locales de ganado vacuno en Europa, como ejemplo de RGADs, esperando contribuir al entendimiento científico de este complejo tema. Nuestro objetivo es conseguir una visión global de los procesos subyacentes en la conservación y desarrollo de estas razas. Pretendemos ilustrar como se pueden utilizar métodos cuantitativos en el diseño y establecimiento de estrategias de conservación y desarrollo de RGADs objetivas y adecuadas. En primer lugar, exploramos el valor económico total (VET) del ganado analizando sus componentes públicos fuera de mercado usando como caso de estudio la raza vacuna Alistana-Sanabresa (AS). El VET de cualquier bien está formado por componentes de uso y de no-uso. Estos últimos incluyen el valor de opción, el valor de herencia y el valor de existencia. En el caso del ganado local, el valor de uso directo proviene de sus productos. Los valores de uso indirecto están relacionados con el papel que cumple las razas en el mantenimiento de los paisajes y cultura rural. El valor de opción se refiere a su futuro uso potencial y el valor de herencia al uso potencial de las generaciones venideras. Finalmente, el valor de existencia está relacionado con el bienestar que produce a la gente saber que existe un recurso específico. Nuestro objetivo fue determinar la importancia relativa que tienen los componentes fuera de mercado sobre el VET de la raza AS. Para ello evaluamos la voluntad de la gente a pagar por la conservación de la AS mediante experimentos de elección (EEs) a través de encuestas. Estos experimentos permiten valorar individualmente los distintos componentes del VET de cualquier bien. Los resultados los analizamos mediante de uso de modelos aleatorios logit. Encontramos que las funciones públicas de la raza AS tienen un valor significativo. Sus valores más importantes son el valor de uso indirecto como elemento cultural Zamorano y el valor de existencia (ambos representaron el 80% de VET). Además observamos que el valor que gente da a las funciones públicas de la razas de ganado dependen de sus características socioeconómicas. Los factores que condicionaron la voluntad a pagar para la conservación de la raza AS fueron el lugar de residencia (ciudad o pueblo), el haber visto animales de la raza o haber consumido sus productos y la actitud de los encuestados ante los conflictos entre el desarrollo económico y el medioambiente. Por otro lado, encontramos que no todo el mundo tiene una visión completa e integrada de todas las funciones públicas de la raza AS. Por este motivo, los programas o actividades de concienciación sobre su estado deberían hacer hincapié en este aspecto. La existencia de valores públicos de la raza AS implica que los ganaderos deberían recibir compensaciones económicas como pago por las funciones públicas que cumple su raza local. Las compensaciones asegurarían un tamaño de población que permitiría que la raza AS siga realizando estas funciones. Un mecanismo para ello podría ser el desarrollo del turismo rural relacionado con la raza. Esto aumentaría el valor de uso privado mientras que supondría un elemento añadido a las estrategias de conservación y desarrollo. No obstante, los ganaderos deben analizar cómo aprovechar los nichos de mercado existentes, así como mejorar la calidad de los productos de la raza prestando especial atención al etiquetado de los mismos. Una vez evaluada la importancia de las funciones públicas de las razas locales de ganado, analizamos la diversidad de factores técnicos, económicos y sociales de la producción de razas locales de ganado vacuno existente en Europa. Con este fin analizamos el caso de quince razas locales de ocho países en el contexto de un proyecto de colaboración internacional. Investigamos las diferencias entre los países para determinar los factores comunes clave que afectan a la viabilidad de las razas locales. Para ello entrevistamos mediante cuestionarios a un total de 355 ganaderos en las quince razas. Como indicador de viabilidad usamos los planes de los ganaderos de variación del tamaño de las ganaderías. Los cuestionarios incluían diferentes aspectos económicos, técnicos y sociales con potencial influencia en las dinámicas demográficas de las razas locales. Los datos recogidos los analizamos mediante distintas técnicas estadísticas multivariantes como el análisis discriminante y la regresión logística. Encontramos que los factores que afectan a la viabilidad de las razas locales en Europa son muy heterogéneos. Un resultado reseñable fue que los ganaderos de algunos países no consideran que la explotación de su raza tenga un alto valor social. Este hecho vuelve a poner de manifiesto la importancia de desarrollar programas Europeos de concienciación sobre la importancia de las funciones que cumplen las razas locales. Además los países analizados presentaron una alta variabilidad en cuanto a la importancia de los mercados locales en la distribución de los productos y en cuanto al porcentaje en propiedad del total de los pastos usados en las explotaciones. Este estudio reflejó la variabilidad de los sistemas y medios de producción (en el sentido socioeconómico, técnico y ecológico) que existe en Europa. Por ello hay que ser cautos en la implementación de las políticas comunes en los diferentes países. También encontramos que la variabilidad dentro de los países puede ser elevada debido a las diferencias entre razas, lo que implica que las políticas nacionales deber ser suficientemente flexibles para adaptarse a las peculiaridades de cada una de las razas. Por otro lado, encontramos una serie de factores comunes a la viabilidad de las razas en los distintos países; la edad de los ganaderos, la colaboración entre ellos y la apreciación social de las funciones culturales, medioambientales y sociales del ganado local. El envejecimiento de los ganaderos de razas locales no es solo un problema de falta de transferencia generacional, sino que también puede suponer una actitud más negativa hacia la inversión en las actividades ganaderas y en una menor capacidad de adaptación a los cambios del sector. La capacidad de adaptación de los ganaderos es un factor crucial en la viabilidad de las razas locales. Las estrategias y políticas de conservación comunes deben incluir las variables comunes a la viabilidad de las razas manteniendo flexibilidad suficiente para adaptarse a las especificidades nacionales. Estas estrategias y políticas deberían ir más allá de compensación económica a los ganaderos de razas locales por la menor productividad de sus razas. Las herramientas para la toma de decisiones ayudan a generar una visión amplia de la conservación y desarrollo de las razas locales. Estas herramientas abordan el diseño de estrategias de conservación y desarrollo de forma sistemática y estructurada. En la tercera parte de la tesis usamos una de estas herramientas, el análisis DAFO (Debilidades, Amenazas, Fortalezas y Oportunidades), con este propósito, reconociendo que la conservación de RGADs depende de los ganaderos. Desarrollamos un análisis DAFO cuantitativo y lo aplicamos a trece razas locales de ganado vacuno de seis países europeos en el contexto del proyecto de colaboración mencionado anteriormente. El método tiene cuatro pasos: 1) la definición del sistema; 2) la identificación y agrupación de los factores influyentes; 3) la cuantificación de la importancia de dichos factores y 4) la identificación y priorización de estrategias. Identificamos los factores utilizando multitud de agentes (multi-stakeholder appproach). Una vez determinados los factores se agruparon en una estructura de tres niveles. La importancia relativa de los cada uno de los factores para cada raza fue determinada por grupos de expertos en RGADs de los países integrados en el citado proyecto. Finalmente, desarrollamos un proceso de cuantificación para identificar y priorizar estrategias. La estructura de agrupación de factores permitió analizar el problema de la conservación desde el nivel general hasta el concreto. La unión de análisis específicos de cada una de las razas en un análisis DAFO común permitió evaluar la adecuación de las estrategias a cada caso concreto. Identificamos un total de 99 factores. El análisis reveló que mientras los factores menos importantes son muy consistentes entre razas, los factores y estrategias más relevantes son muy heterogéneos. La idoneidad de las estrategias fue mayor a medida que estas se hacían más generales. A pesar de dicha heterogeneidad, los factores influyentes y estrategias más importantes estaban ligados a aspectos positivos (fortalezas y oportunidades) lo que implica que el futuro de estas razas es prometedor. Los resultados de nuestro análisis también confirmaron la gran relevancia del valor cultural de estas razas. Las factores internos (fortalezas y debilidades) más importantes estaban relacionadas con los sistemas de producción y los ganaderos. Las oportunidades más relevantes estaban relacionadas con el desarrollo y marketing de nuevos productos mientras que las amenazas más importantes se encontraron a la hora de vender los productos actuales. Este resultado implica que sería fructífero trabajar en la motivación y colaboración entre ganaderos así como, en la mejora de sus capacidades. Concluimos que las políticas comunes europeas deberían centrarse en aspectos generales y ser los suficientemente flexibles para adaptarse a las singularidades de los países y las razas. Como ya se ha mencionado, los ganaderos juegan un papel esencial en la conservación y desarrollo de las razas autóctonas. Por ello es relevante entender que implicación puede tener la heterogeneidad de los mismos en la viabilidad de una raza. En la cuarta parte de la tesis hemos identificado tipos de ganaderos con el fin de entender cómo la relación entre la variabilidad de sus características socioeconómicas, los perfiles de las ganaderías y las dinámicas de las mismas. El análisis se ha realizado en un contexto sociológico, aplicando los conceptos de capital cultural y económico. Las tipologías se han determinado en función de factores socioeconómicos y culturales indicadores del capital cultural y capital económico de un individuo. Nuestro objetivo era estudiar si la tipología socioeconómica de los ganaderos afecta al perfil de su ganadería y a las decisiones que toman. Entrevistamos a 85 ganaderos de la raza Avileña-Negra Ibérica (ANI) y utilizamos los resultados de dichas entrevistas para ilustrar y testar el proceso. Definimos los tipos de ganaderos utilizando un análisis de clúster jerarquizado con un grupo de variables canónicas que se obtuvieron en función de cinco factores socioeconómicos: el nivel de educación del ganadero, el año en que empezó a ser ganadero de ANI, el porcentaje de los ingresos familiares que aporta la ganadería, el porcentaje de propiedad de la tierra de la explotación y la edad del ganadero. La tipología de los ganaderos de ANI resultó ser más compleja que en el pasado. Los resultados indicaron que los tipos de ganaderos variaban en muchos aspectos socioeconómicos y en los perfiles de sus Integration of socioeconomic and genetic aspects involved in the conservation of animal genetic resources 9 ganaderías. Los tipos de ganaderos determinados toman diferentes decisiones en relación a la modificación del tamaño de su ganadería y a sus objetivos de selección. Por otro lado, reaccionaron de forma diferente ante un hipotético escenario de reducción de las compensaciones económicas que les planteamos. En este estudio hemos visto que el capital cultural y el económico interactúan y hemos explicado como lo hacen en los distintos tipos de ganaderos. Por ejemplo, los ganaderos que poseían un mayor capital económico, capital cultural formal y capital cultural adquirido sobre la raza, eran los ganaderos cuyos animales tenían una mayor demanda por parte de otros ganaderos, lo cual podría responder a su mayor prestigio social dentro de la raza. Uno de los elementos claves para el futuro de la raza es si este prestigio responde a una superioridad genética de las animales. Esto ocurriría si los ganaderos utilizaran las herramientas que tienen a su disposición a la hora de seleccionar animales. Los tipos de ganaderos identificados mostraron también claras diferencias en sus formas de colaboración y en su reacción a una hipotética variación de las compensaciones económicas. Aunque algunos tipos de ganaderos mostraron un bajo nivel de dependencia a estas compensaciones, la mayoría se manifestaron altamente dependientes. Por ello cualquier cambio drástico en la política de ayudas puede comprometer el desarrollo de las razas autóctonas. La adaptación las políticas de compensaciones económicas a la heterogeneidad de los ganaderos podría aumentar la eficacia de las mismas por lo que sería interesante explorar posibilidades a este respecto. Concluimos destacando la necesidad de desarrollar políticas que tengan en cuenta la heterogeneidad de los ganaderos. Finalmente abordamos el estudio de la estructura genética de poblaciones ganaderas. Las decisiones de los ganaderos en relación a la selección de sementales y su número de descendientes configuran la estructura demográfica y genética de las razas. En la actualidad existe un interés renovado por estudiar las estructuras poblacionales debido a la influencia potencial de su estratificación sobre la predicción de valores genómicos y/o los análisis de asociación a genoma completo. Utilizamos dos métodos distintos, un algoritmo de clústeres basados en teoría de grafos (GCA) y un algoritmo de clustering bayesiano (STRUCTURE) para estudiar la estructura genética de la raza ANI. Prestamos especial atención al efecto de la presencia de parientes cercanos en la población y de la diferenciación genética entre subpoblaciones sobre el análisis de la estructura de la población. En primer lugar evaluamos el comportamiento de los dos algoritmos en poblaciones simuladas para posteriormente analizar los genotipos para 17 microsatélites de 13343 animales de 57 ganaderías distintas de raza ANI. La ANI es un ejemplo de raza con relaciones complejas. Por otro lado, utilizamos el archivo de pedigrí de la raza para estudiar el flujo de genes, calculando, entre otras cosas, la contribución de cada ganadería a la constitución genética de la raza. En el caso de las poblaciones simuladas, cuando el FST entre subpoblaciones fue suficientemente alto, ambos algoritmos, GCA y STRUCTURE, identificaron la misma estructura genética independientemente de que existieran o no relaciones familiares. Por el contrario, cuando el grado de diferenciación entre poblaciones fue bajo, el STRUCTURE identificó la estructura familiar mientras que GCA no permitió obtener ningún resultado concluyente. El GCA resultó ser un algoritmo más rápido y eficiente para de inferir la estructura genética en poblaciones con relaciones complejas. Este algoritmo también puede ser usado para reducir el número de clústeres a testar con el STRUTURE. En cuanto al análisis de la población de ANI, ambos algoritmos describieron la misma estructura, lo cual sugiere que los resultados son robustos. Se identificaron tres subpoblaciones diferenciadas que pudieran corresponderse con tres linajes distintos. Estos linajes estarían directamente relacionados con las ganaderías que han tenido una mayor contribución a la constitución genética de la raza. Por otro lado, hay un conjunto muy numeroso de individuos con una mezcla de orígenes. La información molecular describe una estructura estratificada de la población que se corresponde con la evolución demográfica de la raza. Es esencial analizar en mayor profundidad la composición de este último grupo de animales para determinar cómo afecta a la variabilidad genética de la población de ANI. SUMMARY Summary Livestock sector is gradually dominated by intensive and specialized systems where the production environment is controlled and the production traits are the main criteria for the selection of species and breeds. In the meantime, the traditional use of domestic animals for draught work, clothes and manure has been replaced by industrial products. As a consequence of both these changes, the intensively selected breeds closely linked with high-input highoutput production systems have displaced many native breeds where the selection has practically ceased or been very mild. People are now more aware of the state of endangerment among the native breeds and the previously ignored values of livestock are gaining recognition. For some decades now, the economic, socio-cultural, environmental and food security function of livestock breeds have been accepted worldwide and their loss has been recognized as a major problem. Therefore, the conservation of farm animal genetic resources (FAnGR) has been recommended. The conservation of FAnGR is controversial due to the complexity of the evaluation of its functions. This evaluation is difficult due to the nature of FAnGR both as private and public good. As some economists have highlighted, livestock animals are private goods, however, they are also public goods by their functions. Therefore, there is a need to increase the knowledge about the value of all livestock functions since to support the decision-making for the sustainable conservation and breeding of livestock. This is not straightforward since the relative importance of livestock functions depends on time, place, species and breed. Since livestock play a variety of roles, their production is driven by interrelated and everchanging economic, technical, environmental, social, cultural and political elements involving an enormous range of stakeholders. Not only FAnGR functions but also the importance of factors affecting the development and conservation of FAnGR can be very different across geographical areas. Furthermore, heterogeneity can be found even within breeds. Local breeds are nowadays raised by highly diverse farmers in equally diverse farms. It is quite reasonable to think that farmer is the major actor in the in situ conservation of livestock breeds. Thus, there is a need to understand the farmers’ motivations, decision making processes and the impact of their decisions on the genetic structure of breeds. In this PhD thesis we explore different social, economic and genetic aspects involved in the conservation of local cattle breeds, i.e. FAnGR, in Europe seeking to contribute to the scientific understanding of this complex issue. We aim to achieve a comprehensive view of the processes involved in the conservation and development of local cattle breeds and have made special efforts in discussing the implications of the research results in this respect. The final outcome of the thesis is to illustrate how quantitative methods can be exploited in designing and establishing sound strategies and programmes for the conservation and development of local livestock breeds. Firstly we explored the public non-market attributes of the total economic value (TEV) of livestock, using the Spanish Alistana-Sanabresa (AS) cattle breed as a case study. Total economic value of any good comprises both use and non-use components, where the latter include option, bequest and existence values. For livestock, the direct use values are mainly stemming from production outputs. Indirect use values relate to the role of livestock as a maintainer of rural culture and landscape. The option value is related to the potential use of livestock, the bequest values relate to the value associated with the inheritance of the resources to future generation and the existence values relate to the utility perceived by people from knowing that specific resources exist. We aimed to determine the relative importance of the non-market components of the TEV of the AS breed, the socio-economic variables that influence how people value the different components of TEV and to assess the implications of the Spanish national conservation strategy for the AS breed. To do so, we used a choice experiment (CE) approach and applied the technique to assess people’s willingness to pay (WTP) for the conservation of AS breed. The use of CE allows the valuation of the individual components of TEV for a given good. We analysed the choice data using a random parameter logit (RPL) model. AS breed was found to have a significant public good value. Its most important values were related to the indirect use value due to the maintenance of Zamorian culture and the existence value (both represent over 80% of its TEV). There were several socioeconomic variables influencing people’s valuation of the public service of the breed. In the case of AS breed, the place of living (city or rural area), having seen animals of the breed, having eaten breed products and the respondents’ attitude towards economic development – environment conflicts do influence people’s WTP for AS conservation. We also found that people do not have a complete picture of all the functions and roles that AS breed as AnGR. Therefore, the actions for increasing awareness of AS should go to that direction. The farmers will need incentives to exploit some of the public goods values and maintain the breed population size at socially desirable levels. One such mechanism could be related to the development of agritourism, which would enhance the private good value and provide an important addition to the conservation and utilisation strategy. However, the farmers need a serious evaluation on how to invest in niche product development or how to improve product quality and brand recognition. Using the understanding on the importance of the public function of local cattle we tried to depict the current diversity regarding technical, economic and social factors found in local cattle farming across Europe. To do so we focused in an international collaborative project on the case of fifteen local cattle breeds in eight European countries. We investigated the variation among the countries to detect the common key elements, which affect the viability of local breeds. We surveyed with interviews a total of 355 farms across the fifteen breeds. We used the planned herd size changes by the farmer as an indicator of breed viability. The questionnaire included several economic, technical and social aspects with potential influence on breeds’ demographic trends. We analysed the data using multivariate statistical techniques, such as discriminat analysis and logistic regression. The factors affecting a local breed’s viability were highly heterogeneous across Europe. In some countries, farmers did not recognise any high social value attached to keeping a local cattle breed. Hence there is a need to develop communication programmes across EU countries making people aware about the diversity and importance of values associated to raising local breeds. The countries were also very variable regarding the importance of local markets and the percentage of farm land owned by the farmers. Despite the country specificities, there were also common factors affecting the breed viability across Europe. The factors were from different grounds, from social, such as the age of the farmer and the social appreciation of their work, to technicalorganizational, such as the farmers’ attitude to collaborating with each other. The heterogeneity found reflects the variation in breeding systems and production environment (in the socioeconomic, technical and ecological sense) present in Europe. Therefore, caution should be taken in implementing common policies at the country level. Variability could also be rather high within countries due to breed specificities. Therefore, the national policies should be flexible to adapt to the specificities. The variables significantly associated with breed viability should be positively incorporated in the conservation strategies, and considered in developing common and/or national policies. The strategy preparation and policy planning should go beyond the provision of a general economic support to compensate farmers for the lower profitability of local breeds. Of particular interest is the observation that the opportunity for farmer collaboration and the appreciation by the society of the cultural, environmental and social role of local cattle farming were positively associated with the breed survival. In addition, farmer's high age is not only a problem of poor generation transfer but it is also a problem because it might lead to a lower attitude to investing in farming activities and to a lower ability to adapt to environment changes. The farmers’ adaptation capability may be a key point for the viability of local breeds. Decision making tools can help to get a comprehensive view on the conservation and development of local breeds. It allows us to use a systematic and structured approach for identifying and prioritizing conservation and development strategies. We used SWOT (Strengths, Weaknesses Opportunities and Threats) analysis for this purpose and recognized that many conservation and development projects rely on farmers. We developed a quantified SWOT method and applied it in the aforementioned collaborative research to a set of thirteen cattle breeds in six European countries. The method has four steps: definition of the system, identification and grouping of the driving factors, quantification of the importance of driving factors and identification and prioritization of the strategies. The factors were determined following a multi-stakeholder approach and grouped with a three level structure. FAnGR expert groups ranked the factors and a quantification process was implemented to identify and prioritize strategies. The structure of the SWOT analysis allowed analyzing the conservation problem from general down to specific perspectives. Joining breed specific analyses into a common SWOT analysis permitted comparison of breed cases across countries. We identified 99 driving factors across breeds. The across breed analysis revealed that irrelevant factors were consistent. There was high heterogeneity among the most relevant factors and strategies. The strategies increased eligibility as they lost specificity. Although the situation was very heterogeneous, the most promising factors and strategies were linked to the positive aspects (Strengths and Opportunities). Therefore, the future of the studied local breed is promising. The results of our analysis also confirmed the high relevance of the cultural value of the breeds. The most important internal factors (strengths and weaknesses) were related farmers and production systems. The most important opportunities were found in developing and marketing new products, while the most relevant threats were found in selling the current conventional products. In this regard, it should be fruitful to work on farmers’ motivation, collaboration, and capacity building. We conclude that European policies should focus on general aspects and be flexible enough to be adapted to the country and breed specificities. As mentioned, farmers have a key role in the conservation and development of a local cattle breed. Therefore, it is very relevant to understand the implications of farmer heterogeneity within a breed for its viability. In the fourth part of the thesis, we developed a general farmer typology to help analyzing the relations between farmer features and farm profiles, herd dynamics and farmers’ decision making. In the analysis we applied and used the sociological framework of economic and cultural capital and studied how the determined farmer types were linked to farm profiles and breeding decisions, among others. The typology was based on measurable socioeconomic factors indicating the economic and cultural capital of farmers. A group of 85 farmers raising the Spanish Avileña-Negra Ibérica (ANI) local cattle breed was used to illustrate and test the procedure. The farmer types were defined by a hierarchical cluster analysis with a set of canonical variables derived from the following five the socioeconomic factors: the formal educational level of the farmer, the year the farmer started keeping the ANI breed, the percentage of the total family income covered by the farm, the percentage of the total farm land owned by the farmer and the farmer’s age. The present ANI farmer types were much more complex than what they were in the past. We found that the farmer types differed in many socioeconomic aspects and in the farms profile. Furthermore, the types also differentiate farmers with respect to decisions about changing the farm size, breeding aims and stated reactions towards hypothetical subsidy variation. We have verified that economic and cultural capitals are not independent and further showed how they are interacting in the different farmer types. The farmers related to the types with high economic, institutionalized and embodied cultural capitals had a higher demand of breeding animals from others farmers of the breed, which may be related to the higher social prestige within the breed. One of the key implications of this finding for the future of the breed is whether or not the prestige of farmers is related to genetic superiority of their animals, what is to say, that it is related with a sound use of tools that farmers have available to make selection decisions. The farmer types differed in the form of collaboration and in the reactions to the hypothetical variation in subsidies. There were farmers with low dependency on subsidies, while most of them are highly dependent on subsidies. Therefore, any drastic change in the subsidy programme might have influence on the development of local breeds. The adaptation of these programme to the farmers’ heterogeneity might increase its efficacy, thus it would be interesting to explore ways of doing it. We conclude highlighting the need to have a variety of policies, which take into account the heterogeneity among the farmers. To finish we dealt with the genetic structure of livestock populations. Farmers’ decisions on the breeding animals and their progeny numbers shape the demographic and genetic structure of the breeds. Nowadays there is a renovated interest in studying the population structure since it can bias the prediction of genomic breeding values and genome wide association studies. We determined the genetic structure of ANI breed using two different methods, a graphical clustering algorithm (GCA) and a Bayesian clustering algorithm (STRUCTURE) were used. We paid particular attention to the influence that the presence of closely related individuals and the genetic differentiation of subpopulations may have on the inferences about the population structure. We first evaluated the performance of the algorithms in simulated populations. Then we inferred the genetic structure of the Spanish cattle breed ANI analysing a data set of 13343 animals (genotyped for 17 microsatellites) from 57 herds. ANI breed is an example of a population with complex relationships. We used the herdbook to study the gene flow, estimation among other things, the contribution of different herds to the genetic composition of the ANI breed. For the simulated scenarios, when FST among subpopulations was sufficiently high, both algorithms consistently inferred the correct structure regardless of the presence of related individuals. However, when the genetic differentiation among subpopulations was low, STRUCTURE identified the family based structure while GCA did not provide any consistent picture. The GCA was a fast and efficient method to infer genetic structure to determine the hidden core structure of a population with complex history and relationships. GCA could also be used to narrow down the number of clusters to be tested by STRUCTURE. Both, STRUCTURE and GCA describe a similar structure for the ANI breed suggesting that the results are robust. ANI population was found to have three genetically differentiated clusters that could correspond to three genetic lineages. These are directly related to the herds with a major contribution to the breed. In addition, ANI breed has also a large pool made of individuals with an admixture of origins. The genetic structure of ANI, assessed by molecular information, shows a stratification that corresponds to the demographic evolution of the breed. It will be of great importance to learn more about the composition of the pool and study how it is related to the existing genetic variability of the breed.

Markov blanket-based approach for learning multi-dimensional Bayesian network classifiers: An application to predict the European Quality of Life-5 Dimensions (EQ-5D) from the 39-item Parkinson's Disease Questionnaire (PDQ-39)

Multi-dimensional Bayesian network classifiers (MBCs) are probabilistic graphical models recently proposed to deal with multi-dimensional classification problems, where each instance in the data set has to be assigned to more than one class variable. In this paper, we propose a Markov blanket-based approach for learning MBCs from data. Basically, it consists of determining the Markov blanket around each class variable using the HITON algorithm, then specifying the directionality over the MBC subgraphs. Our approach is applied to the prediction problem of the European Quality of Life-5 Dimensions (EQ-5D) from the 39-item Parkinson’s Disease Questionnaire (PDQ-39) in order to estimate the health-related quality of life of Parkinson’s patients. Fivefold cross-validation experiments were carried out on randomly generated synthetic data sets, Yeast data set, as well as on a real-world Parkinson’s disease data set containing 488 patients. The experimental study, including comparison with additional Bayesian network-based approaches, back propagation for multi-label learning, multi-label k-nearest neighbor, multinomial logistic regression, ordinary least squares, and censored least absolute deviations, shows encouraging results in terms of predictive accuracy as well as the identification of dependence relationships among class and feature variables.

Contributions to Bayesian network learning with applications to neuroscience

Neuronal morphology is a key feature in the study of brain circuits, as it is highly related to information processing and functional identification. Neuronal morphology affects the process of integration of inputs from other neurons and determines the neurons which receive the output of the neurons. Different parts of the neurons can operate semi-independently according to the spatial location of the synaptic connections. As a result, there is considerable interest in the analysis of the microanatomy of nervous cells since it constitutes an excellent tool for better understanding cortical function. However, the morphologies, molecular features and electrophysiological properties of neuronal cells are extremely variable. Except for some special cases, this variability makes it hard to find a set of features that unambiguously define a neuronal type. In addition, there are distinct types of neurons in particular regions of the brain. This morphological variability makes the analysis and modeling of neuronal morphology a challenge. Uncertainty is a key feature in many complex real-world problems. Probability theory provides a framework for modeling and reasoning with uncertainty. Probabilistic graphical models combine statistical theory and graph theory to provide a tool for managing domains with uncertainty. In particular, we focus on Bayesian networks, the most commonly used probabilistic graphical model. In this dissertation, we design new methods for learning Bayesian networks and apply them to the problem of modeling and analyzing morphological data from neurons. The morphology of a neuron can be quantified using a number of measurements, e.g., the length of the dendrites and the axon, the number of bifurcations, the direction of the dendrites and the axon, etc. These measurements can be modeled as discrete or continuous data. The continuous data can be linear (e.g., the length or the width of a dendrite) or directional (e.g., the direction of the axon). These data may follow complex probability distributions and may not fit any known parametric distribution. Modeling this kind of problems using hybrid Bayesian networks with discrete, linear and directional variables poses a number of challenges regarding learning from data, inference, etc. In this dissertation, we propose a method for modeling and simulating basal dendritic trees from pyramidal neurons using Bayesian networks to capture the interactions between the variables in the problem domain. A complete set of variables is measured from the dendrites, and a learning algorithm is applied to find the structure and estimate the parameters of the probability distributions included in the Bayesian networks. Then, a simulation algorithm is used to build the virtual dendrites by sampling values from the Bayesian networks, and a thorough evaluation is performed to show the model’s ability to generate realistic dendrites. In this first approach, the variables are discretized so that discrete Bayesian networks can be learned and simulated. Then, we address the problem of learning hybrid Bayesian networks with different kinds of variables. Mixtures of polynomials have been proposed as a way of representing probability densities in hybrid Bayesian networks. We present a method for learning mixtures of polynomials approximations of one-dimensional, multidimensional and conditional probability densities from data. The method is based on basis spline interpolation, where a density is approximated as a linear combination of basis splines. The proposed algorithms are evaluated using artificial datasets. We also use the proposed methods as a non-parametric density estimation technique in Bayesian network classifiers. Next, we address the problem of including directional data in Bayesian networks. These data have some special properties that rule out the use of classical statistics. Therefore, different distributions and statistics, such as the univariate von Mises and the multivariate von Mises–Fisher distributions, should be used to deal with this kind of information. In particular, we extend the naive Bayes classifier to the case where the conditional probability distributions of the predictive variables given the class follow either of these distributions. We consider the simple scenario, where only directional predictive variables are used, and the hybrid case, where discrete, Gaussian and directional distributions are mixed. The classifier decision functions and their decision surfaces are studied at length. Artificial examples are used to illustrate the behavior of the classifiers. The proposed classifiers are empirically evaluated over real datasets. We also study the problem of interneuron classification. An extensive group of experts is asked to classify a set of neurons according to their most prominent anatomical features. A web application is developed to retrieve the experts’ classifications. We compute agreement measures to analyze the consensus between the experts when classifying the neurons. Using Bayesian networks and clustering algorithms on the resulting data, we investigate the suitability of the anatomical terms and neuron types commonly used in the literature. Additionally, we apply supervised learning approaches to automatically classify interneurons using the values of their morphological measurements. Then, a methodology for building a model which captures the opinions of all the experts is presented. First, one Bayesian network is learned for each expert, and we propose an algorithm for clustering Bayesian networks corresponding to experts with similar behaviors. Then, a Bayesian network which represents the opinions of each group of experts is induced. Finally, a consensus Bayesian multinet which models the opinions of the whole group of experts is built. A thorough analysis of the consensus model identifies different behaviors between the experts when classifying the interneurons in the experiment. A set of characterizing morphological traits for the neuronal types can be defined by performing inference in the Bayesian multinet. These findings are used to validate the model and to gain some insights into neuron morphology. Finally, we study a classification problem where the true class label of the training instances is not known. Instead, a set of class labels is available for each instance. This is inspired by the neuron classification problem, where a group of experts is asked to individually provide a class label for each instance. We propose a novel approach for learning Bayesian networks using count vectors which represent the number of experts who selected each class label for each instance. These Bayesian networks are evaluated using artificial datasets from supervised learning problems. Resumen La morfología neuronal es una característica clave en el estudio de los circuitos cerebrales, ya que está altamente relacionada con el procesado de información y con los roles funcionales. La morfología neuronal afecta al proceso de integración de las señales de entrada y determina las neuronas que reciben las salidas de otras neuronas. Las diferentes partes de la neurona pueden operar de forma semi-independiente de acuerdo a la localización espacial de las conexiones sinápticas. Por tanto, existe un interés considerable en el análisis de la microanatomía de las células nerviosas, ya que constituye una excelente herramienta para comprender mejor el funcionamiento de la corteza cerebral. Sin embargo, las propiedades morfológicas, moleculares y electrofisiológicas de las células neuronales son extremadamente variables. Excepto en algunos casos especiales, esta variabilidad morfológica dificulta la definición de un conjunto de características que distingan claramente un tipo neuronal. Además, existen diferentes tipos de neuronas en regiones particulares del cerebro. La variabilidad neuronal hace que el análisis y el modelado de la morfología neuronal sean un importante reto científico. La incertidumbre es una propiedad clave en muchos problemas reales. La teoría de la probabilidad proporciona un marco para modelar y razonar bajo incertidumbre. Los modelos gráficos probabilísticos combinan la teoría estadística y la teoría de grafos con el objetivo de proporcionar una herramienta con la que trabajar bajo incertidumbre. En particular, nos centraremos en las redes bayesianas, el modelo más utilizado dentro de los modelos gráficos probabilísticos. En esta tesis hemos diseñado nuevos métodos para aprender redes bayesianas, inspirados por y aplicados al problema del modelado y análisis de datos morfológicos de neuronas. La morfología de una neurona puede ser cuantificada usando una serie de medidas, por ejemplo, la longitud de las dendritas y el axón, el número de bifurcaciones, la dirección de las dendritas y el axón, etc. Estas medidas pueden ser modeladas como datos continuos o discretos. A su vez, los datos continuos pueden ser lineales (por ejemplo, la longitud o la anchura de una dendrita) o direccionales (por ejemplo, la dirección del axón). Estos datos pueden llegar a seguir distribuciones de probabilidad muy complejas y pueden no ajustarse a ninguna distribución paramétrica conocida. El modelado de este tipo de problemas con redes bayesianas híbridas incluyendo variables discretas, lineales y direccionales presenta una serie de retos en relación al aprendizaje a partir de datos, la inferencia, etc. En esta tesis se propone un método para modelar y simular árboles dendríticos basales de neuronas piramidales usando redes bayesianas para capturar las interacciones entre las variables del problema. Para ello, se mide un amplio conjunto de variables de las dendritas y se aplica un algoritmo de aprendizaje con el que se aprende la estructura y se estiman los parámetros de las distribuciones de probabilidad que constituyen las redes bayesianas. Después, se usa un algoritmo de simulación para construir dendritas virtuales mediante el muestreo de valores de las redes bayesianas. Finalmente, se lleva a cabo una profunda evaluaci ón para verificar la capacidad del modelo a la hora de generar dendritas realistas. En esta primera aproximación, las variables fueron discretizadas para poder aprender y muestrear las redes bayesianas. A continuación, se aborda el problema del aprendizaje de redes bayesianas con diferentes tipos de variables. Las mixturas de polinomios constituyen un método para representar densidades de probabilidad en redes bayesianas híbridas. Presentamos un método para aprender aproximaciones de densidades unidimensionales, multidimensionales y condicionales a partir de datos utilizando mixturas de polinomios. El método se basa en interpolación con splines, que aproxima una densidad como una combinación lineal de splines. Los algoritmos propuestos se evalúan utilizando bases de datos artificiales. Además, las mixturas de polinomios son utilizadas como un método no paramétrico de estimación de densidades para clasificadores basados en redes bayesianas. Después, se estudia el problema de incluir información direccional en redes bayesianas. Este tipo de datos presenta una serie de características especiales que impiden el uso de las técnicas estadísticas clásicas. Por ello, para manejar este tipo de información se deben usar estadísticos y distribuciones de probabilidad específicos, como la distribución univariante von Mises y la distribución multivariante von Mises–Fisher. En concreto, en esta tesis extendemos el clasificador naive Bayes al caso en el que las distribuciones de probabilidad condicionada de las variables predictoras dada la clase siguen alguna de estas distribuciones. Se estudia el caso base, en el que sólo se utilizan variables direccionales, y el caso híbrido, en el que variables discretas, lineales y direccionales aparecen mezcladas. También se estudian los clasificadores desde un punto de vista teórico, derivando sus funciones de decisión y las superficies de decisión asociadas. El comportamiento de los clasificadores se ilustra utilizando bases de datos artificiales. Además, los clasificadores son evaluados empíricamente utilizando bases de datos reales. También se estudia el problema de la clasificación de interneuronas. Desarrollamos una aplicación web que permite a un grupo de expertos clasificar un conjunto de neuronas de acuerdo a sus características morfológicas más destacadas. Se utilizan medidas de concordancia para analizar el consenso entre los expertos a la hora de clasificar las neuronas. Se investiga la idoneidad de los términos anatómicos y de los tipos neuronales utilizados frecuentemente en la literatura a través del análisis de redes bayesianas y la aplicación de algoritmos de clustering. Además, se aplican técnicas de aprendizaje supervisado con el objetivo de clasificar de forma automática las interneuronas a partir de sus valores morfológicos. A continuación, se presenta una metodología para construir un modelo que captura las opiniones de todos los expertos. Primero, se genera una red bayesiana para cada experto y se propone un algoritmo para agrupar las redes bayesianas que se corresponden con expertos con comportamientos similares. Después, se induce una red bayesiana que modela la opinión de cada grupo de expertos. Por último, se construye una multired bayesiana que modela las opiniones del conjunto completo de expertos. El análisis del modelo consensuado permite identificar diferentes comportamientos entre los expertos a la hora de clasificar las neuronas. Además, permite extraer un conjunto de características morfológicas relevantes para cada uno de los tipos neuronales mediante inferencia con la multired bayesiana. Estos descubrimientos se utilizan para validar el modelo y constituyen información relevante acerca de la morfología neuronal. Por último, se estudia un problema de clasificación en el que la etiqueta de clase de los datos de entrenamiento es incierta. En cambio, disponemos de un conjunto de etiquetas para cada instancia. Este problema está inspirado en el problema de la clasificación de neuronas, en el que un grupo de expertos proporciona una etiqueta de clase para cada instancia de manera individual. Se propone un método para aprender redes bayesianas utilizando vectores de cuentas, que representan el número de expertos que seleccionan cada etiqueta de clase para cada instancia. Estas redes bayesianas se evalúan utilizando bases de datos artificiales de problemas de aprendizaje supervisado.

Multi-dimensional classification using Bayesian networks for stationary and evolving streaming data

Hoy en día, con la evolución continua y rápida de las tecnologías de la información y los dispositivos de computación, se recogen y almacenan continuamente grandes volúmenes de datos en distintos dominios y a través de diversas aplicaciones del mundo real. La extracción de conocimiento útil de una cantidad tan enorme de datos no se puede realizar habitualmente de forma manual, y requiere el uso de técnicas adecuadas de aprendizaje automático y de minería de datos. La clasificación es una de las técnicas más importantes que ha sido aplicada con éxito a varias áreas. En general, la clasificación se compone de dos pasos principales: en primer lugar, aprender un modelo de clasificación o clasificador a partir de un conjunto de datos de entrenamiento, y en segundo lugar, clasificar las nuevas instancias de datos utilizando el clasificador aprendido. La clasificación es supervisada cuando todas las etiquetas están presentes en los datos de entrenamiento (es decir, datos completamente etiquetados), semi-supervisada cuando sólo algunas etiquetas son conocidas (es decir, datos parcialmente etiquetados), y no supervisada cuando todas las etiquetas están ausentes en los datos de entrenamiento (es decir, datos no etiquetados). Además, aparte de esta taxonomía, el problema de clasificación se puede categorizar en unidimensional o multidimensional en función del número de variables clase, una o más, respectivamente; o también puede ser categorizado en estacionario o cambiante con el tiempo en función de las características de los datos y de la tasa de cambio subyacente. A lo largo de esta tesis, tratamos el problema de clasificación desde tres perspectivas diferentes, a saber, clasificación supervisada multidimensional estacionaria, clasificación semisupervisada unidimensional cambiante con el tiempo, y clasificación supervisada multidimensional cambiante con el tiempo. Para llevar a cabo esta tarea, hemos usado básicamente los clasificadores Bayesianos como modelos. La primera contribución, dirigiéndose al problema de clasificación supervisada multidimensional estacionaria, se compone de dos nuevos métodos de aprendizaje de clasificadores Bayesianos multidimensionales a partir de datos estacionarios. Los métodos se proponen desde dos puntos de vista diferentes. El primer método, denominado CB-MBC, se basa en una estrategia de envoltura de selección de variables que es voraz y hacia delante, mientras que el segundo, denominado MB-MBC, es una estrategia de filtrado de variables con una aproximación basada en restricciones y en el manto de Markov. Ambos métodos han sido aplicados a dos problemas reales importantes, a saber, la predicción de los inhibidores de la transcriptasa inversa y de la proteasa para el problema de infección por el virus de la inmunodeficiencia humana tipo 1 (HIV-1), y la predicción del European Quality of Life-5 Dimensions (EQ-5D) a partir de los cuestionarios de la enfermedad de Parkinson con 39 ítems (PDQ-39). El estudio experimental incluye comparaciones de CB-MBC y MB-MBC con los métodos del estado del arte de la clasificación multidimensional, así como con métodos comúnmente utilizados para resolver el problema de predicción de la enfermedad de Parkinson, a saber, la regresión logística multinomial, mínimos cuadrados ordinarios, y mínimas desviaciones absolutas censuradas. En ambas aplicaciones, los resultados han sido prometedores con respecto a la precisión de la clasificación, así como en relación al análisis de las estructuras gráficas que identifican interacciones conocidas y novedosas entre las variables. La segunda contribución, referida al problema de clasificación semi-supervisada unidimensional cambiante con el tiempo, consiste en un método nuevo (CPL-DS) para clasificar flujos de datos parcialmente etiquetados. Los flujos de datos difieren de los conjuntos de datos estacionarios en su proceso de generación muy rápido y en su aspecto de cambio de concepto. Es decir, los conceptos aprendidos y/o la distribución subyacente están probablemente cambiando y evolucionando en el tiempo, lo que hace que el modelo de clasificación actual sea obsoleto y deba ser actualizado. CPL-DS utiliza la divergencia de Kullback-Leibler y el método de bootstrapping para cuantificar y detectar tres tipos posibles de cambio: en las predictoras, en la a posteriori de la clase o en ambas. Después, si se detecta cualquier cambio, un nuevo modelo de clasificación se aprende usando el algoritmo EM; si no, el modelo de clasificación actual se mantiene sin modificaciones. CPL-DS es general, ya que puede ser aplicado a varios modelos de clasificación. Usando dos modelos diferentes, el clasificador naive Bayes y la regresión logística, CPL-DS se ha probado con flujos de datos sintéticos y también se ha aplicado al problema real de la detección de código malware, en el cual los nuevos ficheros recibidos deben ser continuamente clasificados en malware o goodware. Los resultados experimentales muestran que nuestro método es efectivo para la detección de diferentes tipos de cambio a partir de los flujos de datos parcialmente etiquetados y también tiene una buena precisión de la clasificación. Finalmente, la tercera contribución, sobre el problema de clasificación supervisada multidimensional cambiante con el tiempo, consiste en dos métodos adaptativos, a saber, Locally Adpative-MB-MBC (LA-MB-MBC) y Globally Adpative-MB-MBC (GA-MB-MBC). Ambos métodos monitorizan el cambio de concepto a lo largo del tiempo utilizando la log-verosimilitud media como métrica y el test de Page-Hinkley. Luego, si se detecta un cambio de concepto, LA-MB-MBC adapta el actual clasificador Bayesiano multidimensional localmente alrededor de cada nodo cambiado, mientras que GA-MB-MBC aprende un nuevo clasificador Bayesiano multidimensional. El estudio experimental realizado usando flujos de datos sintéticos multidimensionales indica los méritos de los métodos adaptativos propuestos. ABSTRACT Nowadays, with the ongoing and rapid evolution of information technology and computing devices, large volumes of data are continuously collected and stored in different domains and through various real-world applications. Extracting useful knowledge from such a huge amount of data usually cannot be performed manually, and requires the use of adequate machine learning and data mining techniques. Classification is one of the most important techniques that has been successfully applied to several areas. Roughly speaking, classification consists of two main steps: first, learn a classification model or classifier from an available training data, and secondly, classify the new incoming unseen data instances using the learned classifier. Classification is supervised when the whole class values are present in the training data (i.e., fully labeled data), semi-supervised when only some class values are known (i.e., partially labeled data), and unsupervised when the whole class values are missing in the training data (i.e., unlabeled data). In addition, besides this taxonomy, the classification problem can be categorized into uni-dimensional or multi-dimensional depending on the number of class variables, one or more, respectively; or can be also categorized into stationary or streaming depending on the characteristics of the data and the rate of change underlying it. Through this thesis, we deal with the classification problem under three different settings, namely, supervised multi-dimensional stationary classification, semi-supervised unidimensional streaming classification, and supervised multi-dimensional streaming classification. To accomplish this task, we basically used Bayesian network classifiers as models. The first contribution, addressing the supervised multi-dimensional stationary classification problem, consists of two new methods for learning multi-dimensional Bayesian network classifiers from stationary data. They are proposed from two different points of view. The first method, named CB-MBC, is based on a wrapper greedy forward selection approach, while the second one, named MB-MBC, is a filter constraint-based approach based on Markov blankets. Both methods are applied to two important real-world problems, namely, the prediction of the human immunodeficiency virus type 1 (HIV-1) reverse transcriptase and protease inhibitors, and the prediction of the European Quality of Life-5 Dimensions (EQ-5D) from 39-item Parkinson’s Disease Questionnaire (PDQ-39). The experimental study includes comparisons of CB-MBC and MB-MBC against state-of-the-art multi-dimensional classification methods, as well as against commonly used methods for solving the Parkinson’s disease prediction problem, namely, multinomial logistic regression, ordinary least squares, and censored least absolute deviations. For both considered case studies, results are promising in terms of classification accuracy as well as regarding the analysis of the learned MBC graphical structures identifying known and novel interactions among variables. The second contribution, addressing the semi-supervised uni-dimensional streaming classification problem, consists of a novel method (CPL-DS) for classifying partially labeled data streams. Data streams differ from the stationary data sets by their highly rapid generation process and their concept-drifting aspect. That is, the learned concepts and/or the underlying distribution are likely changing and evolving over time, which makes the current classification model out-of-date requiring to be updated. CPL-DS uses the Kullback-Leibler divergence and bootstrapping method to quantify and detect three possible kinds of drift: feature, conditional or dual. Then, if any occurs, a new classification model is learned using the expectation-maximization algorithm; otherwise, the current classification model is kept unchanged. CPL-DS is general as it can be applied to several classification models. Using two different models, namely, naive Bayes classifier and logistic regression, CPL-DS is tested with synthetic data streams and applied to the real-world problem of malware detection, where the new received files should be continuously classified into malware or goodware. Experimental results show that our approach is effective for detecting different kinds of drift from partially labeled data streams, as well as having a good classification performance. Finally, the third contribution, addressing the supervised multi-dimensional streaming classification problem, consists of two adaptive methods, namely, Locally Adaptive-MB-MBC (LA-MB-MBC) and Globally Adaptive-MB-MBC (GA-MB-MBC). Both methods monitor the concept drift over time using the average log-likelihood score and the Page-Hinkley test. Then, if a drift is detected, LA-MB-MBC adapts the current multi-dimensional Bayesian network classifier locally around each changed node, whereas GA-MB-MBC learns a new multi-dimensional Bayesian network classifier from scratch. Experimental study carried out using synthetic multi-dimensional data streams shows the merits of both proposed adaptive methods.

Efficient random variable generation: ratio of uniforms and polar rejection sampling

Monte Carlo techniques, which require the generation of samples from some target density, are often the only alternative for performing Bayesian inference. Two classic sampling techniques to draw independent samples are the ratio of uniforms (RoU) and rejection sampling (RS). An efficient sampling algorithm is proposed combining the RoU and polar RS (i.e. RS inside a sector of a circle using polar coordinates). Its efficiency is shown in drawing samples from truncated Cauchy and Gaussian random variables, which have many important applications in signal processing and communications. RESUMEN. Método eficiente para generar algunas variables aleatorias de uso común en procesado de señal y comunicaciones (por ejemplo, Gaussianas o Cauchy truncadas) mediante la combinación de dos técnicas: "ratio of uniforms" y "rejection sampling".

Modelling uncertainty of flood quantile estimation at ungauged sites by Bayesian networks

Prediction at ungauged sites is essential for water resources planning and management. Ungauged sites have no observations about the magnitude of floods, but some site and basin characteristics are known. Regression models relate physiographic and climatic basin characteristics to flood quantiles, which can be estimated from observed data at gauged sites. However, these models assume linear relationships between variables Prediction intervals are estimated by the variance of the residuals in the estimated model. Furthermore, the effect of the uncertainties in the explanatory variables on the dependent variable cannot be assessed. This paper presents a methodology to propagate the uncertainties that arise in the process of predicting flood quantiles at ungauged basins by a regression model. In addition, Bayesian networks were explored as a feasible tool for predicting flood quantiles at ungauged sites. Bayesian networks benefit from taking into account uncertainties thanks to their probabilistic nature. They are able to capture non-linear relationships between variables and they give a probability distribution of discharges as result. The methodology was applied to a case study in the Tagus basin in Spain.

Regression models with MoPs Bayesian networks

We present a model of Bayesian network for continuous variables, where densities and conditional densities are estimated with B-spline MoPs. We use a novel approach to directly obtain conditional densities estimation using B-spline properties. In particular we implement naive Bayes and wrapper variables selection. Finally we apply our techniques to the problem of predicting neurons morphological variables from electrophysiological ones.

Genetic algorithms and Gaussian Bayesian networks to uncover the predictive core set of bibliometric indices

The diversity of bibliometric indices today poses the challenge of exploiting the relationships among them. Our research uncovers the best core set of relevant indices for predicting other bibliometric indices. An added difficulty is to select the role of each variable, that is, which bibliometric indices are predictive variables and which are response variables. This results in a novel multioutput regression problem where the role of each variable (predictor or response) is unknown beforehand. We use Gaussian Bayesian networks to solve the this problem and discover multivariate relationships among bibliometric indices. These networks are learnt by a genetic algorithm that looks for the optimal models that best predict bibliometric data. Results show that the optimal induced Gaussian Bayesian networks corroborate previous relationships between several indices, but also suggest new, previously unreported interactions. An extended analysis of the best model illustrates that a set of 12 bibliometric indices can be accurately predicted using only a smaller predictive core subset composed of citations, g-index, q2-index, and hr-index. This research is performed using bibliometric data on Spanish full professors associated with the computer science area.

Designer-driven 3D buildings generated using variable neighborhood search

This paper presents a mechanism to generate virtual buildings considering designer constraints and guidelines. This mechanism is implemented as a pipeline of different Variable Neighborhood Search (VNS) optimization processes in which several subproblems are tackled (1) rooms locations, (2) connectivity graph, and (3) element placement. The core VNS algorithm includes some variants to improve its performance, such as, for example constraint handling and biased operator selection. The optimization process uses a toolkit of construction primitives implemented as "smart objects" providing basic elements such as rooms, doors, staircases and other connectors. The paper also shows experimental results of the application of different designer constraints to a wide range of buildings from small houses to a large castle with several underground levels.

Application of Bayesian approach in geotechnical engineering

En esta Tesis Doctoral se emplean y desarrollan Métodos Bayesianos para su aplicación en análisis geotécnicos habituales, con un énfasis particular en (i) la valoración y selección de modelos geotécnicos basados en correlaciones empíricas; en (ii) el desarrollo de predicciones acerca de los resultados esperados en modelos geotécnicos complejos. Se llevan a cabo diferentes aplicaciones a problemas geotécnicos, como es el caso de: (1) En el caso de rocas intactas, se presenta un método Bayesiano para la evaluación de modelos que permiten estimar el módulo de Young a partir de la resistencia a compresión simple (UCS). La metodología desarrollada suministra estimaciones de las incertidumbres de los parámetros y predicciones y es capaz de diferenciar entre las diferentes fuentes de error. Se desarrollan modelos "específicos de roca" para los tipos de roca más comunes y se muestra cómo se pueden "actualizar" esos modelos "iniciales" para incorporar, cuando se encuentra disponible, la nueva información específica del proyecto, reduciendo las incertidumbres del modelo y mejorando sus capacidades predictivas. (2) Para macizos rocosos, se presenta una metodología, fundamentada en un criterio de selección de modelos, que permite determinar el modelo más apropiado, entre un conjunto de candidatos, para estimar el módulo de deformación de un macizo rocoso a partir de un conjunto de datos observados. Una vez que se ha seleccionado el modelo más apropiado, se emplea un método Bayesiano para obtener distribuciones predictivas de los módulos de deformación de macizos rocosos y para actualizarlos con la nueva información específica del proyecto. Este método Bayesiano de actualización puede reducir significativamente la incertidumbre asociada a la predicción, y por lo tanto, afectar las estimaciones que se hagan de la probabilidad de fallo, lo cual es de un interés significativo para los diseños de mecánica de rocas basados en fiabilidad. (3) En las primeras etapas de los diseños de mecánica de rocas, la información acerca de los parámetros geomecánicos y geométricos, las tensiones in-situ o los parámetros de sostenimiento, es, a menudo, escasa o incompleta. Esto plantea dificultades para aplicar las correlaciones empíricas tradicionales que no pueden trabajar con información incompleta para realizar predicciones. Por lo tanto, se propone la utilización de una Red Bayesiana para trabajar con información incompleta y, en particular, se desarrolla un clasificador Naïve Bayes para predecir la probabilidad de ocurrencia de grandes deformaciones (squeezing) en un túnel a partir de cinco parámetros de entrada habitualmente disponibles, al menos parcialmente, en la etapa de diseño. This dissertation employs and develops Bayesian methods to be used in typical geotechnical analyses, with a particular emphasis on (i) the assessment and selection of geotechnical models based on empirical correlations; on (ii) the development of probabilistic predictions of outcomes expected for complex geotechnical models. Examples of application to geotechnical problems are developed, as follows: (1) For intact rocks, we present a Bayesian framework for model assessment to estimate the Young’s moduli based on their UCS. Our approach provides uncertainty estimates of parameters and predictions, and can differentiate among the sources of error. We develop ‘rock-specific’ models for common rock types, and illustrate that such ‘initial’ models can be ‘updated’ to incorporate new project-specific information as it becomes available, reducing model uncertainties and improving their predictive capabilities. (2) For rock masses, we present an approach, based on model selection criteria to select the most appropriate model, among a set of candidate models, to estimate the deformation modulus of a rock mass, given a set of observed data. Once the most appropriate model is selected, a Bayesian framework is employed to develop predictive distributions of the deformation moduli of rock masses, and to update them with new project-specific data. Such Bayesian updating approach can significantly reduce the associated predictive uncertainty, and therefore, affect our computed estimates of probability of failure, which is of significant interest to reliability-based rock engineering design. (3) In the preliminary design stage of rock engineering, the information about geomechanical and geometrical parameters, in situ stress or support parameters is often scarce or incomplete. This poses difficulties in applying traditional empirical correlations that cannot deal with incomplete data to make predictions. Therefore, we propose the use of Bayesian Networks to deal with incomplete data and, in particular, a Naïve Bayes classifier is developed to predict the probability of occurrence of tunnel squeezing based on five input parameters that are commonly available, at least partially, at design stages.

How should the sustainability of the location of dry ports be measured? A proposed methodology using Bayesian networks and multi-criteria decision analysis

The global economic structure, with its decentralized production and the consequent increase in freight traffic all over the world, creates considerable problems and challenges for the freight transport sector. This situation has led shipping to become the most suitable and cheapest way to transport goods. Thus, ports are configured as nodes with critical importance in the logistics supply chain as a link between two transport systems, sea and land. Increase in activity at seaports is producing three undesirable effects: increasing road congestion, lack of open space in port installations and a significant environmental impact on seaports. These adverse effects can be mitigated by moving part of the activity inland. Implementation of dry ports is a possible solution and would also provide an opportunity to strengthen intermodal solutions as part of an integrated and more sustainable transport chain, acting as a link between road and railway networks. In this sense, implementation of dry ports allows the separation of the links of the transport chain, thus facilitating the shortest possible routes for the lowest capacity and most polluting means of transport. Thus, the decision of where to locate a dry port demands a thorough analysis of the whole logistics supply chain, with the objective of transferring the largest volume of goods possible from road to more energy efficient means of transport, like rail or short-sea shipping, that are less harmful to the environment. However, the decision of where to locate a dry port must also ensure the sustainability of the site. Thus, the main goal of this article is to research the variables influencing the sustainability of dry port location and how this sustainability can be evaluated. With this objective, in this paper we present a methodology for assessing the sustainability of locations by the use of Multi-Criteria Decision Analysis (MCDA) and Bayesian Networks (BNs). MCDA is used as a way to establish a scoring, whilst BNs were chosen to eliminate arbitrariness in setting the weightings using a technique that allows us to prioritize each variable according to the relationships established in the set of variables. In order to determine the relationships between all the variables involved in the decision, giving us the importance of each factor and variable, we built a K2 BN algorithm. To obtain the scores of each variable, we used a complete cartography analysed by ArcGIS. Recognising that setting the most appropriate location to place a dry port is a geographical multidisciplinary problem, with significant economic, social and environmental implications, we consider 41 variables (grouped into 17 factors) which respond to this need. As a case of study, the sustainability of all of the 10 existing dry ports in Spain has been evaluated. In this set of logistics platforms, we found that the most important variables for achieving sustainability are those related to environmental protection, so the sustainability of the locations requires a great respect for the natural environment and the urban environment in which they are framed.

Bayesian network modeling of the consensus between experts: an application to neuron classification

Neuronal morphology is hugely variable across brain regions and species, and their classification strategies are a matter of intense debate in neuroscience. GABAergic cortical interneurons have been a challenge because it is difficult to find a set of morphological properties which clearly define neuronal types. A group of 48 neuroscience experts around the world were asked to classify a set of 320 cortical GABAergic interneurons according to the main features of their three-dimensional morphological reconstructions. A methodology for building a model which captures the opinions of all the experts was proposed. First, one Bayesian network was learned for each expert, and we proposed an algorithm for clustering Bayesian networks corresponding to experts with similar behaviors. Then, a Bayesian network which represents the opinions of each group of experts was induced. Finally, a consensus Bayesian multinet which models the opinions of the whole group of experts was built. A thorough analysis of the consensus model identified different behaviors between the experts when classifying the interneurons in the experiment. A set of characterizing morphological traits for the neuronal types was defined by performing inference in the Bayesian multinet. These findings were used to validate the model and to gain some insights into neuron morphology.