A multimodal tablet-based interface for designing and reviewing 3D engineering models

The ability to view and interact with 3D models has been happening for a long time. However, vision-based 3D modeling has only seen limited success in applications, as it faces many technical challenges. Hand-held mobile devices have changed the way we interact with virtual reality environments. Their high mobility and technical features, such as inertial sensors, cameras and fast processors, are especially attractive for advancing the state of the art in virtual reality systems. Also, their ubiquity and fast Internet connection open a path to distributed and collaborative development. However, such path has not been fully explored in many domains. VR systems for real world engineering contexts are still difficult to use, especially when geographically dispersed engineering teams need to collaboratively visualize and review 3D CAD models. Another challenge is the ability to rendering these environments at the required interactive rates and with high fidelity. In this document it is presented a virtual reality system mobile for visualization, navigation and reviewing large scale 3D CAD models, held under the CEDAR (Collaborative Engineering Design and Review) project. It’s focused on interaction using different navigation modes. The system uses the mobile device's inertial sensors and camera to allow users to navigate through large scale models. IT professionals, architects, civil engineers and oil industry experts were involved in a qualitative assessment of the CEDAR system, in the form of direct user interaction with the prototypes and audio-recorded interviews about the prototypes. The lessons learned are valuable and are presented on this document. Subsequently it was prepared a quantitative study on the different navigation modes to analyze the best mode to use it in a given situation.

DAEDALUS at ImageCLEF Medical Retrieval 2011: Textual, Visual and Multimodal Experiments

This paper describes the participation of DAEDALUS at ImageCLEF 2011 Medical Retrieval task. We have focused on multimodal (or mixed) experiments that combine textual and visual retrieval. The main objective of our research has been to evaluate the effect on the medical retrieval process of the existence of an extended corpus that is annotated with the image type, associated to both the image itself and also to its textual description. For this purpose, an image classifier has been developed to tag each document with its class (1st level of the hierarchy: Radiology, Microscopy, Photograph, Graphic, Other) and subclass (2nd level: AN, CT, MR, etc.). For the textual-based experiments, several runs using different semantic expansion techniques have been performed. For the visual-based retrieval, different runs are defined by the corpus used in the retrieval process and the strategy for obtaining the class and/or subclass. The best results are achieved in runs that make use of the image subclass based on the classification of the sample images. Although different multimodal strategies have been submitted, none of them has shown to be able to provide results that are at least comparable to the ones achieved by the textual retrieval alone. We believe that we have been unable to find a metric for the assessment of the relevance of the results provided by the visual and textual processes

A visual object counter based on a multimodal data association for embedded systems with limited computational power

A low complex but highly-efficient object counter algorithm is presented that can be embedded in hardware with a low computational power. This is achieved by a novel soft-data association strategy that can handle multimodal distributions.

Multimodal non-rigid image registration methods for therapy and surgery planning

La planificación pre-operatoria se ha convertido en una tarea esencial en cirugías y terapias de marcada complejidad, especialmente aquellas relacionadas con órgano blando. Un ejemplo donde la planificación preoperatoria tiene gran interés es la cirugía hepática. Dicha planificación comprende la detección e identificación precisa de las lesiones individuales y vasos así como la correcta segmentación y estimación volumétrica del hígado funcional. Este proceso es muy importante porque determina tanto si el paciente es un candidato adecuado para terapia quirúrgica como la definición del abordaje a seguir en el procedimiento. La radioterapia de órgano blando es un segundo ejemplo donde la planificación se requiere tanto para la radioterapia externa convencional como para la radioterapia intraoperatoria. La planificación comprende la segmentación de tumor y órganos vulnerables y la estimación de la dosimetría. La segmentación de hígado funcional y la estimación volumétrica para planificación de la cirugía se estiman habitualmente a partir de imágenes de tomografía computarizada (TC). De igual modo, en la planificación de radioterapia, los objetivos de la radiación se delinean normalmente sobre TC. Sin embargo, los avances en las tecnologías de imagen de resonancia magnética (RM) están ofreciendo progresivamente ventajas adicionales. Por ejemplo, se ha visto que el ratio de detección de metástasis hepáticas es significativamente superior en RM con contraste Gd–EOB–DTPA que en TC. Por tanto, recientes estudios han destacado la importancia de combinar la información de TC y RM para conseguir el mayor nivel posible de precisión en radioterapia y para facilitar una descripción precisa de las lesiones del hígado. Con el objetivo de mejorar la planificación preoperatoria en ambos escenarios se precisa claramente de un algoritmo de registro no rígido de imagen. Sin embargo, la gran mayoría de sistemas comerciales solo proporcionan métodos de registro rígido. Las medidas de intensidad de voxel han demostrado ser criterios de similitud de imágenes robustos, y, entre ellas, la Información Mutua (IM) es siempre la primera elegida en registros multimodales. Sin embargo, uno de los principales problemas de la IM es la ausencia de información espacial y la asunción de que las relaciones estadísticas entre las imágenes son homogéneas a lo largo de su domino completo. La hipótesis de esta tesis es que la incorporación de información espacial de órganos al proceso de registro puede mejorar la robustez y calidad del mismo, beneficiándose de la disponibilidad de las segmentaciones clínicas. En este trabajo, se propone y valida un esquema de registro multimodal no rígido 3D usando una nueva métrica llamada Información Mutua Centrada en el Órgano (Organ-Focused Mutual Information metric (OF-MI)) y se compara con la formulación clásica de la Información Mutua. Esto permite mejorar los resultados del registro en áreas problemáticas incorporando información regional al criterio de similitud, beneficiándose de la disponibilidad real de segmentaciones en protocolos estándares clínicos, y permitiendo que la dependencia estadística entre las dos modalidades de imagen difiera entre órganos o regiones. El método propuesto se ha aplicado al registro de TC y RM con contraste Gd–EOB–DTPA así como al registro de imágenes de TC y MR para planificación de radioterapia intraoperatoria rectal. Adicionalmente, se ha desarrollado un algoritmo de apoyo de segmentación 3D basado en Level-Sets para la incorporación de la información de órgano en el registro. El algoritmo de segmentación se ha diseñado específicamente para la estimación volumétrica de hígado sano funcional y ha demostrado un buen funcionamiento en un conjunto de imágenes de TC abdominales. Los resultados muestran una mejora estadísticamente significativa de OF-MI comparada con la Información Mutua clásica en las medidas de calidad de los registros; tanto con datos simulados (p<0.001) como con datos reales en registro hepático de TC y RM con contraste Gd– EOB–DTPA y en registro para planificación de radioterapia rectal usando OF-MI multi-órgano (p<0.05). Adicionalmente, OF-MI presenta resultados más estables con menor dispersión que la Información Mutua y un comportamiento más robusto con respecto a cambios en la relación señal-ruido y a la variación de parámetros. La métrica OF-MI propuesta en esta tesis presenta siempre igual o mayor precisión que la clásica Información Mutua y consecuentemente puede ser una muy buena alternativa en aplicaciones donde la robustez del método y la facilidad en la elección de parámetros sean particularmente importantes. Abstract Pre-operative planning has become an essential task in complex surgeries and therapies, especially for those affecting soft tissue. One example where soft tissue preoperative planning is of high interest is liver surgery. It involves the accurate detection and identification of individual liver lesions and vessels as well as the proper functional liver segmentation and volume estimation. This process is very important because it determines whether the patient is a suitable candidate for surgical therapy and the type of procedure. Soft tissue radiation therapy is a second example where planning is required for both conventional external and intraoperative radiotherapy. It involves the segmentation of the tumor target and vulnerable organs and the estimation of the planned dose. Functional liver segmentations and volume estimations for surgery planning are commonly estimated from computed tomography (CT) images. Similarly, in radiation therapy planning, targets to be irradiated and healthy and vulnerable tissues to be protected from irradiation are commonly delineated on CT scans. However, developments in magnetic resonance imaging (MRI) technology are progressively offering advantages. For instance, the hepatic metastasis detection rate has been found to be significantly higher in Gd–EOB–DTPAenhanced MRI than in CT. Therefore, recent studies highlight the importance of combining the information from CT and MRI to achieve the highest level of accuracy in radiotherapy and to facilitate accurate liver lesion description. In order to improve those two soft tissue pre operative planning scenarios, an accurate nonrigid image registration algorithm is clearly required. However, the vast majority of commercial systems only provide rigid registration. Voxel intensity measures have been shown to be robust measures of image similarity, and among them, Mutual Information (MI) is always the first candidate in multimodal registrations. However, one of the main drawbacks of Mutual Information is the absence of spatial information and the assumption that statistical relationships between images are the same over the whole domain of the image. The hypothesis of the present thesis is that incorporating spatial organ information into the registration process may improve the registration robustness and quality, taking advantage of the clinical segmentations availability. In this work, a multimodal nonrigid 3D registration framework using a new Organ- Focused Mutual Information metric (OF-MI) is proposed, validated and compared to the classical formulation of the Mutual Information (MI). It allows improving registration results in problematic areas by adding regional information into the similitude criterion taking advantage of actual segmentations availability in standard clinical protocols and allowing the statistical dependence between the two modalities differ among organs or regions. The proposed method is applied to CT and T1 weighted delayed Gd–EOB–DTPA-enhanced MRI registration as well as to register CT and MRI images in rectal intraoperative radiotherapy planning. Additionally, a 3D support segmentation algorithm based on Level-Sets has been developed for the incorporation of the organ information into the registration. The segmentation algorithm has been specifically designed for the healthy and functional liver volume estimation demonstrating good performance in a set of abdominal CT studies. Results show a statistical significant improvement of registration quality measures with OF-MI compared to MI with both simulated data (p<0.001) and real data in liver applications registering CT and Gd–EOB–DTPA-enhanced MRI and in registration for rectal radiotherapy planning using multi-organ OF-MI (p<0.05). Additionally, OF-MI presents more stable results with smaller dispersion than MI and a more robust behavior with respect to SNR changes and parameters variation. The proposed OF-MI always presents equal or better accuracy than the classical MI and consequently can be a very convenient alternative within applications where the robustness of the method and the facility to choose the parameters are particularly important.

Organ-focused mutual information for nonrigid multimodal registration of liver CT and Gd–EOB–DTPA-enhanced MRI

Accurate detection of liver lesions is of great importance in hepatic surgery planning. Recent studies have shown that the detection rate of liver lesions is significantly higher in gadoxetic acid-enhanced magnetic resonance imaging (Gd–EOB–DTPA-enhanced MRI) than in contrast-enhanced portal-phase computed tomography (CT); however, the latter remains essential because of its high specificity, good performance in estimating liver volumes and better vessel visibility. To characterize liver lesions using both the above image modalities, we propose a multimodal nonrigid registration framework using organ-focused mutual information (OF-MI). This proposal tries to improve mutual information (MI) based registration by adding spatial information, benefiting from the availability of expert liver segmentation in clinical protocols. The incorporation of an additional information channel containing liver segmentation information was studied. A dataset of real clinical images and simulated images was used in the validation process. A Gd–EOB–DTPA-enhanced MRI simulation framework is presented. To evaluate results, warping index errors were calculated for the simulated data, and landmark-based and surface-based errors were calculated for the real data. An improvement of the registration accuracy for OF-MI as compared with MI was found for both simulated and real datasets. Statistical significance of the difference was tested and confirmed in the simulated dataset (p < 0.01).

Estudio Multimodal de la Funcionalidad Cortical en ratones Transgénicos con Síndrome X Frágil y la modulación del dolor

El dolor es un síntoma frecuente en la práctica médica. En España, un estudio realizado en el año 2000 demostró que cada médico atiende un promedio de 181 pacientes con dolor por mes, la mayoría de ellos con dolor crónico moderado1. Del 7%-8% de la población europea está afectada y hasta el 5% puede ser grave2-3, se estima, que afecta a más de dos millones de españoles4. En la consulta de Atención Primaria, los pacientes con dolor neuropático tienen tasas de depresión mucho mayores 5-6-7. El dolor neuropático8 es el dolor causado por daño o enfermedad que afecta al sistema somato-sensorial, es un problema de salud pública con un alto coste laboral, debido a que existe cierto desconocimiento de sus singularidades, tanto de su diagnóstico como de su tratamiento, que al fallar, el dolor se perpetúa y se hace más rebelde a la hora de tratarlo, en la mayoría de las ocasiones pasa a ser crónico. Los mecanismos fisiopatológicos son evolutivos, se trata de un proceso progresivo e integrado que avanza si no recibe tratamiento, ocasionando graves repercusiones en la calidad de vida de los pacientes afectados9. De acuerdo a Prusiner (premio nobel de medicina 1997), en todas las enfermedades neurodegenerativas hay algún tipo de proceso anormal de la función neuronal. Las enfermedades neurodegenerativas son la consecuencia de anormalidades en el proceso de ciertas proteínas que intervienen en el ciclo celular, por lo tanto da lugar al cúmulo de las mismas en las neuronas o en sus proximidades, disminuyendo o anulando sus funciones, como la enfermedad de Alzheimer y el mismo SXF. La proteína FMRP (Fragile Mental Retardation Protein), esencial para el desarrollo cognitivo normal, ha sido relacionada con la vía piramidal del dolor10-11-12. El Síndrome de X Frágil13-14 (SXF), se debe a la mutación del Gen (FMR-1). Como consecuencia de la mutación, el gen se inactiva y no puede realizar la función de sintetizar la proteína FMRP. Por su incidencia se le considera la primera causa de Deficiencia Mental Hereditaria sólo superada por el Síndrome de Down. La electroencefalografía (EEG) es el registro de la actividad bioeléctrica cerebral que ha traído el desarrollo diario de los estudios clínicos y experimentales para el descubrimiento, diagnóstico y tratamiento de un gran número de anormalidades neurológicas y fisiológicas del cerebro y el resto del sistema nervioso central (SNC) incluyendo el dolor. El objetivo de la presente investigación es por medio de un estudio multimodal, desarrollar nuevas formas de presentación diagnóstica mediante técnicas avanzadas de procesado de señal y de imagen, determinando así los vínculos entre las evaluaciones cognitivas y su correlación anatómica con la modulación al dolor presente en patologías relacionadas con proteína FMRP. Utilizando técnicas biomédicas (funcionalestructural) para su caracterización. Para llevar a cabo esta tarea hemos utilizado el modelo animal de ratón. Nuestros resultados en este estudio multimodal demuestran que hay alteraciones en las vías de dolor en el modelo animal FMR1-KO, en concreto en la modulación encefálica (dolor neuropático), los datos se basan en los resultados del estudio estructural (imagen histología), funcional (EEG) y en pruebas de comportamiento (Laberinto de Barnes). En la Histología se muestra una clara asimetría estructural en el modelo FMR1 KO con respecto al control WT, donde el hemisferio Izquierdo tiene mayor densidad de masa neuronal en KO hembras 56.7%-60.8%, machos 58.3%-61%, en WT hembras 62.7%-62.4%, machos 55%-56.2%, hemisferio derecho-izquierdo respectivamente, esto refleja una correlación entre hemisferios muy baja en los sujetos KO (~50%) con respecto a los control WT (~90%). Se encontró correlación significativa entre las pruebas de memoria a largo plazo con respecto a la asimetría hemisférica (r = -0.48, corregido <0,05). En el estudio de comportamiento también hay diferencias, los sujetos WT tuvieron 22% un de rendimiento en la memoria a largo plazo, mientras que en los machos hay deterioro de memoria de un 28% que se corresponden con la patología en humanos. En los resultados de EEG estudiados en el hemisferio izquierdo, en el área de la corteza insular, encuentran que la latencia de la respuesta al potencial evocado es menor (22vs32 15vs96seg), la intensidad de la señal es mayor para los sujetos experimentales FMR1 KO frente a los sujetos control, esto es muy significativo dados los resultados en la histología (140vs129 145vs142 mv). Este estudio multimodal corrobora que las manifestaciones clínicas del SXF son variables dependientes de la edad y el sexo. Hemos podido corroborar en el modelo animal que en la etapa de adulto, los varones con SXF comienzan a desarrollar problemas en el desempeño de tareas que requieren la puesta en marcha de la función ejecutiva central de la memoria de trabajo (almacenamiento temporal). En el análisis del comportamiento es difícil llegar a una conclusión objetiva, se necesitan más estudios en diferentes etapas de la vida corroborados con resultados histológicos. Los avances logrados en los últimos años en su estudio han sido muy positivos, de tal modo que se están abriendo nuevas vías de investigación en un conjunto de procesos que representan un gran desafío a problemas médicos, asistenciales, sociales y económicos a los que se enfrentan los principales países desarrollados, con un aumento masivo de las expectativas de vida y de calidad. Las herramientas utilizadas en el campo de las neurociencias nos ofrecen grandes posibilidades para el desarrollo de estrategias que permitan ser utilizadas en el área de la educación, investigación y desarrollo. La genética determina la estructura del cerebro y nuestra investigación comprueba que la ausencia de FMRP también podría estar implicada en la modulación del dolor como parte de su expresión patológica siendo el modelo animal un punto importante en la investigación científica fundamental para entender el desarrollo de anormalidades en el cerebro. ABSTRACT Pain is a common symptom in medical practice. In Spain, a study conducted in 2000 each medical professional treats an average of 181 patients with pain per month, most of them with chronic moderate pain. 7% -8% of the European population is affected and up to 5% can be serious, it is estimated to affect more than two million people in Spain. In Primary Care, patients with neuropathic pain have much higher rates of depression. Neuropathic pain is caused by damage or disease affecting the somatosensory system, is a public health problem with high labor costs, there are relatively unfamiliar with the peculiarities in diagnosis and treatment, failing that, the pain is perpetuated and becomes rebellious to treat, in most cases becomes chronic. The pathophysiological mechanisms are evolutionary, its a progressive, if untreated, causing severe impact on the quality of life of affected patients. According to Prusiner (Nobel Prize for Medicine 1997), all neurodegenerative diseases there is some abnormal process of neuronal function. Neurodegenerative diseases are the result of abnormalities in the process of certain proteins involved in the cell cycle, reducing or canceling its features such as Alzheimer's disease and FXS. FMRP (Fragile Mental Retardation Protein), is essential for normal cognitive development, and has been linked to the pyramidal tract pain. Fragile X Syndrome (FXS), is due to mutation of the gene (FMR-1). As a consequence of the mutation, the gene is inactivated and can not perform the function of FMRP synthesize. For its incidence is considered the leading cause of Mental Deficiency Hereditary second only to Down Syndrome. Electroencephalography (EEG) is the recording of bioelectrical brain activity, is a advancement of clinical and experimental studies for the detection, diagnosis and treatment of many neurological and physiological abnormalities of the brain and the central nervous system, including pain. The objective of this research is a multimodal study, is the development of new forms of presentation using advanced diagnostic techniques of signal processing and image, to determine the links between cognitive evaluations and anatomic correlation with pain modulation to this protein FMRP-related pathologies. To accomplish this task have used the mouse model. Our results in this study show alterations in multimodal pain pathways in FMR1-KO in brain modulation (neuropathic pain), the data are based on the results of the structural study (histology image), functional (EEG) testing and behavior (Barnes maze). Histology In structural asymmetry shown in FMR1 KO model versus WT control, the left hemisphere is greater density of neuronal mass (KO females 56.7% -60.8%, 58.3% -61% males, females 62.7% -62.4 WT %, males 55% -56.2%), respectively right-left hemisphere, this reflects a very low correlation between hemispheres in KO (~ 50%) subjects compared to WT (~ 90%) control. Significant correlation was found between tests of long-term memory with respect to hemispheric asymmetry (r = -0.48, corrected <0.05). In the memory test there are differences too, the WT subjects had 22% yield in long-term memory, in males there memory impairment 28% corresponding to the condition in humans. The results of EEG studied in the left hemisphere, in insular cortex area, we found that the latency of the response evoked potential is lower (22vs32 15vs96seg), the signal strength is higher for the experimental subjects versus FMR1 KO control subjects, this is very significant given the results on histology (140vs129 145vs142 mv). This multimodal study confirms that the clinical manifestations of FXS are dependent variables of age and sex. We have been able to corroborate in the animal model in the adult stage, males with FXS begin developing problems in the performance of tasks that require the implementation of the central executive function of working memory (temporary storage). In behavior analysis is difficult to reach an objective conclusion, more studies are needed in different life stages corroborated with histologic findings. Advances in recent years were very positive, being opened new lines of research that represent a great challenge to physicians, health care, social and economic problems facing the major developed countries, with a massive increase in life expectancy and quality. The tools used in the field of neuroscience offer us great opportunities for the development of strategies to be used in the area of education, research and development. Genetics determines the structure of the brain and our research found that the absence of FMRP might also be involved in the modulation of pain as part of their pathological expression being an important animal model in basic scientific research to understand the development of abnormalities in brain.

Multimodal integration of functional and structural brain connectivity. An application to the characterization of Mild Cognitive Impairment

La investigación para el conocimiento del cerebro es una ciencia joven, su inicio se remonta a Santiago Ramón y Cajal en 1888. Desde esta fecha a nuestro tiempo la neurociencia ha avanzado mucho en el desarrollo de técnicas que permiten su estudio. Desde la neurociencia cognitiva hoy se explican muchos modelos que nos permiten acercar a nuestro entendimiento a capacidades cognitivas complejas. Aun así hablamos de una ciencia casi en pañales que tiene un lago recorrido por delante. Una de las claves del éxito en los estudios de la función cerebral ha sido convertirse en una disciplina que combina conocimientos de diversas áreas: de la física, de las matemáticas, de la estadística y de la psicología. Esta es la razón por la que a lo largo de este trabajo se entremezclan conceptos de diferentes campos con el objetivo de avanzar en el conocimiento de un tema tan complejo como el que nos ocupa: el entendimiento de la mente humana. Concretamente, esta tesis ha estado dirigida a la integración multimodal de la magnetoencefalografía (MEG) y la resonancia magnética ponderada en difusión (dMRI). Estas técnicas son sensibles, respectivamente, a los campos magnéticos emitidos por las corrientes neuronales, y a la microestructura de la materia blanca cerebral. A lo largo de este trabajo hemos visto que la combinación de estas técnicas permiten descubrir sinergias estructurofuncionales en el procesamiento de la información en el cerebro sano y en el curso de patologías neurológicas. Más específicamente en este trabajo se ha estudiado la relación entre la conectividad funcional y estructural y en cómo fusionarlas. Para ello, se ha cuantificado la conectividad funcional mediante el estudio de la sincronización de fase o la correlación de amplitudes entre series temporales, de esta forma se ha conseguido un índice que mide la similitud entre grupos neuronales o regiones cerebrales. Adicionalmente, la cuantificación de la conectividad estructural a partir de imágenes de resonancia magnética ponderadas en difusión, ha permitido hallar índices de la integridad de materia blanca o de la fuerza de las conexiones estructurales entre regiones. Estas medidas fueron combinadas en los capítulos 3, 4 y 5 de este trabajo siguiendo tres aproximaciones que iban desde el nivel más bajo al más alto de integración. Finalmente se utilizó la información fusionada de MEG y dMRI para la caracterización de grupos de sujetos con deterioro cognitivo leve, la detección de esta patología resulta relevante en la identificación precoz de la enfermedad de Alzheimer. Esta tesis está dividida en seis capítulos. En el capítulos 1 se establece un contexto para la introducción de la connectómica dentro de los campos de la neuroimagen y la neurociencia. Posteriormente en este capítulo se describen los objetivos de la tesis, y los objetivos específicos de cada una de las publicaciones científicas que resultaron de este trabajo. En el capítulo 2 se describen los métodos para cada técnica que fue empleada: conectividad estructural, conectividad funcional en resting state, redes cerebrales complejas y teoría de grafos y finalmente se describe la condición de deterioro cognitivo leve y el estado actual en la búsqueda de nuevos biomarcadores diagnósticos. En los capítulos 3, 4 y 5 se han incluido los artículos científicos que fueron producidos a lo largo de esta tesis. Estos han sido incluidos en el formato de la revista en que fueron publicados, estando divididos en introducción, materiales y métodos, resultados y discusión. Todos los métodos que fueron empleados en los artículos están descritos en el capítulo 2 de la tesis. Finalmente, en el capítulo 6 se concluyen los resultados generales de la tesis y se discuten de forma específica los resultados de cada artículo. ABSTRACT In this thesis I apply concepts from mathematics, physics and statistics to the neurosciences. This field benefits from the collaborative work of multidisciplinary teams where physicians, psychologists, engineers and other specialists fight for a common well: the understanding of the brain. Research on this field is still in its early years, being its birth attributed to the neuronal theory of Santiago Ramo´n y Cajal in 1888. In more than one hundred years only a very little percentage of the brain functioning has been discovered, and still much more needs to be explored. Isolated techniques aim at unraveling the system that supports our cognition, nevertheless in order to provide solid evidence in such a field multimodal techniques have arisen, with them we will be able to improve current knowledge about human cognition. Here we focus on the multimodal integration of magnetoencephalography (MEG) and diffusion weighted magnetic resonance imaging. These techniques are sensitive to the magnetic fields emitted by the neuronal currents and to the white matter microstructure, respectively. The combination of such techniques could bring up evidences about structural-functional synergies in the brain information processing and which part of this synergy fails in specific neurological pathologies. In particular, we are interested in the relationship between functional and structural connectivity, and how two integrate this information. We quantify the functional connectivity by studying the phase synchronization or the amplitude correlation between time series obtained by MEG, and so we get an index indicating similarity between neuronal entities, i.e. brain regions. In addition we quantify structural connectivity by performing diffusion tensor estimation from the diffusion weighted images, thus obtaining an indicator of the integrity of the white matter or, if preferred, the strength of the structural connections between regions. These quantifications are then combined following three different approaches, from the lowest to the highest level of integration, in chapters 3, 4 and 5. We finally apply the fused information to the characterization or prediction of mild cognitive impairment, a clinical entity which is considered as an early step in the continuum pathological process of dementia. The dissertation is divided in six chapters. In chapter 1 I introduce connectomics within the fields of neuroimaging and neuroscience. Later in this chapter we describe the objectives of this thesis, and the specific objectives of each of the scientific publications that were produced as result of this work. In chapter 2 I describe the methods for each of the techniques that were employed, namely structural connectivity, resting state functional connectivity, complex brain networks and graph theory, and finally, I describe the clinical condition of mild cognitive impairment and the current state of the art in the search for early biomarkers. In chapters 3, 4 and 5 I have included the scientific publications that were generated along this work. They have been included in in their original format and they contain introduction, materials and methods, results and discussion. All methods that were employed in these papers have been described in chapter 2. Finally, in chapter 6 I summarize all the results from this thesis, both locally for each of the scientific publications and globally for the whole work.

A Cross-Cultural Examination of the Use of Multimodal Metaphor in English and Arabic Cartoons of the ‘Arab Spring’ in Egypt

El estudio de Lakoff y Johnson Metáforas de la vida cotidiana (1980) ha dotado al campo de la metáfora de un renovado interés, y a éste siguieron numerosas publicaciones abordándolo desde diversas perspectivas. Lakoff y Johnson (1980) aseguran que la metáfora es, de hecho, una característica del pensamiento y, por consiguiente, ya no es una propiedad exclusiva del lenguaje. La metáfora sería en realidad un reflejo de cómo concebimos e interpretamos el mundo en que vivimos, en la medida en que está conformada por nuestras experiencias corporales, un fenómeno al que Lakoff y Johnson se refieren como la “mente corpórea”. La metáfora cumple la función de “comprender” y facilitar la interpretación de un ámbito o experiencia en los términos de otro ámbito o experiencia (Lakoff & Johnson, 1980: 36). Los conceptos abstractos son difíciles de ser pensados per se; consecuentemente, las personas recurren a la metáfora para concebirlos en los términos de otras nociones más concretas que están, en cierto grado, vinculadas a nuestras experiencias somáticas. Si bien no escasean las investigaciones en el campo de las metáforas, parece haber, sin embargo, cierto vacío en lo tocante a la manifestación de la metáfora en modos distintos del modo verbal. Forceville (2009: 19) afirma que uno de los principios fundamentales de la Teoría de la Metáfora Conceptual es la idea de que el variado empleo de metáforas por parte del ser humano sugiere “que piensa en gran medida metafóricamente”. Esto lleva a la conclusión de que la manifestación de la metáfora debería estar presente en los diversos modos del pensamiento, y no únicamente en el verbal. Estos otros modos de pensamiento incluyen, entre otros, las imágenes, la música, los sonidos y los gestos. Asimismo, la mayoría de estudios que se han realizado en el área de las metáforas multimodales ha sido aplicada al terreno de la publicidad. Los anunciantes parecen advertir el ! 2! poder que se invierte en las metáforas, y las usan profusamente para transmitir mensajes a los consumidores. No obstante, recientemente existe un nuevo interés por investigar el uso de metáforas multimodales en las caricaturas (véase, por ejemplo, El Refaie 2003, 2009; Schilperoord y Maes 2009; Yus 2009; Bergen 2003; Marin Aresse 2008). Las tiras cómicas se distinguen de los anuncios principalmente por el hecho de que las caricaturas transmiten una postura negativa frente a un sujeto particular, mientras que los anuncios presentan una actitud positiva. Igualmente, les diferencia el hecho de que las tiras cómicas requieren un conocimiento social y político específico. El presente escrito examina y compara el uso de metáforas multimodales en caricaturas políticas – tanto inglesas como árabes – que retratan la Primavera Árabe en Egipto, con el fin de determinar: (1) si la mayoría de caricaturas son conceptualmente específicas o culturalmente específicas; (2) los principales dominios fuente empleados por los caricaturistas ingleses y árabes para interpretar la Primavera Árabe; (3) si hay semejanzas o diferencias entre las caricaturas inglesas y las árabes en su elección del dominio meta; y (4) observar también cómo los distintos modos (aquí esencialmente los modos verbal y pictórico) contribuyen a representar la Primavera Árabe. El corpus para este estudio se compone de un total de 50 tiras cómicas, 25 de ellas inglesas y las 25 restantes árabes. En cada una de estas tiras debe haber al menos una metáfora que representa la Primavera Árabe o alguno de sus subtemas. Las tiras han sido seleccionadas aleatoriamente a través de Internet. Para el análisis, la investigadora ha seguido el marco teórico propuesto por Bounegru y Forceville (2011) en cuanto a la determinación de metáforas en general, así como la determinación de metáforas multimodales de tipo verbovisual en particular. Por cada tira cómica se ha llevado a cabo un análisis independiente, determinando el dominio fuente y el dominio meta, las metáforas, las asignaciones, qué se está representando verbalmente y qué se representa pictóricamente. Además, la autora ha analizado ! 3! posteriormente si estas metáforas son culturalmente específicas o no, y/o si están relacionadas con metáforas más genéricas o universales. El análisis que comprende este trabajo se divide en dos secciones. La primera parte es un estudio detallado de los dos corpora, abordando los distintos escenarios de los dominios fuente empleados por los dibujantes según su similitud. Esta sección presenta a su vez un análisis de los diversos modos que se utilizan para revelar el dominio fuente así como el dominio meta. Del mismo modo, se incluyen las metáforas específicas manejadas en cada tira cómica y, cuando se da el caso, aquellas metáforas genéricas o universales a las que remite. La segunda sección del análisis presenta una comparativa entre ambos corpora basada en el análisis expuesto en la primera parte. Además, trata varios de los fenómenos lingüísticos a los que han recurrido frecuentemente los dibujantes ingleses y árabes. Estos fenómenos son principalmente la metonimia y la personificación. Igualmente, en esta sección la autora investiga en mayor profundidad las metáforas usadas por los dibujantes ingleses y los árabes, determinando si son ora conceptualmente específicas, ora culturalmente específicas, a partir del hecho de que las metáforas sirven como herramienta para reconocer la forma en que personas distintas, o bien culturas distintas, interpretan varias cuestiones. Por ejemplo, a la hora de conceptualizar el futuro, algunas culturas lo representan espacialmente como delante del hablante, mientras que otras se refieren al mismo como localizado detrás del sujeto (Lakoff y Johnson 1980: 14). Este trabajo ha permitido varios hallazgos. En cuanto a las metáforas empleadas para representar la Primavera Árabe, tanto las tiras inglesas como las árabes han recurrido a una cierta variedad de metáforas. Algunas de las tiras presentan más de una metáfora operando a la vez. Los dibujantes ingleses y árabes parecen haberse apoyado siempre en el modo pictórico para presentar el dominio fuente, así como en el modo verbal para mostrar el dominio meta. ! 4! Además, respecto a la naturaleza de las metáforas que figuran en sendos corpora, casi todas las metáforas son conceptuales en cuanto que se corresponden con nuestras experiencias corporales; no hay, por otro lado, ninguna metáfora culturalmente específica. Asimismo, la única diferencia a este respecto entre ambos corpora es una variación en lo que constituye el prototipo de una categoría particular – aquí concretamente la categoría “primavera” en cada una de las culturas –. En las tiras inglesas, una flor es empleada para representar la primavera, mientras que en las árabes el elemento natural más frecuente para simbolizar la primavera es un árbol.

A multimodal genre recognition prototype

In this paper, a multimodal and interactive prototype to perform music genre classification is presented. The system is oriented to multi-part files in symbolic format but it can be adapted using a transcription system to transform audio content in music scores. This prototype uses different sources of information to give a possible answer to the user. It has been developed to allow a human expert to interact with the system to improve its results. In its current implementation, it offers a limited range of interaction and multimodality. Further development aimed at full interactivity and multimodal interactions is discussed.

International conference paper presentations: A multimodal analysis to determine effectiveness

International conference presentations represent one of the biggest challenges for academics using English as a Lingua Franca (ELF). This paper aims to initiate exploration into the multimodal academic discourse of oral presentations, including the verbal, written, non-verbal material (NVM) and body language modes. It offers a Systemic Functional Linguistic (SFL) and multimodal framework of presentations to enhance mixed-disciplinary ELF academics' awareness of what needs to be taken into account to communicate effectively at conferences. The model is also used to establish evaluation criteria for the presenters' talks and to carry out a multimodal discourse analysis of four well-rated 20-min talks, two from the technical sciences and two from the social sciences in a workshop scenario. The findings from the analysis and interviews indicate that: (a) a greater awareness of the mode affordances and their combinations can lead to improved performances; (b) higher reliance on the visual modes can compensate for verbal deficiencies; and (c) effective speakers tend to use a variety of modes that often overlap but work together to convey specific meanings. However, firm conclusions cannot be drawn on the basis of workshop presentations, and further studies on the multimodal analysis of ‘real conferences’ within specific disciplines are encouraged.

The orchestration of modes and EFL audio-visual comprehension: A multimodal discourse analysis of vodcasts

This thesis explores the role of multimodality in language learners’ comprehension, and more specifically, the effects on students’ audio-visual comprehension when different orchestrations of modes appear in the visualization of vodcasts. Firstly, I describe the state of the art of its three main areas of concern, namely the evolution of meaning-making, Information and Communication Technology (ICT), and audio-visual comprehension. One of the most important contributions in the theoretical overview is the suggested integrative model of audio-visual comprehension, which attempts to explain how students process information received from different inputs. Secondly, I present a study based on the following research questions: ‘Which modes are orchestrated throughout the vodcasts?’, ‘Are there any multimodal ensembles that are more beneficial for students’ audio-visual comprehension?’, and ‘What are the students’ attitudes towards audio-visual (e.g., vodcasts) compared to traditional audio (e.g., audio tracks) comprehension activities?’. Along with these research questions, I have formulated two hypotheses: Audio-visual comprehension improves when there is a greater number of orchestrated modes, and students have a more positive attitude towards vodcasts than traditional audios when carrying out comprehension activities. The study includes a multimodal discourse analysis, audio-visual comprehension tests, and students’ questionnaires. The multimodal discourse analysis of two British Council’s language learning vodcasts, entitled English is GREAT and Camden Fashion, using ELAN as the multimodal annotation tool, shows that there are a variety of multimodal ensembles of two, three and four modes. The audio-visual comprehension tests were given to 40 Spanish students, learning English as a foreign language, after the visualization of vodcasts. These comprehension tests contain questions related to specific orchestrations of modes appearing in the vodcasts. The statistical analysis of the test results, using repeated-measures ANOVA, reveal that students obtain better audio-visual comprehension results when the multimodal ensembles are constituted by a greater number of orchestrated modes. Finally, the data compiled from the questionnaires, conclude that students have a more positive attitude towards vodcasts in comparison to traditional audio listenings. Results from the audio-visual comprehension tests and questionnaires prove the two hypotheses of this study.

The importance of promoting multimodal teaching in the foreign language classroom for the acquisition of social competences: practical examples

This article analyses the way in which the subject English Language V of the degree English Studies (English Language and Literature) combines the development of the five skills (listening, speaking, reading, writing and interacting) with the use of multimodal activities and resources in the teaching-learning process so that students increase their motivation and acquire different social competences that will be useful for the labour market such as communication, cooperation, leadership or conflict management. This study highlights the use of multimodal materials (texts, videos, etc.) on social topics to introduce cultural aspects in a language subject and to deepen into the different social competences university students can acquire when they work with them. The study was guided by the following research questions: how can multimodal texts and resources contribute to the development of the five skills in a foreign language classroom? What are the main social competences that students acquire when the teaching-learning process is multimodal? The results of a survey prepared at the end of the academic year 2015-2016 point out the main competences that university students develop thanks to multimodal teaching. For its framework of analysis, the study draws on the main principles of visual grammar (Kress & van Leeuwen, 2006) where students learn how to analyse the main aspects in multimodal texts. The analysis of the different multimodal activities described in the article and the survey reveal that multimodality is useful for developing critical thinking, for bringing cultural aspects into the classroom and for working on social competences. This article will explain the successes and challenges of using multimodal texts with social content so that students can acquire social competences while learning content. Moreover, the implications of using multimodal resources in a language classroom to develop multiliteracies will be observed.

Multimodal analysis of a sample of political posters in Ireland during and after the Celtic Tiger

The aim of this research paper is to analyse the key political posters made for the campaigns of Irish political party Fianna Fáil framed in the Celtic Tiger (1997-2008) and post-Celtic Tiger years (2009-2012). I will then focus on the four posters of the candidate in the elections that took place in 1997, 2002, 2007 and 2011 with the intention of observing first how the leader is represented, and later on pinpointing the similarities and possible differences between each. This is important in order to observe the main linguistic and visual strategies used to persuade the audience to vote that party and to highlight the power of the politician. Critical discourse analysis tools will be helpful to identify the main discursive strategies employed to persuade the Irish population to vote in a certain direction. Van Leeuwen’s (2008) social actor theory will facilitate the understanding of how participants are represented in the corpus under analysis. Finally, the main tools of Kress and van Leeuwen’s visual grammar (2006) will be applied for the analysis of the images. The study reveals that politicians are represented in a consistently positive way, with status and formal appearance so that people are persuaded to vote for the party they represent because they trust them as political leaders. The study, thus, points out that the poster is a powerful tool used in election campaigns to highlight the power of political parties.

A multimodal tablet-based interface for designing and reviewing 3D engineering models

The ability to view and interact with 3D models has been happening for a long time. However, vision-based 3D modeling has only seen limited success in applications, as it faces many technical challenges. Hand-held mobile devices have changed the way we interact with virtual reality environments. Their high mobility and technical features, such as inertial sensors, cameras and fast processors, are especially attractive for advancing the state of the art in virtual reality systems. Also, their ubiquity and fast Internet connection open a path to distributed and collaborative development. However, such path has not been fully explored in many domains. VR systems for real world engineering contexts are still difficult to use, especially when geographically dispersed engineering teams need to collaboratively visualize and review 3D CAD models. Another challenge is the ability to rendering these environments at the required interactive rates and with high fidelity. In this document it is presented a virtual reality system mobile for visualization, navigation and reviewing large scale 3D CAD models, held under the CEDAR (Collaborative Engineering Design and Review) project. It’s focused on interaction using different navigation modes. The system uses the mobile device's inertial sensors and camera to allow users to navigate through large scale models. IT professionals, architects, civil engineers and oil industry experts were involved in a qualitative assessment of the CEDAR system, in the form of direct user interaction with the prototypes and audio-recorded interviews about the prototypes. The lessons learned are valuable and are presented on this document. Subsequently it was prepared a quantitative study on the different navigation modes to analyze the best mode to use it in a given situation.

Investigation of brain function in neuropsychiatric disorder using multimodal imaging analysis

Otto-von-Guericke-Universität Magdeburg, Fakultät für Naturwissenschaften, Dissertation, 2016