Hacia una educación inclusiva y personalizada mediante el uso de los sistemas de diálogo multimodal.

Los continuos avances en el desarrollo de tecnologías de la información han dado lugar actualmente a la posibilidad de acceder a los contenidos educativos desde cualquier lugar, en cualquier momento y de forma casi instantánea. Sin embargo, la accesibilidad no es siempre considerada como criterio principal en el diseño de aplicaciones educativas, especialmente para facilitar su utilización por parte de personas con discapacidad. Diferentes tecnologías han surgido recientemente para fomentar la accesibilidad a las nuevas tecnologías y dispositivos móviles, favoreciendo una comunicación más natural con los sistemas educativos. En este artículo se describe el uso innovador de los sistemas de diálogo multimodales en el campo de la educación, con un especial énfasis en la descripción de las ventajas que ofrecen para la creación de aplicaciones educativas inclusivas y adaptadas a la evolución de los estudiantes.

Alfabetización multimodal : usos y posibilidades

Resumen basado en el de la publicación. Resumen en inglés

La iniciativa para la Integración de la Infraestructura Regional Sudamericana (IIRSA) en Ecuador desde un enfoque de derechos humanos: el caso del proyecto del eje multimodal Manta-Manaos

La Iniciativa IIRSA, que consiste en el impulso de la integración regional sudamericana a través de obras de infraestructura para el comercio, amenaza seriamente los derechos de las poblaciones y los sistemas ecológicos del continente. Tanto el ambiente como las personas están en riesgo por proyectos de gran envergadura con inadecuada planificación, que abarcan represas hidroeléctricas, carreteras, oleoductos, gasoductos, hidrovías, etc. En Ecuador, el eje multimodal Manta-Manaos es el proyecto de IIRSA que más ha motivado la alerta en la sociedad civil y las organizaciones indígenas, ya que buscaría convertir al río Napo en una hidrovía para el transporte de mercaderías en grandes cantidades, poniendo en peligro uno de los puntos de mayor diversidad biológica del planeta por su especial ubicación, así como los derechos de las personas pertenecientes a las comunidades indígenas y campesinas de la zona. En este marco, es de suma importancia el respeto y garantía de los derechos colectivos de los pueblos indígenas y tribales, quienes han conservado su modo de vida tradicional a lo largo de los años. Dada la particular relación con sus territorios, son ellos quienes deben decidir, por medio de adecuados procesos de consulta previa y consentimiento libre e informado, sobre la posibilidad de ejecutar proyectos de “desarrollo” o “integración regional” en sus territorios ancestrales. Los objetivos específicos de este trabajo son dar a conocer la existencia de la Iniciativa IIRSA y su cartera de proyectos en el Ecuador, definir los estándares ambientales y de derechos humanos que debe cumplir un proyecto de infraestructura y analizar el proyecto Manta-Manaos desde un enfoque jurídico, tomando como eje su adecuación a los estándares nacionales e internacionales de derechos humanos. En este sentido, resultan fundamentales los avances jurídicos recogidos en la normativa internacional, principalmente en el Convenio No. 169 de la OIT sobre pueblos indígenas y tribales en países independientes, así como la Declaración de las Naciones Unidas sobre los derechos de los pueblos indígenas, que constituyen instrumentos jurídicos clave para la exigibilidad de estos derechos. Del mismo modo, el establecimiento de garantías ya no sólo jurisdiccionales, sino también políticas y normativas en la nueva Constitución, son avances que debemos aprender a utilizar para la protección de los derechos y el ambiente. En esta investigación, en primer lugar se hace una aproximación descriptiva a IIRSA, a continuación se describe la cartera de proyectos de la iniciativa en el Ecuador, tanto del Eje Andino como del Eje Amazónico, pasando directamente al análisis del proyecto del eje multimodal Manta-Manaos y los estándares internacionales ambientales y de derechos humanos aplicables en el diseño, ejecución y funcionamiento de proyectos de infraestructura. En esta sección se tratan los estándares internacionales en materia de participación social, consulta previa, consentimiento libre e informado en relación a derechos colectivos de los pueblos indígenas, acceso a la información pública, beneficios compartidos y la obligación de realizar estudios de impacto ambiental, así como del derecho al desarrollo como un derecho síntesis, que pretende un reforzamiento y profundización de la indivisibilidad e interdependencia de todos los derechos humanos. Finalmente, esbozamos algunas conclusiones y recomendaciones.

Brasil en el contexto de la Iniciativa para la Integración de la Infraestructura Regional Sudamericana (IIRSA) y el corredor multimodal Manta-Manaos, periodo 2003-2010

Varias lecturas surgen de los grandes proyectos de integración física latinoamericana. La principal es que el paradigma del nuevo regionalismo latinoamericano ha descuidado los efectos diferenciados de dichos proyectos, que en caso de concretarse ampliarán las asimetrías entre las economías de la región. En el marco de la integración económica regional están claras intenciones brasileras de alcanzar consolidarse como la potencia regional en el vecindario sudamericano, a partir de una destacada participación de su fuerza empresarial en el mercado latinoamericano, lo que afirma contundentemente que la estrategia política de Brasil en este contexto es una respuesta a su plan nacional y pretende beneficiar fundamentalmente a los segmentos capaces de influir en su política exterior como lo son los grandes grupos económicos exportadores. La segunda lectura es que desafortunadamente, países como Ecuador tienen una visión reducida sobre las verdaderas implicaciones que emanarán de participar en megaproyectos de integración física como la IIRSA y su derivación, el corredor multimodal Manta-Manaos. Las provincias amazónicas, principales receptoras de las externalidades que emanen de este corredor son el punto álgido de este proyecto. La capacidad del estado ecuatoriano de responder ante las demandas de este tipo de plan de integración regional, sin descuidar las máximas consagradas en su propio Plan Nacional para el Desarrollo, será el dispositivo que determine el verdadero alcance del mismo. Con estos antecedentes, la presente investigación tiene dos grandes objetivos. El primero es analizar la evolución histórica de los tres pilares de la política exterior de Brasil, desde la mitad del siglo XX hasta el periodo de gobierno del ex presidente Lula da Silva (2003-2010). Dentro de este contexto, esbozar cómo los tres pilares (pragmatismo, estabilidad, y autonomía de decisión) se fusionan con el mayor proyecto de integración física regional, la Iniciativa para la Integración de la Infraestructura Regional Sudamericana (IIRSA), mecanismo que contribuye a la consolidación de Brasil como gran potencia regional. El segundo objetivo es estudiar el tratamiento que le ha otorgado el gobierno ecuatoriano a la ruta Manta-Manaos y la potencialidad de la implementación de este corredor logístico. Las respectivas repercusiones sociales, económicas y medioambientales, así como las dimensiones comerciales en términos locales, regionales e internacionales serán determinadas por la capacidad de Ecuador de establecer una concordancia entre las premisas del Buen Vivir y los compromisos contraídos a partir de su política exterior.

Multimodal semantic-associative collateral labelling and indexing of still images

A novel framework for multimodal semantic-associative collateral image labelling, aiming at associating image regions with textual keywords, is described. Both the primary image and collateral textual modalities are exploited in a cooperative and complementary fashion. The collateral content and context based knowledge is used to bias the mapping from the low-level region-based visual primitives to the high-level visual concepts defined in a visual vocabulary. We introduce the notion of collateral context, which is represented as a co-occurrence matrix, of the visual keywords, A collaborative mapping scheme is devised using statistical methods like Gaussian distribution or Euclidean distance together with collateral content and context-driven inference mechanism. Finally, we use Self Organising Maps to examine the classification and retrieval effectiveness of the proposed high-level image feature vector model which is constructed based on the image labelling results.

Semantic-associative visual content labelling and retrieval: A multimodal approach

A novel framework referred to as collaterally confirmed labelling (CCL) is proposed, aiming at localising the visual semantics to regions of interest in images with textual keywords. Both the primary image and collateral textual modalities are exploited in a mutually co-referencing and complementary fashion. The collateral content and context-based knowledge is used to bias the mapping from the low-level region-based visual primitives to the high-level visual concepts defined in a visual vocabulary. We introduce the notion of collateral context, which is represented as a co-occurrence matrix of the visual keywords. A collaborative mapping scheme is devised using statistical methods like Gaussian distribution or Euclidean distance together with collateral content and context-driven inference mechanism. We introduce a novel high-level visual content descriptor that is devised for performing semantic-based image classification and retrieval. The proposed image feature vector model is fundamentally underpinned by the CCL framework. Two different high-level image feature vector models are developed based on the CCL labelling of results for the purposes of image data clustering and retrieval, respectively. A subset of the Corel image collection has been used for evaluating our proposed method. The experimental results to-date already indicate that the proposed semantic-based visual content descriptors outperform both traditional visual and textual image feature models. (C) 2007 Elsevier B.V. All rights reserved.

Queue-based agent architecture for multimodal interfaces

This paper presents a queue-based agent architecture for multimodal interfaces. Using a novel approach to intelligently organise both agents and input data, this system has the potential to outperform current state-of-the-art multimodal systems, while at the same time allowing greater levels of interaction and flexibility. This assertion is supported by simulation test results showing that significant improvements can be obtained over normal sequential agent scheduling architectures. For real usage, this translates into faster, more comprehensive systems, without the limited application domain that restricts current implementations.

Dynamic Niche Clustering: a fuzzy variable radius niching technique for multimodal optimisation in GAs

This paper describes the recent developments and improvements made to the variable radius niching technique called Dynamic Niche Clustering (DNC). DNC is fitness sharing based technique that employs a separate population of overlapping fuzzy niches with independent radii which operate in the decoded parameter space, and are maintained alongside the normal GA population. We describe a speedup process that can be applied to the initial generation which greatly reduces the complexity of the initial stages. A split operator is also introduced that is designed to counteract the excessive growth of niches, and it is shown that this improves the overall robustness of the technique. Finally, the effect of local elitism is documented and compared to the performance of the basic DNC technique on a selection of 2D test functions. The paper is concluded with a view to future work to be undertaken on the technique.

TESSA - Toolkit for experimentation with multimodal sensory substitution and augmentation

TESSA is a toolkit for experimenting with sensory augmentation. It includes hardware and software to facilitate rapid prototyping of interfaces that can enhance one sense using information gathered from another sense. The toolkit contains a range of sensors (e.g. ultrasonics, temperature sensors) and actuators (e.g. tactors or stereo sound), designed modularly so that inputs and outputs can be easily swapped in and out and customized using TESSA’s graphical user interface (GUI), with “real time” feedback. The system runs on a Raspberry Pi with a built-in touchscreen, providing a compact and portable form that is amenable for field trials. At CHI Interactivity, the audience will have the opportunity to experience sensory augmentation effects using this system, and design their own sensory augmentation interfaces.

Robust multimodal face and fingerprint fusion in the presence of spoofing attacks

Anti-spoofing is attracting growing interest in biometrics, considering the variety of fake materials and new means to attack biometric recognition systems. New unseen materials continuously challenge state-of-the-art spoofing detectors, suggesting for additional systematic approaches to target anti-spoofing. By incorporating liveness scores into the biometric fusion process, recognition accuracy can be enhanced, but traditional sum-rule based fusion algorithms are known to be highly sensitive to single spoofed instances. This paper investigates 1-median filtering as a spoofing-resistant generalised alternative to the sum-rule targeting the problem of partial multibiometric spoofing where m out of n biometric sources to be combined are attacked. Augmenting previous work, this paper investigates the dynamic detection and rejection of livenessrecognition pair outliers for spoofed samples in true multi-modal configuration with its inherent challenge of normalisation. As a further contribution, bootstrap aggregating (bagging) classifiers for fingerprint spoof-detection algorithm is presented. Experiments on the latest face video databases (Idiap Replay- Attack Database and CASIA Face Anti-Spoofing Database), and fingerprint spoofing database (Fingerprint Liveness Detection Competition 2013) illustrate the efficiency of proposed techniques.

A full family of multimodal maps on the circle

We exhibit a family of trigonometric polynomials inducing a family of 2m-multimodal maps on the circle which contains all relevant dynamical behavior.

RailsTNE : En multimodal informationsplattform i ett interorganisatoriskt nätverk

Att utreda möjligheterna att etablera dataförsörjning riktade mot multimodala transporttjänster är idag av största intresse. Det är också intressant att försöka utnyttja de standarder som tagits fram när en dataförsörjningskedja ska etableras. Detta examensarbete genomfördes på Triona AB i Borlänge. Triona har utvecklat databasen Transport Network Engine (TNE), som idag används för att läsa in data från Nationella VägDataBasen (NVDB) och från skogsnäringen. Målet med arbetet var att ta fram en informationsmodell, som beskriver hur ett transportnät med nätanknutna data, som stödjer multimodala transporter och resor, kan lagras i TNE. En förlängning av målet blev att, utifrån ett givet användarfall, etablera dataförsörjning till TNE och lägga in de nödvändiga datamängderna. TNE bygger på ESRI:s produkter och funktionalitet för hantering av geografisk information och informationsmodell och datahantering i TNE baseras på internationella och svenska standarder. Idag finns all information om järnvägsnätet hos Banverket och det finns ingen koppling mellan Banverkets databas Baninformationssystemet (BIS) och Vägverkets databas NVDB. För att den kopplingen ska kunna ske, krävs att de båda verken kan samarbeta som två stora organisationer i ett väl fungerande nätverk. Ett så kallat interorganisatoriskt nätverk. Det akademiska syftet var att föreslå en arkitekturstrategi som stödjer ett sådant nätverk. Vi upptäckte att arkitekturstrategierna IRM och VBS är uppbyggda för att inrikta sig på enskilda organisationer, och det visade sig svårt att följa en specifik strategi inom ett nätverk med flera organisationer. I vårt användarfall måste nätverket mellan Banverket, Vägverket och Stora Enso samarbeta över organisationsgränserna. Därför behövs en strategi för ett interorganisatoriskt samarbete så att informationen kan struktureras på ett gemensamt sätt. Vi föreslår ett antal idealtypskriterier som vi utgått efter i struktureringen av systemarkitekturen. Den innehåller en informationsmodell för både väg- och järnvägsdata som följer standarden SS 63 70 04. Arbetet avgränsades till att endast innehålla de datamängder som användarfallet kräver. Vi har analyserat KombiTIF-rapporten som är ett avslutat projekt styrt av Banverket på uppdrag av Näringsdepartementet. Rapporten ger ett förslag på en lösning i form av en arena som ska göra data tillgänglig för användning. Vi väljer att se TNE-plattformen som en realisering av denna arena. Enligt vårt förslg så ska TNE-plattformen hämta in det mest grundläggande datat om järnvägsnät och nätanknuten data från BIS och standardiserad information om vägnät och nätanknuten data från NVDB via ett gränssnitt. I framtiden är det möjligt att på samma sätt ta in andra trafiknät såsom Sjöfartsverket, Luftfartsverket och Rikstrafiken. Vi arbetade efter en egen metod som vi tog fram med valda delar från andra metoder; kartläggning, perspektivanalys, verksamhetsanalys, utveckling och utvärdering. Arbetet genomfördes iterativt i de fem olika faserna.