Modelado de sistemas multimedia para personalización y recomendación híbrida a partir del consumo audiovisual de los usuarios

This doctoral thesis focuses on the modeling of multimedia systems to create personalized recommendation services based on the analysis of users’ audiovisual consumption. Research is focused on the characterization of both users’ audiovisual consumption and content, specifically images and video. This double characterization converges into a hybrid recommendation algorithm, adapted to different application scenarios covering different specificities and constraints. Hybrid recommendation systems use both content and user information as input data, applying the knowledge from the analysis of these data as the initial step to feed the algorithms in order to generate personalized recommendations. Regarding the user information, this doctoral thesis focuses on the analysis of audiovisual consumption to infer implicitly acquired preferences. The inference process is based on a new probabilistic model proposed in the text. This model takes into account qualitative and quantitative consumption factors on the one hand, and external factors such as zapping factor or company factor on the other. As for content information, this research focuses on the modeling of descriptors and aesthetic characteristics, which influence the user and are thus useful for the recommendation system. Similarly, the automatic extraction of these descriptors from the audiovisual piece without excessive computational cost has been considered a priority, in order to ensure applicability to different real scenarios. Finally, a new content-based recommendation algorithm has been created from the previously acquired information, i.e. user preferences and content descriptors. This algorithm has been hybridized with a collaborative filtering algorithm obtained from the current state of the art, so as to compare the efficiency of this hybrid recommender with the individual techniques of recommendation (different hybridization techniques of the state of the art have been studied for suitability). The content-based recommendation focuses on the influence of the aesthetic characteristics on the users. The heterogeneity of the possible users of these kinds of systems calls for the use of different criteria and attributes to create effective recommendations. Therefore, the proposed algorithm is adaptable to different perceptions producing a dynamic representation of preferences to obtain personalized recommendations for each user of the system. The hypotheses of this doctoral thesis have been validated by conducting a set of tests with real users, or by querying a database containing user preferences - available to the scientific community. This thesis is structured based on the different research and validation methodologies of the techniques involved. In the three central chapters the state of the art is studied and the developed algorithms and models are validated via self-designed tests. It should be noted that some of these tests are incremental and confirm the validation of previously discussed techniques. Resumen Esta tesis doctoral se centra en el modelado de sistemas multimedia para la creación de servicios personalizados de recomendación a partir del análisis de la actividad de consumo audiovisual de los usuarios. La investigación se focaliza en la caracterización tanto del consumo audiovisual del usuario como de la naturaleza de los contenidos, concretamente imágenes y vídeos. Esta doble caracterización de usuarios y contenidos confluye en un algoritmo de recomendación híbrido que se adapta a distintos escenarios de aplicación, cada uno de ellos con distintas peculiaridades y restricciones. Todo sistema de recomendación híbrido toma como datos de partida tanto información del usuario como del contenido, y utiliza este conocimiento como entrada para algoritmos que permiten generar recomendaciones personalizadas. Por la parte de la información del usuario, la tesis se centra en el análisis del consumo audiovisual para inferir preferencias que, por lo tanto, se adquieren de manera implícita. Para ello, se ha propuesto un nuevo modelo probabilístico que tiene en cuenta factores de consumo tanto cuantitativos como cualitativos, así como otros factores de contorno, como el factor de zapping o el factor de compañía, que condicionan la incertidumbre de la inferencia. En cuanto a la información del contenido, la investigación se ha centrado en la definición de descriptores de carácter estético y morfológico que resultan influyentes en el usuario y que, por lo tanto, son útiles para la recomendación. Del mismo modo, se ha considerado una prioridad que estos descriptores se puedan extraer automáticamente de un contenido sin exigir grandes requisitos computacionales y, de tal forma que se garantice la posibilidad de aplicación a escenarios reales de diverso tipo. Por último, explotando la información de preferencias del usuario y de descripción de los contenidos ya obtenida, se ha creado un nuevo algoritmo de recomendación basado en contenido. Este algoritmo se cruza con un algoritmo de filtrado colaborativo de referencia en el estado del arte, de tal manera que se compara la eficiencia de este recomendador híbrido (donde se ha investigado la idoneidad de las diferentes técnicas de hibridación del estado del arte) con cada una de las técnicas individuales de recomendación. El algoritmo de recomendación basado en contenido que se ha creado se centra en las posibilidades de la influencia de factores estéticos en los usuarios, teniendo en cuenta que la heterogeneidad del conjunto de usuarios provoca que los criterios y atributos que condicionan las preferencias de cada individuo sean diferentes. Por lo tanto, el algoritmo se adapta a las diferentes percepciones y articula una metodología dinámica de representación de las preferencias que permite obtener recomendaciones personalizadas, únicas para cada usuario del sistema. Todas las hipótesis de la tesis han sido debidamente validadas mediante la realización de pruebas con usuarios reales o con bases de datos de preferencias de usuarios que están a disposición de la comunidad científica. La diferente metodología de investigación y validación de cada una de las técnicas abordadas condiciona la estructura de la tesis, de tal manera que los tres capítulos centrales se estructuran sobre su propio estudio del estado del arte y los algoritmos y modelos desarrollados se validan mediante pruebas autónomas, sin impedir que, en algún caso, las pruebas sean incrementales y ratifiquen la validación de técnicas expuestas anteriormente.

Recommender system for sport videos based on user audiovisual consumption

This paper describes a recommender system for sport videos, transmitted over the Internet and/or broadcast, in the context of large-scale events, which has been tested for the Olympic Games. The recommender is based on audiovisual consumption and does not depend on the number of users, running only on the client side. This avoids the concurrence, computation and privacy problems of central server approaches in scenarios with a large number of users, such as the Olympic Games. The system has been designed to take advantage of the information available in the videos, which is used along with the implicit information of the user and the modeling of his/her audiovisual content consumption. The system is thus transparent to the user, who does not need to take any specific action. Another important characteristic is that the system can produce recommendations for both live and recorded events. Testing has showed advantages compared to previous systems, as will be shown in the results.

Procesos configurativos: de la trama a la noción de campo en los "mat buildings"

La presente tesis aborda el estudio sobre los llamados mat buildings, que surgen entre los años cincuenta y sesenta del pasado siglo. Los mat buildings, también llamados “edificios esteras” o “edificios alfombras”, nacen en gran parte como consecuencia de los desacuerdos e insatisfacciones de los CIAM con el reduccionismo funcionalista y los principios de compartimentación funcional. Estos nuevos modelos remplazan el modelo de ciudad entendido como una colección de edificios individuales por una concepción de un patrón urbano. No es la suma de la longitud, la altura y el ancho sino más bien una densa alfombra bi-dimensional, con una configuración de formas que ofrece al mismo tiempo un orden repetitivo y una infinita diversidad de secuencias con infinitas posibilidades de adaptación donde el hombre vive y se desplaza. Estas características que irán apareciendo en la obras de muchos de los arquitectos que forman parte del grupo Team X son los que Alison Smithson empieza a revelar en su artículo, con la ambición de manifestar una nueva sensibilidad y una nueva forma de entender y ver la arquitectura. Los mat buildings y los cluster serán los códigos utilizados por diferentes miembros del Team X para pensar una arquitectura y un urbanismo alternativo al propuesto por los CIAM. Mediante ellos encuentran el camino para una nueva estética de la conexión con un desplazamiento desde una concepción determinista de la forma arquitectónica (una forma cerrada y en general definida a priori) hacia una actitud más libre, más abierta, fundamentada no tanto en la entereza de la forma global sino en cuanto a la intensidad de sus redes internas y de sus diferentes niveles de asociación. La tesis tiene como propósito final cuestionar si esta tipología de edificios, cuyo principio de base es siempre una matriz geométrica abierta (trama, retícula, malla), con crecimiento ilimitado, puede redefinir la frontera entre ciudad y edificio y, por tanto, entre público y privado, individual y colectivo, estructural e infraestructural, permanente y variable. Por ello, se presenta un estudio histórico y crítico en profundidad sobre los mat buildings, analizando detenidamente y por orden cronológico cinco de sus obras más paradigmáticas: el Orfanato en Ámsterdam de Aldo Van Eyck, la Universidad Libre en Berlín de Candilis, Josic y Woods, el Hospital de Venecia de Le Corbusier y Guillermo Jullián de la Fuente, el edificio administrativo de la Centraal Beheer en Apeldoorn de Herman Hertzberger, y por último el MUSAC en León, realizado por Mansilla y Tuñon. Las cuatro primeras obras pertenecen al periodo Team X y son precursoras de muchos otros proyectos que aparecerán a posteriori. La última obra analizada, el MUSAC, es estudiada conjuntamente con algunas obras del arquitecto japonés Sou Fujimoto y otros casos contemporáneos con la intención de manifestar cómo arquitectos de horizontes muy diferentes vuelven a recurrir a estos modelos de crecimientos ilimitados. Mediante el estudio de varios ejemplos contemporáneos se examinan las repercusiones, transformaciones y evoluciones que estos modelos han tenido. La exploración contrastada permite apreciar adecuadamente la pertinencia de estos modelos y los cambios de modalidades y de procesos que advienen con la aparición en el panorama contemporáneo de la noción de campo y los cambios de paradigma que conlleva. Estos nuevos modelos abren nuevos procesos y forma de abordar la arquitectura basada en las relaciones, flujos, movimientos y asociaciones que son caracterizados por diferentes patrones que vienen a alimentar todo el proceso del proyecto arquitectónico. El estudio de estos nuevos modelos nos indica las cualidades que puede ofrecer la revisión de estos métodos para empezar a tratar nuevas cuestiones que hoy en día parecen ser, permanentemente, parte de la condición urbana. XII ABSTRACT This thesis deals with the study of the so-called mat buildings which emerged between the fifties and sixties of the last century. Mat, or carpet, buildings appeared largely as a result of the CIAM’s disagreement and dissatisfaction with functionalist reductionism and the principles of functional compartmentalisation. These new models replaced the model of the city, seen as a collection of individual buildings, with the concept of an urban pattern. It is not the sum of the length, height and width but rather a dense, two- dimensional mat with a configuration of forms offering both a repetitive order and an infinite diversity of sequences with endless possibilities for adaptation, where man lives and circulates. These characteristics, which appeared in the works of many of the architects who formed part of Team X, are those that Alison Smithson started to reveal in her article with the aim of manifesting a new sensibility and a new way of understanding and seeing architecture. Mat buildings and clusters were the codes used by different members of Team X to plan an alternative architecture and urbanism to that proposed by the CIAM. With them, they found the path for a new aesthetic of connection, with a shift from a deterministic concept of the architectural form (closed and generally defined a priori) towards a more free, more open attitude based not so much on the integrity of the overall form but on the intensity of its internal networks and different levels of association. The end purpose of this thesis is to question whether this type of building, the basic principle of which is always an open geometric matrix (grid, recticle, network) with unlimited growth, can redefine the boundary between city and building and, thus, between public and private, individual and collective, structural and infrastructural, and permanent and variable. To this end, an in-depth historical and critical study of mat buildings is presented, analysing carefully and in chronological order five of the most paradigmatic works of this style: the Orphanage in Amsterdam, by Aldo Van Eyck; the Free University of Berlin, by Candilis, Josic and Woods; Venice Hospital, by Le Corbusier and Guillermo Jullián de la Fuente; the Centraal Beheer administration building in Apeldoorn, by Herman Hertzberger; and lastly, the MUSAC (Contemporary Art Museum) in León, designed by Mansilla and Tuñon. The first four works are from the Team X period and were the precursors to many other projects that would appear later. The last work analysed, the MUSAC, is studied together with some works by Japanese architect Sou Fujimoto and other contemporary cases to show how architects with very different perspectives revert to these models of limitless growth. Through the study of several contemporary examples we examine the repercussions, transformations and evolutions these models have had. The contrasted research XIII allows us to properly appreciate the importance of these models and the changes in forms and processes that came with the emergence of the idea of field in the contemporary arena and the paradigm shifts it entailed. These new models opened up new processes and a way of approaching architecture based on relationships, flows, movements and associations characterised by different patterns that feed the entire process of the architectural project. The study of these new models shows us the benefits that a review of these methods can contribute to addressing new issues that today appear to be a permanent part of the urban condition.

Sound of lasers (SOL) - An audiovisual approach to semiconductor laser dynamics

We present an educational software addressed to the students of optical communication courses, for a simple visualization of the basic dynamic processes of semiconductor lasers. The graphic interface allows the user to choose the laser and the modulation parameters and it plots the laser power output and instantaneous frequency versus time. Additionally, the optical frequency variations are numerically shifted into the audible frequency range in order to produce a sound wave from the computer loudspeakers. Using the proposed software, the student can simultaneously see and hear how the laser intensity and frequency change, depending on the modulation and device parameters.

Un proyecto de Arquitectura Audiovisual: Un Medidor de Paisaje

El artículo propone un ejemplo de arquitectura audiovisual, que apoye la hipótesis del valor de lo virtual frente a lo real. Un elemento intercambiable capaz de superar la seducción que ofrece el mundo presencial, por el hecho de ser intransferible.

Sobre la identidad de la ciudad. El estudio de la interacción audiovisual en las nuevas herramientas para el proyecto. El caso de Cuenca

Esta investigación se centra en el estudio de la dimensión audiovisual de la arquitectura, como aproximación intersensorial a la aprehensión e ideación del espacio. Poniendo en evidencia la complejidad de la relación hombre-medio, se plantea la necesidad de desarrollar nuevas metodologías y herramientas que tengan en cuenta dicha complejidad y que favorezcan el desarrollo del proyecto. Nos mueve en esta investigación la convicción de que los cambios rápidos y profundos que caracterizan nuestros tiempos en todos los ámbitos, social, económico, político… entrañan inevita-blemente nuevos modos de conocimiento y experimentación del espacio, y por tanto nuevos ejes de investigación. La creciente valoración, en todos los campos del conocimiento, de los aspectos subjetivos y sensoriales, el desarrollo de las tecnologías que ha cambiado completamente nuestras relaciones interpersonales y con el entorno, las nuevas capacidades de análisis, grabación y conservación y manipulación de datos y por ultimo, aunque no menos importante, la puesta a disposición democrá¬tica y global de todo el saber a través de Internet, imponen otra aproximación al hacer, concebir y vivir la arquitectura. Esta investigación se centra en un análisis crítico del estado de la cuestión, construyendo nue¬vas redes de relación entre disciplinas, que permitan plantear la dimensión audiovisual como un nuevo eje de investigación dentro de la arquitectura, poniendo en evidencia la necesidad de desa¬rrollar análisis de forma trasversal e interdisciplinar. Hemos prestado particular atención a la evolución de lo sonoro y su aproximación cualitativa a la arquitectura, mostrando como el sonido, con su capacidad de introducir el tiempo y los aspectos dinámicos (el movimiento, la presencia del cuerpo…), no es simplemente otro canal sensorial en la aprehensión del espacio, ya que su interacción con lo visual genera un espacio-tiempo indisociable, propio, característico de cada momento y lugar. A partir de este planteamiento se ha hecho una revisión metodológica dirigida a utilizar el reco¬rrido como herramienta de análisis, que permita estudiar la relación entre el espacio, la acción y la percepción audio-visual, cruzando para ello los datos correspondientes a la morfología del espacio, con los datos de la experiencia perceptiva individual y con los de los usos colectivos del espacio, utilizándose finalmente el video como un herramienta, no sólo de representación de lo real, sino también como instrumento de análisis, que permite tomar datos (grabaciones audio, video, obser¬vaciones…), aislarlos, estudiarlos, clasificarlos, ordenarlos, y finalmente, restituirlos mediante el montaje. Se ha realizado una primera experimentación “in situ” que ha servido para explorar la aplicación del método, planteando nuevas preguntas y abriendo líneas de análisis para ulteriores investigacio¬nes. ABSTRACT This research is focused on the study of the audiovisual dimension of architecture, as an in¬tersensorial approach to space apprehension and design. It is posed the necessity to develop new methodologies and tools that keep this complexity, as a contribution to the development of a project, by means of putting into evidence the sophistication of the relationship between man and media The research moves us to the conviction that the quick and relevant changes that confer a distinc-tion to these contemporary times all over the social, economic and political environments, involve, unavoidably, new ways of knowledge and experimentation on space, and therefore, new trends of research. The growing valuation of subjective and sensorial aspects all over the fields of the knowledge and the development of the technologies that have changed completely our interpersonal and environmental relationships, the new tools for analysis, recording, conservation and manipulation of data and, last but not least, the setting to democratic and global availability of the whole knowledge through Inter¬net, impose another approach to the making, conception and experience of architecture. This research deals with a critical analysis of the state–of- the-art of the matter, modelling new webs of relationship among disciplines that allow to outline the audiovisual dimension as a new focus of research on architecture, putting evidence into practice as it is necessary to develop any analysis in a transversal and interdisciplinary way. It is paid a special attention to the evolution of sound objects and their qualitative approach to ar¬chitecture, showing how sound, with its capacity to transmit time and dynamic aspects of things (movement, the presence of the body), it is not simply another sensorial channel in the apprehension of space, since its interaction with the visual thing generates an undetachable association of space and time, an specific one of every moment and place. Starting from this position a methodological revision has been made leading to use a walk as a tool for analysis that allows to study the relationship among the space, the action and the audio-visual perception, by means of crossing data corresponding to the morphology of space, with the data of a perceptive experience from the perspective of an individual observer and with those of the collective uses of the space, as video has been finally used as a tool, not only as a representation of the real thing, but also as a tool for analysis that allows to take isolated data (audio recordings, video, obser¬vations), to be studied, classified, and put into their appropriate place, and finally, to restore them by means of a multimedia set up. A first experimentation in situ has been carried out, being useful to explore a method of appli¬cation, outlining new questions and beginning with new ways of analysis for further research.

Diseño de un sistema networking audio para instalación audiovisual

Una vez presentada la tecnología de Networking audio (redes de datos, protocolos actuales, etc.) se realizará un diseño de la instalación del sistema de audio, en el que el punto de partida es la parte creativa de la actividad en dicha instalación: un juego en el que la comunicación auditiva es lo fundamental. La instalación se compondrá de una sala central, tres salas de grupos, tres salas de cabinas de actores y ocho salas de pasaje. Esta actividad tan particular hará plantearse configuraciones, equipamiento y formas de trabajar especiales que, mediante la tecnología de audio vía red de datos y el equipamiento auxiliar a esta red, podría realizarse de la una forma óptima cumpliendo con todos los objetivos de la actividad, tanto técnicos como relativos al juego. El libro se dividirá en dos partes: La primera parte consistirá en una explicación de lo que son las redes de datos y los aspectos básicos para entenderlas desde un punto de vista práctico: qué es Ethernet, los componentes de una red... Una vez explicada la terminología específica de redes, se expondrán los protocolos que se usan para transmitir audio profesional a día de hoy. En la segunda parte, se empezará presentando la actividad que se realizará en nuestra instalación: un juego de rol. A continuación se conocerá el flujo de señales existentes para después, poner en práctica lo aprendido en la primera parte: diseñaremos una instalación audiovisual mediante networking audio. Un sistema de estas características necesita además de dispositivos en red, sistemas convencionales de audio. Durante el diseño y debido a las necesidades tan específicas de la instalación, se verá que ha sido necesario pensar en sistemas especiales para hacer posible la actividad para la que ha sido ideada nuestra instalación. Los objetivos de este proyecto son, desarrollar los puntos que tendría que tener en cuenta un integrador que se proponga diseñar un sistema de audio networking para una instalación audiovisual para, a continuación, poner en práctica estos conocimientos con la exposición del diseño de una instalación en la que se llevará a cabo una actividad lúdica y de aprendizaje en la que una óptima transmisión de señal de audio a tiempo real, es lo fundamental. ABSTRACT. Once introduced the Networking technology (data networks, current protocols, etc.), the audio installation design is being done. In which the starting point is the creative part of the activity will be made: one game in which the auditory communication is fundamental. The installation will consist of a central room, three meeting groups, three actor cabins rooms and eight passage rooms. This particular activity will consider configurations, equipment and forms of special working that through audio technology via data network and auxiliary equipment to this network, it could be done in an optimal way to meet all the goals of the activity, both technical and relative to the game. The book is divided into two parts: The first part consists of an explanation of what the data networks and the basics to understand from a practical point of view: what Ethernet is, the network components... Once specific network terminology is explained, the current protocols used to transmit professional audio are being showed. In the second part, it is introducing the activity to be made in our installation: a game. Then, the flow of existing signals are being known, we practice what I learned in the first part: we will design an audiovisual installation by audio networking. A system like this besides networked devices, it needs conventional audio systems. During the design and due to the very specific needs of the installation, you will see that it was necessary to think of special systems for this special activity. The goals of this project are to develop the points that an system integrator would have to consider to design a system of networking audio for an audiovisual installation, then put this knowledge into practice with the installation design where it will take place a fun and learning activity in which an optimal transmission of audio signal in real time, is basic.