Contribución a los Modelos y Metodologías para la Estimación de la Calidad Percibida por los Usuarios (QoE) a partir de Parámetros de Calidad de Red/Servicio (QoS) en Servicios Convergentes Multimedia (Triple-Play)

Esta Tesis constituye una contribución a los Modelos y Metodologías para la Estimación de la Calidad Percibida por los Usuarios, o Calidad de Experiencia (QoE), a partir de Parámetros de Calidad y/o Rendimiento de Red y/o Servicio (QoS) en Servicios Multimedia, y específicamente en servicios Triple-Play (3P): servicios de Televisión (TV), Telefonía y Datos ofrecidos por un mismo operador como un paquete único. En particular, se centra en los servicios Triple-Play convergentes (desplegados sobre una Red de Transporte común basada en IP, gestionada por un único operador como un Sistema Autónomo (SA)), y la relación entre la Calidad Percibida por los usuarios de dichos servicios y los parámetros de rendimiento de la Red de Transporte IP subyacente. Específicamente, contribuye a la estimación ‘en línea’ (es decir, durante la prestación del servicio, en tiempo real o casi-real) de dicha calidad. La calidad de experiencia de los usuarios es un factor determinante para el éxito o fracaso de estos servicios, y su adecuada gestión resulta por tanto un elemento crucial para el despliegue exitoso de los mismos. La calidad de experiencia resulta fácil de entender, pero compleja de implementar en sistemas reales, debido principalmente a la dificultad de su modelado, evaluación, y traducción en términos de parámetros de calidad de servicio. Mientras que la calidad de servicio puede medirse, monitorizarse y controlarse fácilmente, la calidad de experiencia es todavía muy difícil de gestionar. Una metodología completa de gestión de la calidad de experiencia debe incluir al menos: monitorización de la experiencia de los usuarios durante el consumo del servicio; adaptación de la provisión de contenidos a las condiciones variables del contexto; predicción del nivel de degradación potencial de la calidad de experiencia; y recuperación de la degradación debida a cambios en el sistema. Para conseguir un control completo de la experiencia de los usuarios finales, todas estas tareas deben ser realizadas durante la prestación del servicio y de forma coordinada. Por lo tanto, la capacidad de medir, estimar y monitorizar la calidad percibida en tiempo casi-real, y relacionarla con las condiciones de servicio de la red, resulta crítica para los proveedores de este tipo de servicios, especialmente en el caso de los más exigentes, tales como la difusión de Televisión sobre IP (IPTV). Para ello se ha seleccionado un modelo ya existente, de tipo matricial, para la estimación de la Calidad Global en servicios complejos a partir de los parámetros de funcionamiento interno de los agentes que proporcionan los servicios. Este modelo, definido en términos de servicios y sus componentes, percepciones de los usuarios, capacidades de los agentes, indicadores de rendimiento y funciones de evaluación, permite estimar la calidad global de un conjunto de servicios convergentes, tal como la perciben uno o más grupos de usuarios. Esto se consigue combinando los resultados de múltiples modelos parciales, tales que cada uno de ellos proporciona la valoración de la calidad percibida para uno de los servicios componentes, obtenida a partir de un conjunto de parámetros de rendimiento y/o Calidad de Servicio de la red de transporte IP convergente. El modelo se basa en la evaluación de las percepciones de los usuarios a partir de Factores de Valoración, calculados a partir de Indicadores de Rendimiento, que se derivan a su vez de Parámetros de Funcionamiento Interno correspondientes a las capacidades de los distintos agentes que intervienen en la prestación de los servicios. El trabajo original incluye la aplicación del modelo a un servicio 3P (datos+voz+vídeo). En este trabajo, sin embargo, el servicio de vídeo (Vídeo bajo Demanda, VoD) se considera poco importante y es finalmente ignorado. En el caso de los usuarios residenciales, el servicio de voz (Voz sobre IP, VoIP) se considera asimismo poco importante y es también ignorado, por lo que el servicio global se reduce finalmente a los servicios de datos (Acceso a Internet y juegos interactivos). Esta simplificación era razonable en su momento, pero la evolución del mercado de servicios convergentes ha hecho que en la actualidad las razones que la justificaban no sean ya aplicables. En esta Tesis, por lo tanto, hemos considerado un servicio ‘Triple-Play’ completo, incluyendo servicios de datos, voz y vídeo. Partiendo de dicho modelo, se ha procedido a actualizar los servicios considerados, eliminando los no relevantes e incluyendo otros no considerados, así como a incluir nuevos elementos (percepciones) para la estimación de la calidad de los servicios; actualizar, extender y/o mejorar los modelos de estimación de los servicios ya incluidos; incluir modelos de estimación para los nuevos servicios y elementos añadidos; desarrollar nuevos modelos de estimación para aquellos servicios o elementos para los que no existen modelos adecuados; y por último, extender, actualizar y/o mejorar los modelos para la estimación de la calidad global. Con todo ello se avanza apreciablemente en la modelización y estimación de la Calidad de Experiencia (QoE) en Servicios Multimedia a partir de Parámetros de Calidad de Servicio (QoS) y/o Rendimiento de la Red, y específicamente en la estimación ‘en línea’, en tiempo casi-real, de dicha calidad en servicios Triple-Play convergentes. La presente Tesis Doctoral se enmarca en la línea de investigación sobre Calidad de Servicio del grupo de Redes y Servicios de Telecomunicación e Internet, dentro del Departamento de Ingeniería de Sistemas Telemáticos (DIT) de la Universidad Politécnica de Madrid (UPM).

Hogar digital para servicios FTTH : dispositivos, tecnologías y QoE

FTTH (fibra hasta el hogar) es actualmente, junto con la banda ancha móvil, la principal evolución tecnológica en Redes y Servicios de Telecomunicaciones. Se prevé que en los próximos años, el despliegue de las redes FTTH se vea incrementado de manera significativa, gracias al interés creciente tanto de Operadores de Telecomunicaciones como de Organismos Gubernamentales. Este despliegue (que en el año 2013 ya se está haciendo realidad) llevará servicios de muy alta velocidad (superiores a 100 Mbps, incluso 1 Gbps) de manera masiva a los hogares, exigiendo nuevos requisitos y prestaciones en la red del hogar de los clientes. Se abre aquí, por tanto, un campo de exploración novedoso, incipiente y de requerimientos cada vez más exigentes. De hecho, sin duda, la red del hogar es uno de los elementos fundamentales para el éxito de las redes y servicios en FTTH. Debido a todo lo anterior, se convierte en una necesidad para el sector de las Telecomunicaciones el encontrar soluciones a los problemas anteriormente mencionados. Con objeto de contribuir al análisis de soluciones, este proyecto se enfoca en dos temas, ambos relacionados con la problemática ya mencionada en la red del hogar:  Prospección e identificación de soluciones tecnológicas avanzadas para la red del hogar. Descrito en capítulos 2, 3 y 4. En ellos se realiza un estudio detallado de la situación actual y tendencias futuras de los dispositivos utilizados en la red del hogar. Este estudio está enfocado en la distribución de señales de muy alto ancho de banda (en torno a los 100 Mbps por segundo) en el hogar.  Diseño y desarrollo de una aplicación que permita determinar la calidad de experiencia de cliente (QoE) de un servicio de televisión IP (IPTV). Descrito en capítulos 5 y 6. Se ha seleccionado este tipo de servicios debido a que son los que requieren mayores prestaciones tanto de la red de transporte como de la red del hogar y, al mismo tiempo, son los más complicados de medir debido a la fuerte componente de subjetividad del usuario final. Una red del hogar correctamente diseñada debe cumplir de manera equilibrada los requisitos demandados tanto por el operador como por el cliente o usuario final del servicio. Los requisitos del operador se centran principalmente en el control de la inversión (CAPEX) y del gasto de mantenimiento de la red del hogar (OPEX). El usuario, por otra parte, requiere sencillez en la instalación y mínimo número de elementos a instalar (cero intrusismo, ausencia de cableado). Para adaptarse a estos requerimientos, existe una serie de dispositivos y tecnologías que buscan encontrar el punto de equilibrio entre necesidades de operadores y de clientes finales. Las soluciones actualmente utilizadas pueden dividirse en soluciones cableadas e inalámbricas. También existen soluciones híbridas. Todas ellas se describen en detalle en los capítulos 3 y 4. Al final del estudio se concluye que, con la tecnología actual, es preferible el uso de soluciones cableadas tipo Ethernet o POF. Es recomendable no usar soluciones PLC de manera extensiva (G.hn puede ser una alternativa a futuro) y, en caso de no requerir cableado, utilizar WiFi 11n con frecuencias de 5 GHz, así como sus evoluciones, WiFi 11ac y 11ad. La aplicación desarrollada, explicada en los capítulos 5 y 6, permite capturar y medir en tiempo real la señal de televisión IP que se entrega al usuario. Esta aplicación estimará, a partir de dichas medidas, la calidad de la señal entregada. Para ello tendrá en cuenta el tipo de descodificador utilizado por el usuario así como la red empleada (red FTTH de Telefónica). Esta aplicación podría ser utilizada en los centros de atención técnica de las operadoras de telecomunicaciones, determinando así la relación existente entre reclamaciones recibidas y calidad de servicio medida por la aplicación. Asimismo, aparte de realizar medidas en tiempo real, la aplicación vuelca las medidas realizadas y alarmas detectadas en ficheros log, facilitando el análisis técnico de los problemas e incidencias registrados por dichos centros técnicos. Igualmente, esta aplicación puede ser utilizada para el proceso de certificación de equipamiento de red del hogar o incluso como herramienta para profundizar en parámetros teóricos y criterios de medida de calidad de servicio en IPTV. ABSTRACT. FTTH (Fiber To The Home) and mobile broadband are currently the main technological trend in the Network and Telecommunications Services area. In the next few years, the deployment of FTTH networks will experiment a significant increase, due to the growing interest of both telecommunications operators and government agencies. This deployment (that is becoming a reality) which will massively carry high-speed services to households (speeds of more than 100 Mbps, even 1 Gbps) will demand new requirements and features in the customer’s home network. It can be found here a new and emerging field of exploration, with increasingly demanding requirements. In fact, the home network is one of the key elements for the success of FTTH network and services. Due to the aforementioned, it is a necessity for the telecommunications industry to find solutions to these problems. In order to contribute into the solution analysis, this project focuses on two subjects, both related to the problems of home networking:  Exploratory research and identification of advanced technology solutions for the home network. Described in chapters 2, 3 and 4. These chapters show a detailed study of the current situation and future trends of the devices used at the home network. It focuses on the distribution of very high bandwidth signals (around 100 Mbps per second) in the customer’s home.  Design and development of an application to evaluate customer’s quality of experience (QoE) of an IP television service (IPTV). Described in chapters 5 and 6. IPTV service has been selected because it requires higher performance both from the transport and the home networks and, at the same time, it is the most difficult to measure due to the strong component of subjectivity of the end user. A correct design of the home network must meet the requirements demanded both by the network operator and the customer (end user of the service). Network operator requirements mainly focus on reduced capital expenditures (CAPEX) and operational expenditures (OPEX). Additionally, the final user requires a simple and easy installation and also the minimum number of items to install (zero intrusion, lack of wiring, etc.). Different devices and technologies seek to find a balance between these two requirements (network operators and final users requirements). Solutions available in the market can be divided into wired and wireless. There are also hybrid solutions. All of them are described thoroughly in the first part of the project. The conclusion at the end of the study recommends the use of wired technologies like Ethernet or POF. Additionally, the use of PLC is not advised (G.hn can be an alternative in the future) and, in the case of not requiring wiring, the use of 11ac and 11ad WiFi is advised. The application developed in the second part of the project allows capturing and measuring the real-time IPTV signal delivered to the user. This application will estimate the delivered signal quality from the captured measurements. For this purpose, it will also consider the type of decoder installed on the customer’s premises and the transport network (Telefonica’s FTTH network). This application could be used at the operator’s technical service centres, determining in this way the relationship between user’s complaints and the quality of service measured. Additionally, this application can write all the measurements and alarms in log files, making easier the technical analysis of problems and impairments recorded by the technical centres. Finally, the application can also be used for the certification process of home networking equipment (i.e. decoders) or even as a tool to deepen theoretical parameters and measuring criteria of quality of service in IPTV.

Subjective QoE Analysis of HTTP Adaptive Streaming Applications

Actualmente la optimization de la calidad de experiencia (Quality of Experience- QoE) de HTTP Adaptive Streaming (HAS) de video recibe una atención creciente. Este incremento de interés proviene fundamentalmente de las carencias de las soluciones actuales HAS, que, al no ser QoE-driven, no incluyen la percepción de la calidad de los usuarios finales como una parte integral de la lógica de adaptación. Por lo tanto, la obtención de información de referencia fiable en QoE en HAS presenta retos importantes, ya que las metodologías de evaluación subjetiva de la calidad de vídeo propuestas en las normas actuales no son adecuadas para tratar con la variación temporal de la calidad que es consustancial de HAS. Esta tesis investiga la influencia de la adaptación dinámica en la calidad de la transmisión de vídeo considerando métodos de evaluación subjetiva. Tras un estudio exhaustivo del estado del arte en la evaluación subjetiva de QoE en HAS, se han resaltado los retos asociados y las líneas de investigación abiertas. Como resultado, se han seleccionado dos líneas principales de investigación: el análisis del impacto en la QoE de los parámetros de las técnicas de adaptación y la investigación de las metodologías de prueba subjetiva adecuada para evaluación de QoE en HAS. Se han llevado a cabo un conjunto de experimentos de laboratorio para investigar las cuestiones planteadas mediante la utilización de diferentes metodologáas para pruebas subjetivas. El análisis estadístico muestra que no son robustas todas las suposiciones y reivindicaciones de las referencias analizadas, en particular en lo que respecta al impacto en la QoE de la frecuencia de las variaciones de calidad, de las adaptaciones suaves o abruptas y de las oscilaciones de calidad. Por otra parte, nuestros resultados confirman la influencia de otros parámetros, como la longitud de los segmentos de vídeo y la amplitud de las oscilaciones de calidad. Los resultados también muestran que tomar en consideración las características objetivas de los contenidos puede ser beneficioso para la mejora de la QoE en HAS. Además, todos los resultados han sido validados mediante extensos análisis experimentales que han incluido estudio tanto en otros laboratorios como en crowdsourcing Por último, sobre los aspectos metodológicos de las pruebas subjetivas de QoE, se ha realizado la comparación entre los resultados experimentales obtenidos a partir de un método estandarizado basado en estímulos cortos (ACR) y un método semi continuo (desarrollado para la evaluación de secuencias prolongadas de vídeo). A pesar de algunas diferencias, el resultado de los análisis estadísticos no muestra ningún efecto significativo de la metodología de prueba. Asimismo, aunque se percibe la influencia de la presencia de audio en la evaluación de degradaciones del vídeo, no se han encontrado efectos estadísticamente significativos de dicha presencia. A partir de la ausencia de influencia del método de prueba y de la presencia de audio, se ha realizado un análisis adicional sobre el impacto de realizar comparaciones estadísticas múltiples en niveles estadísticos de importancia que aumentan la probabilidad de los errores de tipo-I (falsos positivos). Nuestros resultados muestran que, para obtener un efectos sólido en el análisis estadístico de los resultados subjetivos, es necesario aumentar el número de sujetos de las pruebas claramente por encima de los tamaños de muestras propuestos por las normas y recomendaciones actuales. ABSTRACT Optimizing the Quality of Experience (QoE) of HTTP adaptive video streaming (HAS) is receiving increasing attention nowadays. The growth of interest is mainly caused by the fact that current HAS solutions are not QoE-driven, i.e. end-user quality perception is not integral part of the adaptation logic. However, obtaining the necessary reliable ground truths on HAS QoE faces substantial challenges, since the subjective video quality assessment methodologies as proposed by current standards are not well-suited for dealing with the time-varying quality properties that are characteristic for HAS. This thesis investigates the influence of dynamic quality adaptation on the QoE of streaming video by means of subjective evaluation approaches. Based on a comprehensive survey of related work on subjective HAS QoE assessment, the related challenges and open research questions are highlighted and discussed. As a result, two main research directions are selected for further investigation: analysis of the QoE impact of different technical adaptation parameters, and investigation of testing methodologies suitable for HAS QoE evaluation. In order to investigate related research issues and questions, a set of laboratory experiments have been conducted using different subjective testing methodologies. Our statistical analysis demonstrates that not all assumptions and claims reported in the literature are robust, particularly as regards the QoE impact of switching frequency, smooth vs. abrupt switching, and quality oscillation. On the other hand, our results confirm the influence of some other parameters such as chunk length and switching amplitude on perceived quality. We also show that taking the objective characteristics of the content into account can be beneficial to improve the adaptation viewing experience. In addition, all aforementioned findings are validated by means of an extensive cross-experimental analysis that involves external laboratory and crowdsourcing studies. Finally, to address the methodological aspects of subjective QoE testing, a comparison between the experimental results obtained from a (short stimuli-based) ACR standardized method and a semi-continuous method (developed for assessment of long video sequences) has been performed. In spite of observation of some differences, the result of statistical analysis does not show any significant effect of testing methodology. Similarly, although the influence of audio presence on evaluation of video-related degradations is perceived, no statistically significant effect of audio presence could be found. Motivating by this finding (no effect of testing method and audio presence), a subsequent analysis has been performed investigating the impact of performing multiple statistical comparisons on statistical levels of significance which increase the likelihood of Type-I errors (false positives). Our results show that in order to obtain a strong effect from the statistical analysis of the subjective results, it is necessary to increase the number of test subjects well beyond the sample sizes proposed by current quality assessment standards and recommendations.

Subjective Evaluation of Transmission Errors in IPTV and 3DTV

The increase of multimedia services delivered over packet-based networks has entailed greater quality expectations of the end-users. This has led to an intensive research on techniques for evaluating the quality of experience perceived by the viewers of audiovisual content, considering the different degradations that it could suffer along the broadcasting system. In this paper, a comprehensive study of the impact of transmission errors affecting video and audio in IPTV is presented. With this aim, subjective assessment tests were carried out proposing a novel methodology trying to keep as close as possible home environment viewing conditions. Also 3DTV content in side-by-side format has been used in the experiments to compare the impact of the degradations. The results provide a better understanding of the effects of transmission errors, and show that the QoE related to the first approach of 3DTV is acceptable, but the visual discomfort that it causes should be reduced.

Subjective assessment of the impact of transmission errors in 3DTV compared to HDTV

Recently, broadcasted 3D video content has reached households with the first generation of 3DTV. However, few studies have been done to analyze the Quality of Experience (QoE) perceived by the end-users in this scenario. This paper studies the impact of trans- mission errors in 3DTV, considering that the video is delivered in side-by-side format over a conventional packet-based network. For this purpose, a novel evaluation methodology based on standard sin- gle stimulus methods and with the aim of keeping as close as pos- sible the home environment viewing conditions has been proposed. The effects of packet losses in monoscopic and stereoscopic videos are compared from the results of subjective assessment tests. Other aspects were also measured concerning 3D content as naturalness, sense of presence and visual fatigue. The results show that although the final perceived QoE is acceptable, some errors cause important binocular rivalry, and therefore, substantial visual discomfort.

Integración MPlayer-OpenSVC en el procesador multinúcleo OMAP3530

La constante evolución de dispositivos portátiles multimedia que se ha producido en la última década ha provocado que hoy en día se disponga de una amplia variedad de dispositivos con capacidad para reproducir contenidos multimedia. En consecuencia, la reproducción de esos contenidos en dichos terminales lleva asociada disponer de procesadores que soporten una alta carga computacional, ya que las tareas de descodificación y presentación de video así lo requieren. Sin embargo, un procesador potente trabajando a elevadas frecuencias provoca un elevado consumo de la batería, y dado que se pretende trabajar con dispositivos portátiles, la vida útil de la batería se convierte en un asunto de especial importancia. La problemática que se plantea se ha convertido en una de las principales líneas de investigación del Grupo de Investigación GDEM (Grupo de Diseño Electrónico y Microelectrónico). En esta línea de trabajo, se persigue cómo optimizar el consumo de energía en terminales portables desde el punto de vista de la reducción de la calidad de experiencia del usuario a cambio de una mayor autonomía del terminal. Por tanto, para lograr esa reducción de la calidad de experiencia mencionada, se requiere un estándar de codificación de vídeo que así lo permita. El Grupo de Investigación GDEM cuenta con experiencia en el estándar de vídeo escalable H.264/SVC, el cual permite degradar la calidad de experiencia en función de las necesidades/características del dispositivo. Más concretamente, un video escalable contiene embebidas distintas versiones del video original que pueden ser descodificadas en diferentes resoluciones, tasas de cuadro y calidades (escalabilidades espacial, temporal y de calidad respectivamente), permitiendo una adaptación rápida y muy flexible. Seleccionado el estándar H.264/SVC para las tareas de vídeo, se propone trabajar con Mplayer, un reproductor de vídeos de código abierto (open source), al cual se le ha integrado un descodificador para vídeo escalable denominado OpenSVC. Por último, como dispositivo portable se trabajará con la plataforma de desarrollo BeagleBoard, un sistema embebido basado en el procesador OMAP3530 que permite modificar la frecuencia de reloj y la tensión de alimentación dinámicamente reduciendo de este modo el consumo del terminal. Este procesador a su vez contiene integrados un procesador de propósito general (ARM Cortex-A8) y un procesador digital de señal (DSP TMS320C64+TM). Debido a la alta carga computacional de la descodificación de vídeos escalables y la escasa optimización del ARM para procesamiento de datos, se propone llevar a cabo la ejecución de Mplayer en el ARM y encargar la tarea de descodificación al DSP, con la finalidad de reducir el consumo y por tanto aumentar la vida útil del sistema embebido sobre el cual se ejecutará la aplicación desarrollada. Una vez realizada esa integración, se llevará a cabo una caracterización del descodificador alojado en el DSP a través de una serie de medidas de rendimiento y se compararán los resultados con los obtenidos en el proceso de descodificación realizado únicamente en el ARM. ABSTRACT During the last years, the multimedia portable terminals have gradually evolved causing that nowadays a several range of devices with the ability of playing multimedia contents are easily available for everyone. Consequently, those multimedia terminals must have high-performance processors to play those contents because the coding and decoding tasks demand high computational load. However, a powerful processor performing to high frequencies implies higher battery consumption, and this issue has become one of the most important problems in the development cycle of a portable terminal. The power/energy consumption optimization on multimedia terminals has become in one the most significant work lines in the Electronic and Microelectronic Research Group of the Universidad Politécnica de Madrid. In particular, the group is researching how to reduce the user‟s Quality of Experience (QoE) quality in exchange for increased battery life. In order to reduce the Quality of Experience (QoE), a standard video coding that allows this operation is required. The H.264/SVC allows reducing the QoE according to the needs/characteristics of the terminal. Specifically, a scalable video contains different versions of original video embedded in an only one video stream, and each one of them can be decoded in different resolutions, frame rates and qualities (spatial, temporal and quality scalabilities respectively). Once the standard video coding is selected, a multimedia player with support for scalable video is needed. Mplayer has been proposed as a multimedia player, whose characteristics (open-source, enormous flexibility and scalable video decoder called OpenSVC) are the most suitable for the aims of this Master Thesis. Lastly, the embedded system BeagleBoard, based on the multi-core processor OMAP3530, will be the development platform used in this project. The multimedia terminal architecture is based on a commercial chip having a General Purpose Processor (GPP – ARM Cortex A8) and a Digital Signal Processor (DSP, TMS320C64+™). Moreover, the processor OMAP3530 has the ability to modify the operating frequency and the supply voltage in a dynamic way in order to reduce the power consumption of the embedded system. So, the main goal of this Master Thesis is the integration of the multimedia player, MPlayer, executed at the GPP, and scalable video decoder, OpenSVC, executed at the DSP in order to distribute the computational load associated with the scalable video decoding task and to reduce the power consumption of the terminal. Once the integration is accomplished, the performance of the OpenSVC decoder executed at the DSP will be measured using different combinations of scalability values. The obtained results will be compared with the scalable video decoding performed at the GPP in order to show the low optimization of this kind of architecture for decoding tasks in contrast to DSP architecture.

High definition video quality assessment metric built upon full reference ratios

Métrica de calidad de video de alta definición construida a partir de ratios de referencia completa. La medida de calidad de video, en inglés Visual Quality Assessment (VQA), es uno de los mayores retos por solucionar en el entorno multimedia. La calidad de vídeo tiene un impacto altísimo en la percepción del usuario final (consumidor) de los servicios sustentados en la provisión de contenidos multimedia y, por tanto, factor clave en la valoración del nuevo paradigma denominado Calidad de la Experiencia, en inglés Quality of Experience (QoE). Los modelos de medida de calidad de vídeo se pueden agrupar en varias ramas según la base técnica que sustenta el sistema de medida, destacando en importancia los que emplean modelos psicovisuales orientados a reproducir las características del sistema visual humano, en inglés Human Visual System, del que toman sus siglas HVS, y los que, por el contrario, optan por una aproximación ingenieril en la que el cálculo de calidad está basado en la extracción de parámetros intrínsecos de la imagen y su comparación. A pesar de los avances recogidos en este campo en los últimos años, la investigación en métricas de calidad de vídeo, tanto en presencia de referencia (los modelos denominados de referencia completa), como en presencia de parte de ella (modelos de referencia reducida) e incluso los que trabajan en ausencia de la misma (denominados sin referencia), tiene un amplio camino de mejora y objetivos por alcanzar. Dentro de ellos, la medida de señales de alta definición, especialmente las utilizadas en las primeras etapas de la cadena de valor que son de muy alta calidad, son de especial interés por su influencia en la calidad final del servicio y no existen modelos fiables de medida en la actualidad. Esta tesis doctoral presenta un modelo de medida de calidad de referencia completa que hemos llamado PARMENIA (PArallel Ratios MEtric from iNtrInsic features Analysis), basado en la ponderación de cuatro ratios de calidad calculados a partir de características intrínsecas de la imagen. Son: El Ratio de Fidelidad, calculado mediante el gradiente morfológico o gradiente de Beucher. El Ratio de Similitud Visual, calculado mediante los puntos visualmente significativos de la imagen a través de filtrados locales de contraste. El Ratio de Nitidez, que procede de la extracción del estadístico de textura de Haralick contraste. El Ratio de Complejidad, obtenido de la definición de homogeneidad del conjunto de estadísticos de textura de Haralick PARMENIA presenta como novedad la utilización de la morfología matemática y estadísticos de Haralick como base de una métrica de medida de calidad, pues esas técnicas han estado tradicionalmente más ligadas a la teledetección y la segmentación de objetos. Además, la aproximación de la métrica como un conjunto ponderado de ratios es igualmente novedosa debido a que se alimenta de modelos de similitud estructural y otros más clásicos, basados en la perceptibilidad del error generado por la degradación de la señal asociada a la compresión. PARMENIA presenta resultados con una altísima correlación con las valoraciones MOS procedentes de las pruebas subjetivas a usuarios que se han realizado para la validación de la misma. El corpus de trabajo seleccionado procede de conjuntos de secuencias validados internacionalmente, de modo que los resultados aportados sean de la máxima calidad y el máximo rigor posible. La metodología de trabajo seguida ha consistido en la generación de un conjunto de secuencias de prueba de distintas calidades a través de la codificación con distintos escalones de cuantificación, la obtención de las valoraciones subjetivas de las mismas a través de pruebas subjetivas de calidad (basadas en la recomendación de la Unión Internacional de Telecomunicaciones BT.500), y la validación mediante el cálculo de la correlación de PARMENIA con estos valores subjetivos, cuantificada a través del coeficiente de correlación de Pearson. Una vez realizada la validación de los ratios y optimizada su influencia en la medida final y su alta correlación con la percepción, se ha realizado una segunda revisión sobre secuencias del hdtv test dataset 1 del Grupo de Expertos de Calidad de Vídeo (VQEG, Video Quality Expert Group) mostrando los resultados obtenidos sus claras ventajas. Abstract Visual Quality Assessment has been so far one of the most intriguing challenges on the media environment. Progressive evolution towards higher resolutions while increasing the quality needed (e.g. high definition and better image quality) aims to redefine models for quality measuring. Given the growing interest in multimedia services delivery, perceptual quality measurement has become a very active area of research. First, in this work, a classification of objective video quality metrics based on their underlying methodologies and approaches for measuring video quality has been introduced to sum up the state of the art. Then, this doctoral thesis describes an enhanced solution for full reference objective quality measurement based on mathematical morphology, texture features and visual similarity information that provides a normalized metric that we have called PARMENIA (PArallel Ratios MEtric from iNtrInsic features Analysis), with a high correlated MOS score. The PARMENIA metric is based on the pooling of different quality ratios that are obtained from three different approaches: Beucher’s gradient, local contrast filtering, and contrast and homogeneity Haralick’s texture features. The metric performance is excellent, and improves the current state of the art by providing a wide dynamic range that make easier to discriminate between very close quality coded sequences, especially for very high bit rates whose quality, currently, is transparent for quality metrics. PARMENIA introduces a degree of novelty against other working metrics: on the one hand, exploits the structural information variation to build the metric’s kernel, but complements the measure with texture information and a ratio of visual meaningful points that is closer to typical error sensitivity based approaches. We would like to point out that PARMENIA approach is the only metric built upon full reference ratios, and using mathematical morphology and texture features (typically used in segmentation) for quality assessment. On the other hand, it gets results with a wide dynamic range that allows measuring the quality of high definition sequences from bit rates of hundreds of Megabits (Mbps) down to typical distribution rates (5-6 Mbps), even streaming rates (1- 2 Mbps). Thus, a direct correlation between PARMENIA and MOS scores are easily constructed. PARMENIA may further enhance the number of available choices in objective quality measurement, especially for very high quality HD materials. All this results come from validation that has been achieved through internationally validated datasets on which subjective tests based on ITU-T BT.500 methodology have been carried out. Pearson correlation coefficient has been calculated to verify the accuracy of PARMENIA and its reliability.

Memoria general del proyecto : ordenación y mejora del arboreto de la Escuela

Los fines del arboreto de la Escuela son,a mi entender, el tener una muestra práctica de la flora española y exótica que pueda resistir el clima de Madrid y al mismo tiempo sirva de ornato de la zona en qoe está enclavado

Analysis, monitoring, and management of quality of experience in video delivery services over IP

Esta tesis estudia la monitorización y gestión de la Calidad de Experiencia (QoE) en los servicios de distribución de vídeo sobre IP. Aborda el problema de cómo prevenir, detectar, medir y reaccionar a las degradaciones de la QoE desde la perspectiva de un proveedor de servicios: la solución debe ser escalable para una red IP extensa que entregue flujos individuales a miles de usuarios simultáneamente. La solución de monitorización propuesta se ha denominado QuEM(Qualitative Experience Monitoring, o Monitorización Cualitativa de la Experiencia). Se basa en la detección de las degradaciones de la calidad de servicio de red (pérdidas de paquetes, disminuciones abruptas del ancho de banda...) e inferir de cada una una descripción cualitativa de su efecto en la Calidad de Experiencia percibida (silencios, defectos en el vídeo...). Este análisis se apoya en la información de transporte y de la capa de abstracción de red de los flujos codificados, y permite caracterizar los defectos más relevantes que se observan en este tipo de servicios: congelaciones, efecto de “cuadros”, silencios, pérdida de calidad del vídeo, retardos e interrupciones en el servicio. Los resultados se han validado mediante pruebas de calidad subjetiva. La metodología usada en esas pruebas se ha desarrollado a su vez para imitar lo más posible las condiciones de visualización de un usuario de este tipo de servicios: los defectos que se evalúan se introducen de forma aleatoria en medio de una secuencia de vídeo continua. Se han propuesto también algunas aplicaciones basadas en la solución de monitorización: un sistema de protección desigual frente a errores que ofrece más protección a las partes del vídeo más sensibles a pérdidas, una solución para minimizar el impacto de la interrupción de la descarga de segmentos de Streaming Adaptativo sobre HTTP, y un sistema de cifrado selectivo que encripta únicamente las partes del vídeo más sensibles. También se ha presentado una solución de cambio rápido de canal, así como el análisis de la aplicabilidad de los resultados anteriores a un escenario de vídeo en 3D. ABSTRACT This thesis proposes a comprehensive approach to the monitoring and management of Quality of Experience (QoE) in multimedia delivery services over IP. It addresses the problem of preventing, detecting, measuring, and reacting to QoE degradations, under the constraints of a service provider: the solution must scale for a wide IP network delivering individual media streams to thousands of users. The solution proposed for the monitoring is called QuEM (Qualitative Experience Monitoring). It is based on the detection of degradations in the network Quality of Service (packet losses, bandwidth drops...) and the mapping of each degradation event to a qualitative description of its effect in the perceived Quality of Experience (audio mutes, video artifacts...). This mapping is based on the analysis of the transport and Network Abstraction Layer information of the coded stream, and allows a good characterization of the most relevant defects that exist in this kind of services: screen freezing, macroblocking, audio mutes, video quality drops, delay issues, and service outages. The results have been validated by subjective quality assessment tests. The methodology used for those test has also been designed to mimic as much as possible the conditions of a real user of those services: the impairments to evaluate are introduced randomly in the middle of a continuous video stream. Based on the monitoring solution, several applications have been proposed as well: an unequal error protection system which provides higher protection to the parts of the stream which are more critical for the QoE, a solution which applies the same principles to minimize the impact of incomplete segment downloads in HTTP Adaptive Streaming, and a selective scrambling algorithm which ciphers only the most sensitive parts of the media stream. A fast channel change application is also presented, as well as a discussion about how to apply the previous results and concepts in a 3D video scenario.

Subjective quality assessment of an adaptive video streaming model

With the recent increased popularity and high usage of HTTP Adaptive Streaming (HAS) techniques, various studies have been carried out in this area which generally focused on the technical enhancement of HAS technology and applications. However, a lack of common HAS standard led to multiple proprietary approaches which have been developed by major Internet companies. In the emerging MPEG-DASH standard the packagings of the video content and HTTP syntax have been standardized; but all the details of the adaptation behavior are left to the client implementation. Nevertheless, to design an adaptation algorithm which optimizes the viewing experience of the enduser, the multimedia service providers need to know about the Quality of Experience (QoE) of different adaptation schemes. Taking this into account, the objective of this experiment was to study the QoE of a HAS-based video broadcast model. The experiment has been carried out through a subjective study of the end user response to various possible clients’ behavior for changing the video quality taking different QoE-influence factors into account. The experimental conclusions have made a good insight into the QoE of different adaptation schemes which can be exploited by HAS clients for designing the adaptation algorithms.

Quality-optimization algorithm based on stochastic dynamic programming for MPEG DASH video streaming

In contrast to traditional push-based protocols, adaptive streaming techniques like Dynamic Adaptive Streaming over HTTP (DASH) fix attention on the client, who dynamically requests different-quality portions of the content to cope with a limited and variable bandwidth but aiming at maximizing the quality perceived by the user. Since DASH adaptation logic at the client is not covered by the standard, we propose a solution based on Stochastic Dynamic Programming (SDP) techniques to find the optimal request policies that guarantee the users' Quality of Experience (QoE). Our algorithm is evaluated in a simulated streaming session and is compared with other adaptation approaches. The results show that our proposal outperforms them in terms of QoE, requesting higher qualities on average.

Contribución a los Modelos de Estimación de la Calidad Percibida en Servicios de Vídeo sobre Internet mediante Parámetros Objetivos

En los últimos años el consumo de servicios de vídeo se ha incrementado de forma notable y se espera que dicha tendencia continúe en los próximos años. Los servicios de streaming de vídeo Over-The-Top (OTT), en los que se centra esta tesis, constituyen uno de los principales motores de dicho crecimiento. A diferencia de los servicios Internet Protocol Television (IPTV), que utilizan una red controlada en la que se pueden implementar mecanismos de Quality of Service (QoS), los servicios de streaming de vídeo OTT se prestan sobre Internet, por lo que llevan asociados interesantes desafíos desde un punto de vista técnico. Uno de los mayores desafíos técnicos a los que se enfrentan los servicios de streaming de vídeo OTT es mantener un nivel de Quality of Experience (QoE) que satisfaga a sus usuarios, por lo que es necesario contar con técnicas y herramientas que permitan monitorizar la calidad percibida por los usuarios de estos servicios. El streaming de vídeo OTT supone un cambio de filosofía en comparación con otras técnicas de streaming más tradicionales como RTP/RTSP. Los servicios de vídeo OTT suelen seguir el paradigma Dynamic Adaptive Streaming over HTTP (DASH), que se basa en sustituir los servidores de streaming tradicionales por servidores web que ponen a disposición de los clientes los contenidos de vídeo codificados en varias versiones con distinto nivel de calidad. Cada una de estas versiones o representaciones está dividida en pequeños fragmentos o segmentos que los clientes pueden solicitar mediante el protocolo HTTP. Los clientes pueden solicitar diferentes niveles de calidad en función de los parámetros que consideren más adecuados (ancho de banda de la red, resolución de pantalla, tipo de códec, etc.), lo que les permite adaptarse a condiciones cambiantes del entorno. Como se puede ver, el paradigma DASH ha trasladado el control de la sesión del servidor al cliente y ha sustituido los servidores de streaming por servidores web que simplemente sirven los segmentos de vídeo que los clientes solicitan. Además se esta simplificación de los servidores de streaming, existen otras ventajas asociadas a DASH, como son la utilización de Content Delivery Network (CDN), la compatibilidad con NATs y firewalls, etc. En esta tesis doctoral se lleva a cabo la propuesta de un conjunto de modelos cuyo objetivo es estimar la calidad percibida por los usuarios de los servicios de vídeo basados en DASH. Más concretamente, partiendo de la definición del servicio como un conjunto de componentes de servicio, se desarrollan modelos parciales que estiman la calidad percibida asociada a cada uno de estos componentes: calidad de vídeo, calidad de audio, degradaciones asociadas a la transmisión, etc. Cada una de estas estimaciones de calidad percibida se combinan en un modelo global que estima la calidad percibida total del servicio.

3D video quality of experience - influence of scale and crosstalk

This paper gives an overview of three recent studies by the authors on the topic of 3D video Quality of Experience (QoE). Two of studies [1,2] investigated different psychological dimension that may be needed for describing 3D video QoE and the third the visibility and annoyance of crosstalk[3]. The results shows that the video quality scale could be sufficient for evaluating S3D video experience for coding and spatial resolution reduction distortions. It was also confirmed that with a more complex mixture of degradations more than one scale should be used to capture the QoE in these cases. The study found a linear relationship between the perceived crosstalk and the amount of crosstalk.

Quality of experience and HTTP adaptive streaming: a review of subjective studies

HTTP adaptive streaming technology has become widely spread in multimedia services because of its ability to provide adaptation to characteristics of various viewing devices and dynamic network conditions. There are various studies targeting the optimization of adaptation strategy. However, in order to provide an optimal viewing experience to the end-user, it is crucial to get knowledge about the Quality of Experience (QoE) of different adaptation schemes. This paper overviews the state of the art concerning subjective evaluation of adaptive streaming QoE and highlights the challenges and open research questions related to QoE assessment.

Crowdsourcing based subjective quality assessment of adaptive video streaming

In order to cater for user's quality of experience (QoE) requirements, HTTP adaptive streaming (HAS) based solutions of video services have become popular recently. User QoE feedback can be instrumental in improving the capabilities of such services. Perceptual quality experiments that involve humans are considered to be the most valid method of the assessment of QoE. Besides lab-based subjective experiments, crowdsourcing based subjective assessment of video quality is gaining popularity as an alternative method. This paper presents insights into a study that investigates perceptual preferences of various adaptive video streaming scenarios through crowdsourcing based subjective quality assessment.