Acceptability-based QoE models for mobile video

Quality of experience (QoE) measures the overall perceived quality of mobile video delivery from subjective user experience and objective system performance. Current QoE computing models have two main limitations: 1) insufficient consideration of the factors influencing QoE, and; 2) limited studies on QoE models for acceptability prediction. In this paper, a set of novel acceptability-based QoE models, denoted as A-QoE, is proposed based on the results of comprehensive user studies on subjective quality acceptance assessments. The models are able to predict users’ acceptability and pleasantness in various mobile video usage scenarios. Statistical regression analysis has been used to build the models with a group of influencing factors as independent predictors, including encoding parameters and bitrate, video content characteristics, and mobile device display resolution. The performance of the proposed A-QoE models has been compared with three well-known objective Video Quality Assessment metrics: PSNR, SSIM and VQM. The proposed A-QoE models have high prediction accuracy and usage flexibility. Future user-centred mobile video delivery systems can benefit from applying the proposed QoE-based management to optimize video coding and quality delivery decisions.

Acceptability-based QoE management for user-centric mobile video delivery : a field study evaluation

Effective Quality of Experience (QoE) management for mobile video delivery – to optimize overall user experience while adapting to heterogeneous use contexts – is still a big challenge to date. This paper proposes a mobile video delivery system to emphasize the use of acceptability as the main indicator of QoE to manage the end-to-end factors in delivering mobile video services. The first contribution is a novel framework for user-centric mobile video system that is based on acceptability-based QoE (A-QoE) prediction models, which were derived from comprehensive subjective studies. The second contribution is results from a field study that evaluates the user experience of the proposed system during realistic usage circumstances, addressing the impacts of perceived video quality, loading speed, interest in content, viewing locations, network bandwidth, display devices, and different video coding approaches, including region-of-interest (ROI) enhancement and center zooming

QoE modelling for VP9 and H.265 videos on mobile devices

Current mobile devices and streaming video services support high definition (HD) video, increasing expectation for more contents. HD video streaming generally requires large bandwidth, exerting pressures on existing networks. New generation of video compression codecs, such as VP9 and H.265/HEVC, are expected to be more effective for reducing bandwidth. Existing studies to measure the impact of its compression on users’ perceived quality have not been focused on mobile devices. Here we propose new Quality of Experience (QoE) models that consider both subjective and objective assessments of mobile video quality. We introduce novel predictors, such as the correlations between video resolution and size of coding unit, and achieve a high goodness-of-fit to the collected subjective assessment data (adjusted R-square >83%). The performance analysis shows that H.265 can potentially achieve 44% to 59% bit rate saving compared to H.264/AVC, slightly better than VP9 at 33% to 53%, depending on video content and resolution.

Dealing with Energy-QoE Trade-Offs in Mobile Video

Scalable video coding allows an efficient provision of video services at different quality levels with different energy demands. According to the specific type of service and network scenario, end users and/or operators may decide to choose among different energy versus quality combinations. In order to deal with the resulting trade-off, in this paper we analyze the number of video layers that are worth to be received taking into account the energy constraints. A single-objective optimization is proposed based on dynamically selecting the number of layers, which is able to minimize the energy consumption with the constraint of a minimal quality threshold to be reached. However, this approach cannot reflect the fact that the same increment of energy consumption may result in different increments of visual quality. Thus, a multiobjective optimization is proposed and a utility function is defined in order to weight the energy consumption and the visual quality criteria. Finally, since the optimization solving mechanism is computationally expensive to be implemented in mobile devices, a heuristic algorithm is proposed. This way, significant energy consumption reduction will be achieved while keeping reasonable quality levels.

Estudio de la Calidad Experimentada (QoE) en el Servicio de Navegación Web: Contribución a la Validación de las Recomendaciones ITU-T P.1501 e ITU-T G.1031

Muchos de los servicios que hasta hace relativamente poco tiempo eran ofertados únicamente por los operadores de telecomunicaciones, han pasado en la actualidad a ser prestados por terceros gracias al modelo de servicios en la nube, impulsando el auge de este modelo frente al tradicional. Esto trae consigo un incremento en la complejidad en la implantación por parte del proveedor de políticas para la gestión de la QoS demandada por el cliente.En este nuevo escenario, el concepto de calidad de servicio ha venido evolucionando desde su definición clásica, entendida como el análisis objetivo de los indicadores intrínsecos de calidad que definen el rendimiento de un servicio, hacia una visión subjetiva centrada en el punto de vista del cliente respecto a dicho servicio. En este contexto, organismos de estandarización como la ITU, a través de sus grupos de trabajo, están fomentando el interesante planteamiento de abordar los servicios de telecomunicaciones ampliamente asentados y más que estudiados desde la vertiente clásica de la QoS, desde este nuevo prisma enfocado al cliente, en el que poder establecer una metodología de estudio de la QoE en dichos servicios. En particular, el trabajo presentado en este documento se asienta en la validación del draft de la recientemente aprobada recomendación ITU-T P.1501 (Metodología de test subjetiva para el servicio de navegación web), así como en la contribución a la recomendación G.1031 (Factores de QoE en el servicio de navegación web).

A Novel Scheduling Index Rule Proposal for QoE Maximization in Wireless Networks

This paper deals with the resource allocation problem aimed at maximizing users' perception of quality in wireless channels with time-varying capacity. First of all, we model the subjective quality-aware scheduling problem in the framework of Markovian decision processes. Then, given that the obtaining of the optimal solution of this model is unachievable, we propose a simple scheduling index rule with closed-form expression by using a methodology based on Whittle approach. Finally, we analyze the performance of the achieved scheduling proposal in several relevant scenarios, concluding that it outperforms the most popular existing resource allocation strategies.

Arcabouço para aprovisionamento de QoS e QoE em redes sem fio heterogêneas WiMAX/Wi-Fi com garantia de equidade entre vazões

Recentemente a sociedade está vivendo em meio a um aglomerado de dispositivos móveis com múltiplas interfaces sem fio que permitem que clientes móveis domésticos e corporativos solucionem problemas rotineiros no menor espaço de tempo e em diversas localizações. Por outro lado, a disponibilidade de diversas tecnologias de acesso sem fio como: Wi-Fi (Wireless Fidelity), WiMAX (Worldwide Interoperability for Microwave Access) e LTE (Long Term Evolution), proporcionam um cenário heterogêneo com diversas oportunidades de conectividade para o usuário de dispositivos com múltiplas interfaces. Alguns dos desafios atuais no contexto da concepção da então denominada NGN (Next Generation Networks) são o desenvolvimento de arcabouços e mecanismos que viabilizem tanto o suporte adequado à Qualidade de Serviço (QoS – Quality of Service) e à Qualidade de Experiência (QoE – Quality of Experience) para aplicações multimídia, quanto a garantia de equidade entre vazões de diferentes aplicações em ambiente heterogêneo. Esta dissertação propõe um arcabouço para o aprovisionamento de QoS e QoE em redes sem fio heterogêneas formada por redes WiMAX e Wi-Fi. Especificamente, nossa solução provê mapeamento estático de QoS entre as classes de serviços WiMAX e categorias de acesso Wi-Fi. Além disso, nossa proposta também combina funcionalidades de equidade entre vazões com a solução de mapeamento, a fim de alcançar um bom compromisso tanto para o operador da rede, quanto para o usuário, através de uma nova metodologia de coleta e calculo de vazão agregada e algoritmo de decisão de handover vertical. A avaliação quantitativa da proposta foi realizada através de modelos de simulação no ns-2 (Network Simulator). Os resultados de desempenho demonstram a eficiência da arquitetura em termos de métricas de QoS (vazão, vazão média e atraso) e QoE (PSRN - Peak Signal to Noise Ratio, SSIM - Structural Similarity Index e VQM - Video Quality Metric).

Gerenciamento de mobilidade transparente com suporte integrado a QoS/QoE em redes heterogêneas

Os avanços nas tecnologias de comunicação sem fio, a demanda por novas aplicações multimídia em tempo real, com requisitos de Qualidade de Serviço (QoS) e Qualidade de Experiência (QoE), e a proliferação de equipamentos móveis, originam o surgimento de soluções que permitem mobilidades horizontais e verticais em redes heterogêneas, de modo transparente. Esses dispositivos móveis apresentam múltiplas interfaces sem fio, onde os usuários se conectam para realizar tarefas e serviços variados no seu dia a dia, mediante a tecnologia de redes diferentes, proporcionando um cenário heterogêneo com diversas oportunidades de conectividade para os usuários móveis. Visando solucionar o problema de várias conexões, feitas por usuários móveis, em uma mesma rede Wi-Fi (Wireless Fidelity) e/ou WiMAX (Worldwide Interoperability for Microwave Access) com diferentes serviços executados, porém, utilizando incorretamente a rede, esta dissertação propõe uma técnica hierárquica de decisão de mobilidade transparente, baseada em uma função de custo, no padrão IEEE 802.21 e no mapeamento de classes de serviço para garantir QoS/QoE para usuários em períodos de mobilidade chamada de MIH2Q, onde essa política informa a melhor rede para ser utilizada, de acordo com o serviço utilizado pelo usuário móvel. A avaliação do impacto e os benefícios da proposta são feitas através de simulação no NS-2 (Network Simulator - version 2) e no evalvid, utilizando métricas de QoS e QoE para verificação dos resultados.

Evaluating the Trade-off Between Energy Efficiency and QoE in Wireless Mesh Networks

The increasing usage of wireless networks creates new challenges for wireless access providers. On the one hand, providers want to satisfy the user demands but on the other hand, they try to reduce the operational costs by decreasing the energy consumption. In this paper, we evaluate the trade-off between energy efficiency and quality of experience for a wireless mesh testbed. The results show that by intelligent service control, resources can be better utilized and energy can be saved by reducing the number of active network components. However, care has to be taken because the channel bandwidth varies in wireless networks. In the second part of the paper, we analyze the trade-off between energy efficiency and quality of experience at the end user. The results reveal that a provider's service control measures do not only reduce the operational costs of the network but also bring a second benefit: they help maximize the battery lifetime of the end-user device.

QoE-aware Multiple Path Video Transmission for Wireless Multimedia Sensor Networks

Wireless Multimedia Sensor Networks (WMSNs) promise a wide scope of emerging potential applications in both civilian and military areas, which require visual and audio information to enhance the level of collected information. The transmission of multimedia content requires a minimal video quality level from the user’s perspective. However, links in WMSN communi- cations are typically unreliable, as they often experience fluctuations in quality and weak connectivity, and thus, the routing protocol must evaluate the routes by using end-to-end link quality information to increase the packet delivery ratio. Moreover, the use multiple paths together with key video metrics can enhance the video quality level. In this paper, we propose a video-aware multiple path hierarchical routing protocol for efficient multimedia transmission over WMSN, called video-aware MMtransmission. This protocol finds node-disjoint multiple paths, and implements an end-to-end link quality estimation with minimal over- head to score the paths. Thus, our protocol assures multimedia transmission with Quality of Experience (QoE) and energy-efficiency support. The simula- tion results show the benefits of video-aware MMtransmission for disseminating video content by means of energy-efficiency and QoE analysis.

Contribución a los Modelos y Metodologías para la Estimación de la Calidad Percibida por los Usuarios (QoE) a partir de Parámetros de Calidad de Red/Servicio (QoS) en Servicios Convergentes Multimedia (Triple-Play)

Esta Tesis constituye una contribución a los Modelos y Metodologías para la Estimación de la Calidad Percibida por los Usuarios, o Calidad de Experiencia (QoE), a partir de Parámetros de Calidad y/o Rendimiento de Red y/o Servicio (QoS) en Servicios Multimedia, y específicamente en servicios Triple-Play (3P): servicios de Televisión (TV), Telefonía y Datos ofrecidos por un mismo operador como un paquete único. En particular, se centra en los servicios Triple-Play convergentes (desplegados sobre una Red de Transporte común basada en IP, gestionada por un único operador como un Sistema Autónomo (SA)), y la relación entre la Calidad Percibida por los usuarios de dichos servicios y los parámetros de rendimiento de la Red de Transporte IP subyacente. Específicamente, contribuye a la estimación ‘en línea’ (es decir, durante la prestación del servicio, en tiempo real o casi-real) de dicha calidad. La calidad de experiencia de los usuarios es un factor determinante para el éxito o fracaso de estos servicios, y su adecuada gestión resulta por tanto un elemento crucial para el despliegue exitoso de los mismos. La calidad de experiencia resulta fácil de entender, pero compleja de implementar en sistemas reales, debido principalmente a la dificultad de su modelado, evaluación, y traducción en términos de parámetros de calidad de servicio. Mientras que la calidad de servicio puede medirse, monitorizarse y controlarse fácilmente, la calidad de experiencia es todavía muy difícil de gestionar. Una metodología completa de gestión de la calidad de experiencia debe incluir al menos: monitorización de la experiencia de los usuarios durante el consumo del servicio; adaptación de la provisión de contenidos a las condiciones variables del contexto; predicción del nivel de degradación potencial de la calidad de experiencia; y recuperación de la degradación debida a cambios en el sistema. Para conseguir un control completo de la experiencia de los usuarios finales, todas estas tareas deben ser realizadas durante la prestación del servicio y de forma coordinada. Por lo tanto, la capacidad de medir, estimar y monitorizar la calidad percibida en tiempo casi-real, y relacionarla con las condiciones de servicio de la red, resulta crítica para los proveedores de este tipo de servicios, especialmente en el caso de los más exigentes, tales como la difusión de Televisión sobre IP (IPTV). Para ello se ha seleccionado un modelo ya existente, de tipo matricial, para la estimación de la Calidad Global en servicios complejos a partir de los parámetros de funcionamiento interno de los agentes que proporcionan los servicios. Este modelo, definido en términos de servicios y sus componentes, percepciones de los usuarios, capacidades de los agentes, indicadores de rendimiento y funciones de evaluación, permite estimar la calidad global de un conjunto de servicios convergentes, tal como la perciben uno o más grupos de usuarios. Esto se consigue combinando los resultados de múltiples modelos parciales, tales que cada uno de ellos proporciona la valoración de la calidad percibida para uno de los servicios componentes, obtenida a partir de un conjunto de parámetros de rendimiento y/o Calidad de Servicio de la red de transporte IP convergente. El modelo se basa en la evaluación de las percepciones de los usuarios a partir de Factores de Valoración, calculados a partir de Indicadores de Rendimiento, que se derivan a su vez de Parámetros de Funcionamiento Interno correspondientes a las capacidades de los distintos agentes que intervienen en la prestación de los servicios. El trabajo original incluye la aplicación del modelo a un servicio 3P (datos+voz+vídeo). En este trabajo, sin embargo, el servicio de vídeo (Vídeo bajo Demanda, VoD) se considera poco importante y es finalmente ignorado. En el caso de los usuarios residenciales, el servicio de voz (Voz sobre IP, VoIP) se considera asimismo poco importante y es también ignorado, por lo que el servicio global se reduce finalmente a los servicios de datos (Acceso a Internet y juegos interactivos). Esta simplificación era razonable en su momento, pero la evolución del mercado de servicios convergentes ha hecho que en la actualidad las razones que la justificaban no sean ya aplicables. En esta Tesis, por lo tanto, hemos considerado un servicio ‘Triple-Play’ completo, incluyendo servicios de datos, voz y vídeo. Partiendo de dicho modelo, se ha procedido a actualizar los servicios considerados, eliminando los no relevantes e incluyendo otros no considerados, así como a incluir nuevos elementos (percepciones) para la estimación de la calidad de los servicios; actualizar, extender y/o mejorar los modelos de estimación de los servicios ya incluidos; incluir modelos de estimación para los nuevos servicios y elementos añadidos; desarrollar nuevos modelos de estimación para aquellos servicios o elementos para los que no existen modelos adecuados; y por último, extender, actualizar y/o mejorar los modelos para la estimación de la calidad global. Con todo ello se avanza apreciablemente en la modelización y estimación de la Calidad de Experiencia (QoE) en Servicios Multimedia a partir de Parámetros de Calidad de Servicio (QoS) y/o Rendimiento de la Red, y específicamente en la estimación ‘en línea’, en tiempo casi-real, de dicha calidad en servicios Triple-Play convergentes. La presente Tesis Doctoral se enmarca en la línea de investigación sobre Calidad de Servicio del grupo de Redes y Servicios de Telecomunicación e Internet, dentro del Departamento de Ingeniería de Sistemas Telemáticos (DIT) de la Universidad Politécnica de Madrid (UPM).

Hogar digital para servicios FTTH : dispositivos, tecnologías y QoE

FTTH (fibra hasta el hogar) es actualmente, junto con la banda ancha móvil, la principal evolución tecnológica en Redes y Servicios de Telecomunicaciones. Se prevé que en los próximos años, el despliegue de las redes FTTH se vea incrementado de manera significativa, gracias al interés creciente tanto de Operadores de Telecomunicaciones como de Organismos Gubernamentales. Este despliegue (que en el año 2013 ya se está haciendo realidad) llevará servicios de muy alta velocidad (superiores a 100 Mbps, incluso 1 Gbps) de manera masiva a los hogares, exigiendo nuevos requisitos y prestaciones en la red del hogar de los clientes. Se abre aquí, por tanto, un campo de exploración novedoso, incipiente y de requerimientos cada vez más exigentes. De hecho, sin duda, la red del hogar es uno de los elementos fundamentales para el éxito de las redes y servicios en FTTH. Debido a todo lo anterior, se convierte en una necesidad para el sector de las Telecomunicaciones el encontrar soluciones a los problemas anteriormente mencionados. Con objeto de contribuir al análisis de soluciones, este proyecto se enfoca en dos temas, ambos relacionados con la problemática ya mencionada en la red del hogar:  Prospección e identificación de soluciones tecnológicas avanzadas para la red del hogar. Descrito en capítulos 2, 3 y 4. En ellos se realiza un estudio detallado de la situación actual y tendencias futuras de los dispositivos utilizados en la red del hogar. Este estudio está enfocado en la distribución de señales de muy alto ancho de banda (en torno a los 100 Mbps por segundo) en el hogar.  Diseño y desarrollo de una aplicación que permita determinar la calidad de experiencia de cliente (QoE) de un servicio de televisión IP (IPTV). Descrito en capítulos 5 y 6. Se ha seleccionado este tipo de servicios debido a que son los que requieren mayores prestaciones tanto de la red de transporte como de la red del hogar y, al mismo tiempo, son los más complicados de medir debido a la fuerte componente de subjetividad del usuario final. Una red del hogar correctamente diseñada debe cumplir de manera equilibrada los requisitos demandados tanto por el operador como por el cliente o usuario final del servicio. Los requisitos del operador se centran principalmente en el control de la inversión (CAPEX) y del gasto de mantenimiento de la red del hogar (OPEX). El usuario, por otra parte, requiere sencillez en la instalación y mínimo número de elementos a instalar (cero intrusismo, ausencia de cableado). Para adaptarse a estos requerimientos, existe una serie de dispositivos y tecnologías que buscan encontrar el punto de equilibrio entre necesidades de operadores y de clientes finales. Las soluciones actualmente utilizadas pueden dividirse en soluciones cableadas e inalámbricas. También existen soluciones híbridas. Todas ellas se describen en detalle en los capítulos 3 y 4. Al final del estudio se concluye que, con la tecnología actual, es preferible el uso de soluciones cableadas tipo Ethernet o POF. Es recomendable no usar soluciones PLC de manera extensiva (G.hn puede ser una alternativa a futuro) y, en caso de no requerir cableado, utilizar WiFi 11n con frecuencias de 5 GHz, así como sus evoluciones, WiFi 11ac y 11ad. La aplicación desarrollada, explicada en los capítulos 5 y 6, permite capturar y medir en tiempo real la señal de televisión IP que se entrega al usuario. Esta aplicación estimará, a partir de dichas medidas, la calidad de la señal entregada. Para ello tendrá en cuenta el tipo de descodificador utilizado por el usuario así como la red empleada (red FTTH de Telefónica). Esta aplicación podría ser utilizada en los centros de atención técnica de las operadoras de telecomunicaciones, determinando así la relación existente entre reclamaciones recibidas y calidad de servicio medida por la aplicación. Asimismo, aparte de realizar medidas en tiempo real, la aplicación vuelca las medidas realizadas y alarmas detectadas en ficheros log, facilitando el análisis técnico de los problemas e incidencias registrados por dichos centros técnicos. Igualmente, esta aplicación puede ser utilizada para el proceso de certificación de equipamiento de red del hogar o incluso como herramienta para profundizar en parámetros teóricos y criterios de medida de calidad de servicio en IPTV. ABSTRACT. FTTH (Fiber To The Home) and mobile broadband are currently the main technological trend in the Network and Telecommunications Services area. In the next few years, the deployment of FTTH networks will experiment a significant increase, due to the growing interest of both telecommunications operators and government agencies. This deployment (that is becoming a reality) which will massively carry high-speed services to households (speeds of more than 100 Mbps, even 1 Gbps) will demand new requirements and features in the customer’s home network. It can be found here a new and emerging field of exploration, with increasingly demanding requirements. In fact, the home network is one of the key elements for the success of FTTH network and services. Due to the aforementioned, it is a necessity for the telecommunications industry to find solutions to these problems. In order to contribute into the solution analysis, this project focuses on two subjects, both related to the problems of home networking:  Exploratory research and identification of advanced technology solutions for the home network. Described in chapters 2, 3 and 4. These chapters show a detailed study of the current situation and future trends of the devices used at the home network. It focuses on the distribution of very high bandwidth signals (around 100 Mbps per second) in the customer’s home.  Design and development of an application to evaluate customer’s quality of experience (QoE) of an IP television service (IPTV). Described in chapters 5 and 6. IPTV service has been selected because it requires higher performance both from the transport and the home networks and, at the same time, it is the most difficult to measure due to the strong component of subjectivity of the end user. A correct design of the home network must meet the requirements demanded both by the network operator and the customer (end user of the service). Network operator requirements mainly focus on reduced capital expenditures (CAPEX) and operational expenditures (OPEX). Additionally, the final user requires a simple and easy installation and also the minimum number of items to install (zero intrusion, lack of wiring, etc.). Different devices and technologies seek to find a balance between these two requirements (network operators and final users requirements). Solutions available in the market can be divided into wired and wireless. There are also hybrid solutions. All of them are described thoroughly in the first part of the project. The conclusion at the end of the study recommends the use of wired technologies like Ethernet or POF. Additionally, the use of PLC is not advised (G.hn can be an alternative in the future) and, in the case of not requiring wiring, the use of 11ac and 11ad WiFi is advised. The application developed in the second part of the project allows capturing and measuring the real-time IPTV signal delivered to the user. This application will estimate the delivered signal quality from the captured measurements. For this purpose, it will also consider the type of decoder installed on the customer’s premises and the transport network (Telefonica’s FTTH network). This application could be used at the operator’s technical service centres, determining in this way the relationship between user’s complaints and the quality of service measured. Additionally, this application can write all the measurements and alarms in log files, making easier the technical analysis of problems and impairments recorded by the technical centres. Finally, the application can also be used for the certification process of home networking equipment (i.e. decoders) or even as a tool to deepen theoretical parameters and measuring criteria of quality of service in IPTV.

Subjective QoE Analysis of HTTP Adaptive Streaming Applications

Actualmente la optimization de la calidad de experiencia (Quality of Experience- QoE) de HTTP Adaptive Streaming (HAS) de video recibe una atención creciente. Este incremento de interés proviene fundamentalmente de las carencias de las soluciones actuales HAS, que, al no ser QoE-driven, no incluyen la percepción de la calidad de los usuarios finales como una parte integral de la lógica de adaptación. Por lo tanto, la obtención de información de referencia fiable en QoE en HAS presenta retos importantes, ya que las metodologías de evaluación subjetiva de la calidad de vídeo propuestas en las normas actuales no son adecuadas para tratar con la variación temporal de la calidad que es consustancial de HAS. Esta tesis investiga la influencia de la adaptación dinámica en la calidad de la transmisión de vídeo considerando métodos de evaluación subjetiva. Tras un estudio exhaustivo del estado del arte en la evaluación subjetiva de QoE en HAS, se han resaltado los retos asociados y las líneas de investigación abiertas. Como resultado, se han seleccionado dos líneas principales de investigación: el análisis del impacto en la QoE de los parámetros de las técnicas de adaptación y la investigación de las metodologías de prueba subjetiva adecuada para evaluación de QoE en HAS. Se han llevado a cabo un conjunto de experimentos de laboratorio para investigar las cuestiones planteadas mediante la utilización de diferentes metodologáas para pruebas subjetivas. El análisis estadístico muestra que no son robustas todas las suposiciones y reivindicaciones de las referencias analizadas, en particular en lo que respecta al impacto en la QoE de la frecuencia de las variaciones de calidad, de las adaptaciones suaves o abruptas y de las oscilaciones de calidad. Por otra parte, nuestros resultados confirman la influencia de otros parámetros, como la longitud de los segmentos de vídeo y la amplitud de las oscilaciones de calidad. Los resultados también muestran que tomar en consideración las características objetivas de los contenidos puede ser beneficioso para la mejora de la QoE en HAS. Además, todos los resultados han sido validados mediante extensos análisis experimentales que han incluido estudio tanto en otros laboratorios como en crowdsourcing Por último, sobre los aspectos metodológicos de las pruebas subjetivas de QoE, se ha realizado la comparación entre los resultados experimentales obtenidos a partir de un método estandarizado basado en estímulos cortos (ACR) y un método semi continuo (desarrollado para la evaluación de secuencias prolongadas de vídeo). A pesar de algunas diferencias, el resultado de los análisis estadísticos no muestra ningún efecto significativo de la metodología de prueba. Asimismo, aunque se percibe la influencia de la presencia de audio en la evaluación de degradaciones del vídeo, no se han encontrado efectos estadísticamente significativos de dicha presencia. A partir de la ausencia de influencia del método de prueba y de la presencia de audio, se ha realizado un análisis adicional sobre el impacto de realizar comparaciones estadísticas múltiples en niveles estadísticos de importancia que aumentan la probabilidad de los errores de tipo-I (falsos positivos). Nuestros resultados muestran que, para obtener un efectos sólido en el análisis estadístico de los resultados subjetivos, es necesario aumentar el número de sujetos de las pruebas claramente por encima de los tamaños de muestras propuestos por las normas y recomendaciones actuales. ABSTRACT Optimizing the Quality of Experience (QoE) of HTTP adaptive video streaming (HAS) is receiving increasing attention nowadays. The growth of interest is mainly caused by the fact that current HAS solutions are not QoE-driven, i.e. end-user quality perception is not integral part of the adaptation logic. However, obtaining the necessary reliable ground truths on HAS QoE faces substantial challenges, since the subjective video quality assessment methodologies as proposed by current standards are not well-suited for dealing with the time-varying quality properties that are characteristic for HAS. This thesis investigates the influence of dynamic quality adaptation on the QoE of streaming video by means of subjective evaluation approaches. Based on a comprehensive survey of related work on subjective HAS QoE assessment, the related challenges and open research questions are highlighted and discussed. As a result, two main research directions are selected for further investigation: analysis of the QoE impact of different technical adaptation parameters, and investigation of testing methodologies suitable for HAS QoE evaluation. In order to investigate related research issues and questions, a set of laboratory experiments have been conducted using different subjective testing methodologies. Our statistical analysis demonstrates that not all assumptions and claims reported in the literature are robust, particularly as regards the QoE impact of switching frequency, smooth vs. abrupt switching, and quality oscillation. On the other hand, our results confirm the influence of some other parameters such as chunk length and switching amplitude on perceived quality. We also show that taking the objective characteristics of the content into account can be beneficial to improve the adaptation viewing experience. In addition, all aforementioned findings are validated by means of an extensive cross-experimental analysis that involves external laboratory and crowdsourcing studies. Finally, to address the methodological aspects of subjective QoE testing, a comparison between the experimental results obtained from a (short stimuli-based) ACR standardized method and a semi-continuous method (developed for assessment of long video sequences) has been performed. In spite of observation of some differences, the result of statistical analysis does not show any significant effect of testing methodology. Similarly, although the influence of audio presence on evaluation of video-related degradations is perceived, no statistically significant effect of audio presence could be found. Motivating by this finding (no effect of testing method and audio presence), a subsequent analysis has been performed investigating the impact of performing multiple statistical comparisons on statistical levels of significance which increase the likelihood of Type-I errors (false positives). Our results show that in order to obtain a strong effect from the statistical analysis of the subjective results, it is necessary to increase the number of test subjects well beyond the sample sizes proposed by current quality assessment standards and recommendations.