Crowdsourcing malaria parasite quantification: an online game for analyzing images of infected thick blood smears

Background: There are 600,000 new malaria cases daily worldwide. The gold standard for estimating the parasite burden and the corresponding severity of the disease consists in manually counting the number of parasites in blood smears through a microscope, a process that can take more than 20 minutes of an expert microscopist’s time. Objective: This research tests the feasibility of a crowdsourced approach to malaria image analysis. In particular, we investigated whether anonymous volunteers with no prior experience would be able to count malaria parasites in digitized images of thick blood smears by playing a Web-based game. Methods: The experimental system consisted of a Web-based game where online volunteers were tasked with detecting parasites in digitized blood sample images coupled with a decision algorithm that combined the analyses from several players to produce an improved collective detection outcome. Data were collected through the MalariaSpot website. Random images of thick blood films containing Plasmodium falciparum at medium to low parasitemias, acquired by conventional optical microscopy, were presented to players. In the game, players had to find and tag as many parasites as possible in 1 minute. In the event that players found all the parasites present in the image, they were presented with a new image. In order to combine the choices of different players into a single crowd decision, we implemented an image processing pipeline and a quorum algorithm that judged a parasite tagged when a group of players agreed on its position. Results: Over 1 month, anonymous players from 95 countries played more than 12,000 games and generated a database of more than 270,000 clicks on the test images. Results revealed that combining 22 games from nonexpert players achieved a parasite counting accuracy higher than 99%. This performance could be obtained also by combining 13 games from players trained for 1 minute. Exhaustive computations measured the parasite counting accuracy for all players as a function of the number of games considered and the experience of the players. In addition, we propose a mathematical equation that accurately models the collective parasite counting performance. Conclusions: This research validates the online gaming approach for crowdsourced counting of malaria parasites in images of thick blood films. The findings support the conclusion that nonexperts are able to rapidly learn how to identify the typical features of malaria parasites in digitized thick blood samples and that combining the analyses of several users provides similar parasite counting accuracy rates as those of expert microscopists. This experiment illustrates the potential of the crowdsourced gaming approach for performing routine malaria parasite quantification, and more generally for solving biomedical image analysis problems, with future potential for telediagnosis related to global health challenges.

Idea relationship analysis in open innovation crowdsourcing systems

Idea Management Systems are an implementation of open innovation notion in the Web environment with the use of crowdsourcing techniques. In this area, one of the popular methods for coping with large amounts of data is duplicate de- tection. With our research, we answer a question if there is room to introduce more relationship types and in what degree would this change affect the amount of idea metadata and its diversity. Furthermore, based on hierarchical dependencies between idea relationships and relationship transitivity we propose a number of methods for dataset summarization. To evaluate our hypotheses we annotate idea datasets with new relationships using the contemporary methods of Idea Management Systems to detect idea similarity. Having datasets with relationship annotations at our disposal, we determine if idea features not related to idea topic (e.g. innovation size) have any relation to how annotators perceive types of idea similarity or dissimilarity.

Crowdsourcing de información geográfica: proyectos Open Source y desarrollo de una plataforma móvil para mantenimiento de infraestructura urbana.

El presente trabajo se centra en la investigación del modelo de crowdsourcing y su relación con la Información Geográfica Voluntaria y otras actividades participativas para la creación de conocimiento geográfico de forma colaborativa. Primero se expone una introducción al concepto y distintos ámbitos de aplicación y uso en la adquisición,visualización y análisis de datos geográficos, presentándose las herramientas, tecnologías web y móviles que han hecho posible su implementación. Después se hace una breve revisión de algunas plataformas de código abierto que faciliten la creación de contenido geolocalizado por el usuario y proporcionen funcionalidades para el análisis básico y manipulación de información mediante la implementación de estrategias de crowdsourcing. En los apartados siguientes, se hace un breve análisis de requisitos para el caso de uso específico de una aplicación móvil de crowdsourcing para el mantenimiento urbano, sirviendo este, como base en el desarrollo de una plataforma Web-móvil que facilite la gestión de este tipo de infraestructura. El diseño de la plataforma propuesta permite consultar y actualizar información por medio de etiquetas NFC (Near Field Communications o comunicación de campo cercano) utilizadas en el mobiliario urbano inventariado y empleando dispositivos inteligentes habilitados con la misma tecnología y conexión a Internet, para dar seguimiento y reportar el estado de la infraestructura. También, es posible generar reportes geolocalizados sobre problemas en instalaciones urbanas no inventariadas, así como crear eventos geolocalizados que convoquen a tareas participativas para la mejora de la ciudad. Además, integra entradas de conversación de redes sociales para contribuir a la participación activa de los ciudadanos en la vigilancia y mantenimiento urbano. Por último, el trabajo presenta algunas conclusiones y líneas futuras.

Crowdsourcing based subjective quality assessment of adaptive video streaming

In order to cater for user's quality of experience (QoE) requirements, HTTP adaptive streaming (HAS) based solutions of video services have become popular recently. User QoE feedback can be instrumental in improving the capabilities of such services. Perceptual quality experiments that involve humans are considered to be the most valid method of the assessment of QoE. Besides lab-based subjective experiments, crowdsourcing based subjective assessment of video quality is gaining popularity as an alternative method. This paper presents insights into a study that investigates perceptual preferences of various adaptive video streaming scenarios through crowdsourcing based subjective quality assessment.

Semantic technologies in idea management systems: a model for interoperability, linking and filtering

Abstract Idea Management Systems are web applications that implement the notion of open innovation though crowdsourcing. Typically, organizations use those kind of systems to connect to large communities in order to gather ideas for improvement of products or services. Originating from simple suggestion boxes, Idea Management Systems advanced beyond collecting ideas and aspire to be a knowledge management solution capable to select best ideas via collaborative as well as expert assessment methods. In practice, however, the contemporary systems still face a number of problems usually related to information overflow and recognizing questionable quality of submissions with reasonable time and effort allocation. This thesis focuses on idea assessment problem area and contributes a number of solutions that allow to filter, compare and evaluate ideas submitted into an Idea Management System. With respect to Idea Management System interoperability the thesis proposes theoretical model of Idea Life Cycle and formalizes it as the Gi2MO ontology which enables to go beyond the boundaries of a single system to compare and assess innovation in an organization wide or market wide context. Furthermore, based on the ontology, the thesis builds a number of solutions for improving idea assessment via: community opinion analysis (MARL), annotation of idea characteristics (Gi2MO Types) and study of idea relationships (Gi2MO Links). The main achievements of the thesis are: application of theoretical innovation models for practice of Idea Management to successfully recognize the differentiation between communities, opinion metrics and their recognition as a new tool for idea assessment, discovery of new relationship types between ideas and their impact on idea clustering. Finally, the thesis outcome is establishment of Gi2MO Project that serves as an incubator for Idea Management solutions and mature open-source software alternatives for the widely available commercial suites. From the academic point of view the project delivers resources to undertake experiments in the Idea Management Systems area and managed to become a forum that gathered a number of academic and industrial partners. Resumen Los Sistemas de Gestión de Ideas son aplicaciones Web que implementan el concepto de innovación abierta con técnicas de crowdsourcing. Típicamente, las organizaciones utilizan ese tipo de sistemas para conectar con comunidades grandes y así recoger ideas sobre cómo mejorar productos o servicios. Los Sistemas de Gestión de Ideas lian avanzado más allá de recoger simplemente ideas de buzones de sugerencias y ahora aspiran ser una solución de gestión de conocimiento capaz de seleccionar las mejores ideas por medio de técnicas colaborativas, así como métodos de evaluación llevados a cabo por expertos. Sin embargo, en la práctica, los sistemas contemporáneos todavía se enfrentan a una serie de problemas, que, por lo general, están relacionados con la sobrecarga de información y el reconocimiento de las ideas de dudosa calidad con la asignación de un tiempo y un esfuerzo razonables. Esta tesis se centra en el área de la evaluación de ideas y aporta una serie de soluciones que permiten filtrar, comparar y evaluar las ideas publicadas en un Sistema de Gestión de Ideas. Con respecto a la interoperabilidad de los Sistemas de Gestión de Ideas, la tesis propone un modelo teórico del Ciclo de Vida de la Idea y lo formaliza como la ontología Gi2MO que permite ir más allá de los límites de un sistema único para comparar y evaluar la innovación en un contexto amplio dentro de cualquier organización o mercado. Por otra parte, basado en la ontología, la tesis desarrolla una serie de soluciones para mejorar la evaluación de las ideas a través de: análisis de las opiniones de la comunidad (MARL), la anotación de las características de las ideas (Gi2MO Types) y el estudio de las relaciones de las ideas (Gi2MO Links). Los logros principales de la tesis son: la aplicación de los modelos teóricos de innovación para la práctica de Sistemas de Gestión de Ideas para reconocer las diferenciasentre comu¬nidades, métricas de opiniones de comunidad y su reconocimiento como una nueva herramienta para la evaluación de ideas, el descubrimiento de nuevos tipos de relaciones entre ideas y su impacto en la agrupación de estas. Por último, el resultado de tesis es el establecimiento de proyecto Gi2MO que sirve como incubadora de soluciones para Gestión de Ideas y herramientas de código abierto ya maduras como alternativas a otros sistemas comerciales. Desde el punto de vista académico, el proyecto ha provisto de recursos a ciertos experimentos en el área de Sistemas de Gestión de Ideas y logró convertirse en un foro que reunión para un número de socios tanto académicos como industriales.

Integrated luminescent chemical microsensors based on GaN LEDs for security applications using smartphones

Development of PCB-integrateable microsensors for monitoring chemical species is a goal in areas such as lab-on-a-chip analytical devices, diagnostics medicine and electronics for hand-held instruments where the device size is a major issue. Cellular phones have pervaded the world inhabitants and their usefulness has dramatically increased with the introduction of smartphones due to a combination of amazing processing power in a confined space, geolocalization and manifold telecommunication features. Therefore, a number of physical and chemical sensors that add value to the terminal for health monitoring, personal safety (at home, at work) and, eventually, national security have started to be developed, capitalizing also on the huge number of circulating cell phones. The chemical sensor-enabled “super” smartphone provides a unique (bio)sensing platform for monitoring airborne or waterborne hazardous chemicals or microorganisms for both single user and crowdsourcing security applications. Some of the latest ones are illustrated by a few examples. Moreover, we have recently achieved for the first time (covalent) functionalization of p- and n-GaN semiconductor surfaces with tuneable luminescent indicator dyes of the Ru-polypyridyl family, as a key step in the development of innovative microsensors for smartphone applications. Chemical “sensoring” of GaN-based blue LED chips with those indicators has also been achieved by plasma treatment of their surface, and the micrometer-sized devices have been tested to monitor O2 in the gas phase to show their full functionality. Novel strategies to enhance the sensor sensitivity such as changing the length and nature of the siloxane buffer layer are discussed in this paper.

Co-creación de semiconductores

El mercado de los semiconductores está saturado de productos similares y de distribuidores con una propuesta de servicios similar. Los procesos de Co-Creación en los que el cliente colabora en la definición y desarrollo del producto y proporciona información sobre su utilidad, prestaciones y valor percibido, con el resultado de un producto que soluciona sus necesidades reales, se están convirtiendo en un paso adelante en la diferenciación y expansión de la cadena de valor. El proceso de diseño y fabricación de semiconductores es bastante complejo, requiere inversiones cada vez mayores y demanda soluciones completas. Se requiere un ecosistema que soporte el desarrollo de los equipos electrónicos basados en dichos semiconductores. La facilidad para el diálogo y compartir información que proporciona internet, las herramientas basadas en web 2.0 y los servicios y aplicaciones en la nube; favorecen la generación de ideas, el desarrollo y evaluación de productos y posibilita la interacción entre diversos co-creadores. Para iniciar un proceso de co-creación se requiere métodos y herramientas adecuados para interactuar con los participantes e intercambiar experiencias, procesos para integrar la co-creación dentro de la operativa de la empresa, y desarrollar una organización y cultura que soporten y fomenten dicho proceso. Entre los métodos más efectivos están la Netnografía que estudia las conversaciones de las comunidades en internet; colaboración con usuarios pioneros que van por delante del Mercado y esperan un gran beneficio de la satisfacción de sus necesidades o deseos; los estudios de innovación que permiten al usuario definir y a menudo crear su propia solución y la externalización a la multitud, que mediante una convocatoria abierta plantea a la comunidad retos a resolver a cambio de algún tipo de recompensa. La especialización de empresas subcontratistas en el desarrollo y fabricación de semiconductores; facilita la innovación abierta colaborando con diversas entidades en las diversas fases del desarrollo del semiconductor y su ecosistema. La co-creación se emplea actualmente en el sector de los semiconductores para detectar ideas de diseños y aplicaciones, a menudo mediante concursos de innovación. El servicio de soporte técnico y la evaluación de los semiconductores con frecuencia es fruto de la colaboración entre los miembros de la comunidad fomentada y soportada por los fabricantes del producto. Con el programa EBVchips se posibilita el acceso a empresas pequeñas y medianas a la co-creación de semiconductores con los fabricantes en un proceso coordinado y patrocinado por el distribuidor EBV. Los semiconductores configurables como las FPGAs constituyen otro ejemplo de co-creación mediante el cual el fabricante proporciona el circuito integrado y el entorno de desarrollo y los clientes crean el producto final definiendo sus características y funcionalidades. Este proceso se enriquece con bloques funcionales de diseño, IP-cores, que a menudo son creados por la comunidad de usuarios. ABSTRACT. The semiconductor market is saturated of similar products and distributors with a similar proposal for services. The processes of co-creation in which the customer collaborates in the definition and development of the product and provides information about its utility, performance and perceived value, resulting in a product that solves their real needs, are becoming a step forward in the differentiation and expansion of the value chain. The design and semiconductor manufacturing process is quite complex, requires increasingly higher investments and demands complete solutions. It requires an ecosystem that supports the development of electronic equipments based on such semiconductors. The ease of dialogue and sharing information that provides internet, web 2.0-based tools and services and applications in the cloud; favor the generation of ideas, the development and evaluation of products and allows the interaction between various co-creators. To start a process of co-creation adequate methods and tools are required to interact with the participants and exchange experiences, processes to integrate the co-creation within the operations of the company, and developing an organization and culture that support and promote such process. Among the most effective methods are the Netnography that studies the conversations of the communities on the internet; collaboration with Lead Users who are ahead of the market and expect a great benefit from the satisfaction of their needs or desires; Innovation studies that allow the user to define and often create their own solution and Crowdsourcing, an open call to the community to solve challenges in exchange for some kind of reward. The specialization of subcontractors in the development and manufacture of semiconductors; facilitates open innovation in the context of collaboration with different entities working in the different phases of the development of the semiconductor and its ecosystem. Co-creation is used currently in the semiconductor sector to detect ideas of designs and applications, often through innovation’s contests. Technical support and evaluation of semiconductors frequently is the result of collaboration between members of the community fostered and supported by the manufacturers of the product. The EBVchips program provides access to small and medium-sized companies to the co-creation of semiconductors with manufacturers in a process coordinated and sponsored by the Distributor EBV. Configurable semiconductors like FPGAs are another example of co-creation whereby the manufacturer provides the integrated circuit and the development environment and customers create the final product by defining their features and functionality. This process is enriched with IP-cores, designs blocks that are often created by the user community.

Ushahidi

Resumen Ushahidi es el programa africano de mayor difusión mundial, que permite mapear información vital, desde el punto de vista social, en zonas de catástrofe o de conflicto. Originalmente concebida para reunir las múltiples denuncias de fraude en relación a las elecciones kenianas, ha sido utilizada posteriormente en todo el mundo en centenares de situaciones diversas, generalmente relacionadas con situaciones de amenazas, crisis, ayuda humanitaria, etc. Este artículo presenta el fenómeno Ushahidi y sus aplicaciones, a fin de entender su alcance y sus posibles repercusiones. También se introducen temas de gran interés para el desarrollo humano como el Crowdsourcing, la GeoWeb, la Neogeografía y la Información Geográfica Voluntaria, dada su estrecha relación con el objeto del trabajo. Abstract Ushahidi is the African program of global outreach greater, which allows to map vital information from the social point of view, in areas of disaster or conflict. Originally designed to meet the multiple allegations of fraud in relation to the Kenyan elections, has since been used worldwide in hundreds of different situations, usually related to situations of threat, crisis, humanitarian aid, etc. This paper presents the Ushahidi phenomenon and its applications, in order to understand its scope and possible implications. Topics of great interest to human development, as Crowdsourcing, the GeoWeb, the Neogeography and Volunteered Geographic Information, given its close relationship with the object of labor are also introduced.

Estudio del fenómeno Social Media en la pequeña empresa del sector TIC español

En un mundo en el que cada vez son más las personas que utilizan Internet para llevar a cabo sus comunicaciones y relaciones, tanto a nivel personal como profesional, las Redes Sociales se han convertido en una herramienta, para muchos imprescindible, de interacción social. A lo largo de este proyecto se realizará un análisis exhaustivo de las características del ya conocido como Fenómeno Social Media, para posteriormente centrar toda la atención en las ventajas y desventajas de dicha actividad en el ámbito empresarial. Dado que hasta el momento no se ha encontrado ningún otro estudio que trate el Fenómeno Social Media en la Pequeña Empresa del sector TIC español, el objetivo principal del proyecto se centra en conocer la influencia que las Redes Sociales están generando en la estrategia empresarial de dicho sector de empresas, cuyas características y particularidades hacen de ellas un modelo de negocio único y diferente y cuyo número se ha visto incrementado en los últimos años, debido quizás, a la situación de crisis que atraviesa el país. Para ello, se analizarán las ventajas e inconvenientes que se derivan de su uso, como afecta a la creación de valor, y, finalmente, cual es el nivel de implicación y/o inversión que la Pequeña Empresa ha adoptado al respecto. Dentro de este marco, se pretende realizar un énfasis especial en el concepto de cocreación de valor y sus variantes (Crowdsourcing, Open Innovation e Innovación Orientada por las Personas), que permita determinar el grado de importancia del usuario como generador de valor. Posteriormente, en la parte práctica, se llevará a cabo un amplio estudio de mercado, a partir de una encuesta online realizada a un conjunto de empresas, cuidadosamente seleccionadas de entre más de 100.000 compañías, según su sector de actividad, número de empleados y volumen de negocios anual, y cuyos resultados serán analizados con la intención de obtener una visión clara del comportamiento global de las empresas seleccionadas. Por último, tomaremos de referencia las dos últimas publicaciones anuales del “Observatorio sobre el uso de las Redes Sociales en las Pymes españolas” (2011 y 2013), estudios dedicados íntegramente a Redes Sociales y Pymes, y cuya información, junto con los resultados obtenidos de nuestro estudio, nos permitirán determinar la tendencia actual y futura, y en consecuencia, obtener las conclusiones oportunas que nos permitan dar respuesta a las cuestiones planteadas durante la realización del proyecto, y determinar si nos encontramos o no ante una verdadera fuente de éxito empresarial. ABSTRACT. In a world where more and more people are using the Internet to perform their communications and relationships, both personally and professionally, Social Networks have become a social interaction tool, indispensable for many people. Throughout this project we will perform a thorough analysis of the characteristics of the Social Media Phenomenon, focusing on the advantages and disadvantages of such activity in a business scope. Given that we have not found no study on the Social Media Phenomenon in Small Business of the Spanish ICT sector, the main objective of this project is to establish the influence that Social Networks are generating in the business strategy of this business sector, the characteristics and peculiarities that make them a unique and different business model and whose number has increased in recent years, perhaps due to the crisis the country is facing. To do this, we will discuss the advantages and disadvantages derived from its use, how it affects value creation, and finally, what is the level of involvement and / or investment that the Small Business has taken in this regard. In this context, we intend to make a special emphasis on the concept of value co-creation and its variants (Crowdsourcing, Open Innovation and People Oriented Innovation), to determine the degree of importance of the user to value generator. Subsequently, on the practical section, out a comprehensive market study will be carried, based on an online test to a group of enterprises, carefully selected from more than 100,000 companies, according to their sector of activity, number of employees and annual turnover, and the results will be analyzed with the intention to get a clear view of the selected company's overall performance. Finally, we will take as reference the last two annual publications of the "Observatory on the use of Social Networks in Spanish SMEs" (2011 and 2013), entirely dedicated to Social Media and SMEs studies, and whose information, together with the results obtained in our study will allow us to determine the current and future trends, and consequently, obtain the appropriate conclusions to respond to the raised questions throughout the project, and determine whether or not they are a real source of business success.

Ushahidi

Ushahidi es el programa africano de mayor difusión mundial, que permite mapear información vital, desde el punto de vista social, en zonas de catástrofe o de conflicto. Originalmente concebida para reunir las múltiples denuncias de fraude en relación a las elecciones kenianas, ha sido utilizada posteriormente en todo el mundo en centenares de situaciones diversas, generalmente relacionadas con situaciones de amenazas, crisis, ayuda humanitaria, etc. Este artículo presenta el fenómeno Ushahidi y sus aplicaciones, a fin de entender su alcance y sus posibles repercusiones. También se introducen temas de gran interés para el desarrollo humano como el Crowdsourcing, la GeoWeb, la Neogeografía y la Información Geográfica Voluntaria, dada su estrecha relación con el objeto del trabajo.

Subjective QoE Analysis of HTTP Adaptive Streaming Applications

Actualmente la optimization de la calidad de experiencia (Quality of Experience- QoE) de HTTP Adaptive Streaming (HAS) de video recibe una atención creciente. Este incremento de interés proviene fundamentalmente de las carencias de las soluciones actuales HAS, que, al no ser QoE-driven, no incluyen la percepción de la calidad de los usuarios finales como una parte integral de la lógica de adaptación. Por lo tanto, la obtención de información de referencia fiable en QoE en HAS presenta retos importantes, ya que las metodologías de evaluación subjetiva de la calidad de vídeo propuestas en las normas actuales no son adecuadas para tratar con la variación temporal de la calidad que es consustancial de HAS. Esta tesis investiga la influencia de la adaptación dinámica en la calidad de la transmisión de vídeo considerando métodos de evaluación subjetiva. Tras un estudio exhaustivo del estado del arte en la evaluación subjetiva de QoE en HAS, se han resaltado los retos asociados y las líneas de investigación abiertas. Como resultado, se han seleccionado dos líneas principales de investigación: el análisis del impacto en la QoE de los parámetros de las técnicas de adaptación y la investigación de las metodologías de prueba subjetiva adecuada para evaluación de QoE en HAS. Se han llevado a cabo un conjunto de experimentos de laboratorio para investigar las cuestiones planteadas mediante la utilización de diferentes metodologáas para pruebas subjetivas. El análisis estadístico muestra que no son robustas todas las suposiciones y reivindicaciones de las referencias analizadas, en particular en lo que respecta al impacto en la QoE de la frecuencia de las variaciones de calidad, de las adaptaciones suaves o abruptas y de las oscilaciones de calidad. Por otra parte, nuestros resultados confirman la influencia de otros parámetros, como la longitud de los segmentos de vídeo y la amplitud de las oscilaciones de calidad. Los resultados también muestran que tomar en consideración las características objetivas de los contenidos puede ser beneficioso para la mejora de la QoE en HAS. Además, todos los resultados han sido validados mediante extensos análisis experimentales que han incluido estudio tanto en otros laboratorios como en crowdsourcing Por último, sobre los aspectos metodológicos de las pruebas subjetivas de QoE, se ha realizado la comparación entre los resultados experimentales obtenidos a partir de un método estandarizado basado en estímulos cortos (ACR) y un método semi continuo (desarrollado para la evaluación de secuencias prolongadas de vídeo). A pesar de algunas diferencias, el resultado de los análisis estadísticos no muestra ningún efecto significativo de la metodología de prueba. Asimismo, aunque se percibe la influencia de la presencia de audio en la evaluación de degradaciones del vídeo, no se han encontrado efectos estadísticamente significativos de dicha presencia. A partir de la ausencia de influencia del método de prueba y de la presencia de audio, se ha realizado un análisis adicional sobre el impacto de realizar comparaciones estadísticas múltiples en niveles estadísticos de importancia que aumentan la probabilidad de los errores de tipo-I (falsos positivos). Nuestros resultados muestran que, para obtener un efectos sólido en el análisis estadístico de los resultados subjetivos, es necesario aumentar el número de sujetos de las pruebas claramente por encima de los tamaños de muestras propuestos por las normas y recomendaciones actuales. ABSTRACT Optimizing the Quality of Experience (QoE) of HTTP adaptive video streaming (HAS) is receiving increasing attention nowadays. The growth of interest is mainly caused by the fact that current HAS solutions are not QoE-driven, i.e. end-user quality perception is not integral part of the adaptation logic. However, obtaining the necessary reliable ground truths on HAS QoE faces substantial challenges, since the subjective video quality assessment methodologies as proposed by current standards are not well-suited for dealing with the time-varying quality properties that are characteristic for HAS. This thesis investigates the influence of dynamic quality adaptation on the QoE of streaming video by means of subjective evaluation approaches. Based on a comprehensive survey of related work on subjective HAS QoE assessment, the related challenges and open research questions are highlighted and discussed. As a result, two main research directions are selected for further investigation: analysis of the QoE impact of different technical adaptation parameters, and investigation of testing methodologies suitable for HAS QoE evaluation. In order to investigate related research issues and questions, a set of laboratory experiments have been conducted using different subjective testing methodologies. Our statistical analysis demonstrates that not all assumptions and claims reported in the literature are robust, particularly as regards the QoE impact of switching frequency, smooth vs. abrupt switching, and quality oscillation. On the other hand, our results confirm the influence of some other parameters such as chunk length and switching amplitude on perceived quality. We also show that taking the objective characteristics of the content into account can be beneficial to improve the adaptation viewing experience. In addition, all aforementioned findings are validated by means of an extensive cross-experimental analysis that involves external laboratory and crowdsourcing studies. Finally, to address the methodological aspects of subjective QoE testing, a comparison between the experimental results obtained from a (short stimuli-based) ACR standardized method and a semi-continuous method (developed for assessment of long video sequences) has been performed. In spite of observation of some differences, the result of statistical analysis does not show any significant effect of testing methodology. Similarly, although the influence of audio presence on evaluation of video-related degradations is perceived, no statistically significant effect of audio presence could be found. Motivating by this finding (no effect of testing method and audio presence), a subsequent analysis has been performed investigating the impact of performing multiple statistical comparisons on statistical levels of significance which increase the likelihood of Type-I errors (false positives). Our results show that in order to obtain a strong effect from the statistical analysis of the subjective results, it is necessary to increase the number of test subjects well beyond the sample sizes proposed by current quality assessment standards and recommendations.