Relationship between objective and subjective indicators in urban soundscape analysis. The case of Cordoba - Argentina

This paper presents the main results of a comparative evaluation of some acoustical parameters with the user´s perception of urban sounds. The study was carried out in three open spaces integrated with different environmental characteristics but similar objective conditions of urban noise. The subjective evaluation was done by means of a survey simultaneously with the objective measurements. The results of the crossed analysis confirmed that in environments with similar noise levels not always exists direct correlation between the objetive indicators and the acoustic comfort of the people. To predict the acustical quality of the soundscape it is necessary to consider aspects such as the background noise and the perception of natural or technological sounds as complements of the general sound level.

Evaluation of angle-dependent absorption: Computer simulation and listening test for an objective and subjective evaluation

The aim of this thesis is the subjective and objective evaluation of angledependent absorption coefficients. As the assumption of a constant absorption coefficient over the angle of incidence is not always held, a new model acknowledging an angle-dependent reflection must be considered, to get a more accurate prediction in the sound field. The study provides information about the behavior of different materials in several rooms, depending on the reflection modeling of incident sound waves. An objective evaluation was run for an implementation of angle-dependent reflection factors in the image source and ray tracing simulation models. Results obtained were analysed after comparison to diffuse-field averaged data. However, changes in acoustic characteristics of a room do not always mean a variation in the listener’s perception. Thus, additional subjective evaluation allowed a comparison between the different results obtained with the computer simulation and the response from the individuals who participated in the listening test. The listening test was designed following a three-alternative forced-choice (3AFC) paradigm. In each interaction asked to the subjects a sequence of either three pink noise bursts or three natural signals was alternated. These results were supposed to show the influence and perception of the two different ways to implement surface reflection –either with diffuse or angle-dependent absorption properties. Results show slightly audible effects when material properties were exaggerated. El objetivo de este trabajo es la evaluación objetiva y subjetiva del coeficiente de absorción en función del ángulo de incidencia de la onda de sonido. La suposición de un coeficiente de absorción constante con respecto al ángulo de incidencia no siempre se sostiene. Por ello, un nuevo modelo considerando la reflexión dependiente del ángulo se debe tener en cuenta para obtener predicciones más certeras en el campo del sonido. El estudio proporciona información sobre el comportamiento de diferentes materiales en distintos recintos, dependientes del modelo de reflexión de las ondas de sonido incidentes. Debido a las dificultades a la hora de realizar las medidas y, por lo tanto, a la falta de datos, los coeficientes de absorción dependientes del ángulo a menudo no se tienen en cuenta a la hora de realizar las simulaciones. Hoy en día, aún no hay una tendencia de aplicar el coeficiente de absorción dependiente del ángulo para mejorar los modelos de reflexión. Por otra parte, para una medición satisfactoria de la absorción dependiente del ángulo, sólo hay unos pocos métodos. Las técnicas de medición actuales llevan mucho tiempo y hay algunos materiales, condiciones y ángulos que no pueden ser reproducidos y, por lo tanto, no es posible su medición. Sin embargo, en el presente estudio, los ángulos de incidencia de las ondas de sonido son conocidos y almacenados en una de base de datos para cada uno de los materiales, de modo que los coeficientes de absorción para el ángulo dado pueden ser devueltos siempre que sean requeridos por el usuario. Para realizar el estudio se llevó a cabo una evaluación objetiva, por medio de la implementación del factor de reflexión dependiente del ángulo en los modelos de fuentes imagen y trazado de rayos. Los resultados fueron analizados después de ser comparados con el promedio de los datos obtenidos en medidas en el campo difuso. La simulación se hizo una vez se configuraron un número de materiales creados por el autor, a partir de los datos existentes en la literatura y los catálogos de fabricantes. Los modelos de Komatsu y Mechel sirvieron como referencia para los materiales porosos, configurando la resistividad al aire o el grosor, y para los paneles perforados, introduciendo el radio de los orificios y la distancia entre centros, respectivamente. Estos materiales se situaban en la pared opuesta a la que se consideraba que debía alojar a la fuente sonora. El resto de superficies se modelaban con el mismo material, variando su coeficiente de absorción y/o de dispersión. Al mismo tiempo, una serie de recintos fueron modelados para poder reproducir distintos escenarios de los que obtener los resultados. Sin embargo, los cambios en las características acústicas de un recinto no significan variaciones en la percepción por parte del oyente. Por ello, una evaluación subjetiva adicional permitió una comparación entre los diferentes resultados obtenidos mediante la simulación informática y la respuesta de los individuos que participaron en la prueba de escucha. Ésta fue diseñada bajo las pautas del modelo de test three-alternative forced-choice (3AFC), con treinta y dos preguntas diferentes. En cada iteración los sujetos fueron preguntados por una secuencia alterna entre tres señales, siendo dos de ellas iguales. Éstas podían ser tanto ráfagas de ruido rosa como señales naturales, en este test se utilizó un fragmento de una obra clásica interpretada por un piano. Antes de contestar al cuestionario, los bloques de preguntas eran ordenados al azar. Para cada ensayo, la mezcla era diferente, así los sujetos no repetían la misma prueba, evitando un sesgo por efectos de aprendizaje. Los bloques se barajaban recordando siempre el orden inicial, para después almacenar los resultados reordenados. La prueba de escucha fue realizada por veintitrés personas, toda ellas con conocimientos dentro del campo de la acústica. Antes de llevar a cabo la prueba de escucha en un entorno adecuado, una hoja con las instrucciones fue facilitada a cada persona. Los resultados muestran la influencia y percepción de las dos maneras distintas de implementar las reflexiones de una superficie –ya sea con respecto a la propiedad de difusión o de absorción dependiente del ángulo de los materiales. Los resultados objetivos, después de ejecutar las simulaciones, muestran los datos medios obtenidos para comprender el comportamiento de distintos materiales de acuerdo con el modelo de reflexión utilizado en el caso de estudio. En las tablas proporcionadas en la memoria se muestran los valores del tiempo de reverberación, la claridad y el tiempo de caída temprana. Los datos de las características del recinto obtenidos en este análisis tienen una fuerte dependencia respecto al coeficiente de absorción de los diferentes materiales que recubren las superficies del cuarto. En los resultados subjetivos, la media de percepción, a la hora de distinguir las distintas señales, por parte de los sujetos, se situó significativamente por debajo del umbral marcado por el punto de inflexión de la función psicométrica. Sin embargo, es posible concluir que la mayoría de los individuos tienden a ser capaces de detectar alguna diferencia entre los estímulos presentados en el 3AFC test. En conclusión, la hipótesis de que los valores del coeficiente de absorción dependiente del ángulo difieren es contrastada. Pero la respuesta subjetiva de los individuos muestra que únicamente hay ligeras variaciones en la percepción si el coeficiente varía en intervalos pequeños entre los valores manejados en la simulación. Además, si los parámetros de los materiales acústicos no son exagerados, los sujetos no perciben ninguna variación. Los primeros resultados obtenidos, proporcionando información respecto a la dependencia del ángulo, llevan a una nueva consideración en el campo de la acústica, y en la realización de nuevos proyectos en el futuro. Para futuras líneas de investigación, las simulaciones se deberían realizar con distintos tipos de recintos, buscando escenarios con geometrías irregulares. También, la implementación de distintos materiales para obtener resultados más certeros. Otra de las fases de los futuros proyectos puede realizarse teniendo en cuenta el coeficiente de dispersión dependiente del ángulo de incidencia de la onda de sonido. En la parte de la evaluación subjetiva, realizar una serie de pruebas de escucha con distintos individuos, incluyendo personas sin una formación relacionada con la ingeniería acústica.

Acoustic study of the Compañía de Jesús church. Characterization by means of objective and subjective parameters

This work shows the objective results of the acoustic quality of the Compañia de Jesús Church in Cordoba, Argentina. The acoustics of this Temple, built by the Orden Jesuita (Jesuit Order) two centuries ago and declared a World Heritage Site by UNESCO in 2000, is currently considered optimal by musicians as well as general public. In the second half of XVI century, with the Catholic reform, the need for improved speech intelligibility was given priority, being the Jesuit one of the orders that gave most importance to the construction of their temples. This church has constructive and spatial characteristics consistent with those needs. With the purpose of carrying out the acoustic assessment of the precincts, a work methodology that allowed comparing the results obtained from objective measures was developed by means of implementation of field measurements and space modeling, with subjective appreciation results, by developing surveys, with the aim of characterizing acoustically the sound space. This paper shows the comparison between the subjective results and objective criteria, which allowed important conclusions on the acoustic behavior of the temple to be obtained. In this way interesting data were obtained in relation to the subjective response of the acoustics of the church.

Quality of experience of adaptive video streaming: investigation in service parameters and subjective quality assessment methodology

The usage of HTTP adaptive streaming (HAS) has become widely spread in multimedia services. Because it allows the service providers to improve the network resource utilization and user׳s Quality of Experience (QoE). Using this technology, the video playback interruption is reduced since the network and server status in addition to capability of user device, all are taken into account by HAS client to adapt the quality to the current condition. Adaptation can be done using different strategies. In order to provide optimal QoE, the perceptual impact of adaptation strategies from point of view of the user should be studied. However, the time-varying video quality due to the adaptation which usually takes place in a long interval introduces a new type of impairment making the subjective evaluation of adaptive streaming system challenging. The contribution of this paper is two-fold: first, it investigates the testing methodology to evaluate HAS QoE by comparing the subjective experimental outcomes obtained from ACR standardized method and a semi-continuous method developed to evaluate the long sequences. In addition, influence of using audiovisual stimuli to evaluate the video-related impairment is inquired. Second, impact of some of the adaptation technical factors including the quality switching amplitude and chunk size in combination with high range of commercial content type is investigated. The results of this study provide a good insight toward achieving appropriate testing method to evaluate HAS QoE, in addition to designing switching strategies with optimal visual quality.

Evidence of the presence of bias in subjective metrics: analysis within a family of experiments

Context: Measurement is crucial and important to empirical software engineering. Although reliability and validity are two important properties warranting consideration in measurement processes, they may be influenced by random or systematic error (bias) depending on which metric is used. Aim: Check whether, the simple subjective metrics used in empirical software engineering studies are prone to bias. Method: Comparison of the reliability of a family of empirical studies on requirements elicitation that explore the same phenomenon using different design types and objective and subjective metrics. Results: The objectively measured variables (experience and knowledge) tend to achieve more reliable results, whereas subjective metrics using Likert scales (expertise and familiarity) tend to be influenced by systematic error or bias. Conclusions: Studies that predominantly use variables measured subjectively, like opinion polls or expert opinion acquisition.

A speech interface for air traffic control terminals

Several issues concerning the current use of speech interfaces are discussed and the design and development of a speech interface that enables air traffic controllers to command and control their terminals by voice is presented. A special emphasis is made in the comparison between laboratory experiments and field experiments in which a set of ergonomics-related effects are detected that cannot be observed in the controlled laboratory experiments. The paper presents both objective and subjective performance obtained in field evaluation of the system with student controllers at an air traffic control (ATC) training facility. The system exhibits high word recognition test rates (0.4% error in Spanish and 1.5% in English) and low command error (6% error in Spanish and 10.6% error in English in the field tests). Subjective impression has also been positive, encouraging future development and integration phases in the Spanish ATC terminals designed by Aeropuertos Españoles y Navegación Aérea (AENA).

Evaluation of a User-Adapted Spoken Language Dialogue System: Measuring the Relevance of the Contextual Information Sources

We present an evaluation of a spoken language dialogue system with a module for the management of userrelated information, stored as user preferences and privileges. The flexibility of our dialogue management approach, based on Bayesian Networks (BN), together with a contextual information module, which performs different strategies for handling such information, allows us to include user information as a new level into the Context Manager hierarchy. We propose a set of objective and subjective metrics to measure the relevance of the different contextual information sources. The analysis of our evaluation scenarios shows that the relevance of the short-term information (i.e. the system status) remains pretty stable throughout the dialogue, whereas the dialogue history and the user profile (i.e. the middle-term and the long-term information, respectively) play a complementary role, evolving their usefulness as the dialogue evolves.

Contributions to the contextualization of human-machine spoken interaction systems

The design and development of spoken interaction systems has been a thoroughly studied research scope for the last decades. The aim is to obtain systems with the ability to interact with human agents with a high degree of naturalness and efficiency, allowing them to carry out the actions they desire using speech, as it is the most natural means of communication between humans. To achieve that degree of naturalness, it is not enough to endow systems with the ability to accurately understand the user’s utterances and to properly react to them, even considering the information provided by the user in his or her previous interactions. The system has also to be aware of the evolution of the conditions under which the interaction takes place, in order to act the most coherent way as possible at each moment. Consequently, one of the most important features of the system is that it has to be context-aware. This context awareness of the system can be reflected in the modification of the behaviour of the system taking into account the current situation of the interaction. For instance, the system should decide which action it has to carry out, or the way to perform it, depending on the user that requests it, on the way that the user addresses the system, on the characteristics of the environment in which the interaction takes place, and so on. In other words, the system has to adapt its behaviour to these evolving elements of the interaction. Moreover that adaptation has to be carried out, if possible, in such a way that the user: i) does not perceive that the system has to make any additional effort, or to devote interaction time to perform tasks other than carrying out the requested actions, and ii) does not have to provide the system with any additional information to carry out the adaptation, which could imply a lesser efficiency of the interaction, since users should devote several interactions only to allow the system to become adapted. In the state-of-the-art spoken dialogue systems, researchers have proposed several disparate strategies to adapt the elements of the system to different conditions of the interaction (such as the acoustic characteristics of a specific user’s speech, the actions previously requested, and so on). Nevertheless, to our knowledge there is not any consensus on the procedures to carry out these adaptation. The approaches are to an extent unrelated from one another, in the sense that each one considers different pieces of information, and the treatment of that information is different taking into account the adaptation carried out. In this regard, the main contributions of this Thesis are the following ones: Definition of a contextualization framework. We propose a unified approach that can cover any strategy to adapt the behaviour of a dialogue system to the conditions of the interaction (i.e. the context). In our theoretical definition of the contextualization framework we consider the system’s context as all the sources of variability present at any time of the interaction, either those ones related to the environment in which the interaction takes place, or to the human agent that addresses the system at each moment. Our proposal relies on three aspects that any contextualization approach should fulfill: plasticity (i.e. the system has to be able to modify its behaviour in the most proactive way taking into account the conditions under which the interaction takes place), adaptivity (i.e. the system has also to be able to consider the most appropriate sources of information at each moment, both environmental and user- and dialogue-dependent, to effectively adapt to the conditions aforementioned), and transparency (i.e. the system has to carry out the contextualizaton-related tasks in such a way that the user neither perceives them nor has to do any effort in providing the system with any information that it needs to perform that contextualization). Additionally, we could include a generality aspect to our proposed framework: the main features of the framework should be easy to adopt in any dialogue system, regardless of the solution proposed to manage the dialogue. Once we define the theoretical basis of our contextualization framework, we propose two cases of study on its application in a spoken dialogue system. We focus on two aspects of the interaction: the contextualization of the speech recognition models, and the incorporation of user-specific information into the dialogue flow. One of the modules of a dialogue system that is more prone to be contextualized is the speech recognition system. This module makes use of several models to emit a recognition hypothesis from the user’s speech signal. Generally speaking, a recognition system considers two types of models: an acoustic one (that models each of the phonemes that the recognition system has to consider) and a linguistic one (that models the sequences of words that make sense for the system). In this work we contextualize the language model of the recognition system in such a way that it takes into account the information provided by the user in both his or her current utterance and in the previous ones. These utterances convey information useful to help the system in the recognition of the next utterance. The contextualization approach that we propose consists of a dynamic adaptation of the language model that is used by the recognition system. We carry out this adaptation by means of a linear interpolation between several models. Instead of training the best interpolation weights, we make them dependent on the conditions of the dialogue. In our approach, the system itself will obtain these weights as a function of the reliability of the different elements of information available, such as the semantic concepts extracted from the user’s utterance, the actions that he or she wants to carry out, the information provided in the previous interactions, and so on. One of the aspects more frequently addressed in Human-Computer Interaction research is the inclusion of user specific characteristics into the information structures managed by the system. The idea is to take into account the features that make each user different from the others in order to offer to each particular user different services (or the same service, but in a different way). We could consider this approach as a user-dependent contextualization of the system. In our work we propose the definition of a user model that contains all the information of each user that could be potentially useful to the system at a given moment of the interaction. In particular we will analyze the actions that each user carries out throughout his or her interaction. The objective is to determine which of these actions become the preferences of that user. We represent the specific information of each user as a feature vector. Each of the characteristics that the system will take into account has a confidence score associated. With these elements, we propose a probabilistic definition of a user preference, as the action whose likelihood of being addressed by the user is greater than the one for the rest of actions. To include the user dependent information into the dialogue flow, we modify the information structures on which the dialogue manager relies to retrieve information that could be needed to solve the actions addressed by the user. Usage preferences become another source of contextual information that will be considered by the system towards a more efficient interaction (since the new information source will help to decrease the need of the system to ask users for additional information, thus reducing the number of turns needed to carry out a specific action). To test the benefits of the contextualization framework that we propose, we carry out an evaluation of the two strategies aforementioned. We gather several performance metrics, both objective and subjective, that allow us to compare the improvements of a contextualized system against the baseline one. We will also gather the user’s opinions as regards their perceptions on the behaviour of the system, and its degree of adaptation to the specific features of each interaction. Resumen El diseño y el desarrollo de sistemas de interacción hablada ha sido objeto de profundo estudio durante las pasadas décadas. El propósito es la consecución de sistemas con la capacidad de interactuar con agentes humanos con un alto grado de eficiencia y naturalidad. De esta manera, los usuarios pueden desempeñar las tareas que deseen empleando la voz, que es el medio de comunicación más natural para los humanos. A fin de alcanzar el grado de naturalidad deseado, no basta con dotar a los sistemas de la abilidad de comprender las intervenciones de los usuarios y reaccionar a ellas de manera apropiada (teniendo en consideración, incluso, la información proporcionada en previas interacciones). Adicionalmente, el sistema ha de ser consciente de las condiciones bajo las cuales transcurre la interacción, así como de la evolución de las mismas, de tal manera que pueda actuar de la manera más coherente en cada instante de la interacción. En consecuencia, una de las características primordiales del sistema es que debe ser sensible al contexto. Esta capacidad del sistema de conocer y emplear el contexto de la interacción puede verse reflejada en la modificación de su comportamiento debida a las características actuales de la interacción. Por ejemplo, el sistema debería decidir cuál es la acción más apropiada, o la mejor manera de llevarla a término, dependiendo del usuario que la solicita, del modo en el que lo hace, etcétera. En otras palabras, el sistema ha de adaptar su comportamiento a tales elementos mutables (o dinámicos) de la interacción. Dos características adicionales son requeridas a dicha adaptación: i) el usuario no ha de percibir que el sistema dedica recursos (temporales o computacionales) a realizar tareas distintas a las que aquél le solicita, y ii) el usuario no ha de dedicar esfuerzo alguno a proporcionar al sistema información adicional para llevar a cabo la interacción. Esto último implicaría una menor eficiencia de la interacción, puesto que los usuarios deberían dedicar parte de la misma a proporcionar información al sistema para su adaptación, sin ningún beneficio inmediato. En los sistemas de diálogo hablado propuestos en la literatura, se han propuesto diferentes estrategias para llevar a cabo la adaptación de los elementos del sistema a las diferentes condiciones de la interacción (tales como las características acústicas del habla de un usuario particular, o a las acciones a las que se ha referido con anterioridad). Sin embargo, no existe una estrategia fija para proceder a dicha adaptación, sino que las mismas no suelen guardar una relación entre sí. En este sentido, cada una de ellas tiene en cuenta distintas fuentes de información, la cual es tratada de manera diferente en función de las características de la adaptación buscada. Teniendo en cuenta lo anterior, las contribuciones principales de esta Tesis son las siguientes: Definición de un marco de contextualización. Proponemos un criterio unificador que pueda cubrir cualquier estrategia de adaptación del comportamiento de un sistema de diálogo a las condiciones de la interacción (esto es, el contexto de la misma). En nuestra definición teórica del marco de contextualización consideramos el contexto del sistema como todas aquellas fuentes de variabilidad presentes en cualquier instante de la interacción, ya estén relacionadas con el entorno en el que tiene lugar la interacción, ya dependan del agente humano que se dirige al sistema en cada momento. Nuestra propuesta se basa en tres aspectos que cualquier estrategia de contextualización debería cumplir: plasticidad (es decir, el sistema ha de ser capaz de modificar su comportamiento de la manera más proactiva posible, teniendo en cuenta las condiciones en las que tiene lugar la interacción), adaptabilidad (esto es, el sistema ha de ser capaz de considerar la información oportuna en cada instante, ya dependa del entorno o del usuario, de tal manera que adecúe su comportamiento de manera eficaz a las condiciones mencionadas), y transparencia (que implica que el sistema ha de desarrollar las tareas relacionadas con la contextualización de tal manera que el usuario no perciba la manera en que dichas tareas se llevan a cabo, ni tampoco deba proporcionar al sistema con información adicional alguna). De manera adicional, incluiremos en el marco propuesto el aspecto de la generalidad: las características del marco de contextualización han de ser portables a cualquier sistema de diálogo, con independencia de la solución propuesta en los mismos para gestionar el diálogo. Una vez hemos definido las características de alto nivel de nuestro marco de contextualización, proponemos dos estrategias de aplicación del mismo a un sistema de diálogo hablado. Nos centraremos en dos aspectos de la interacción a adaptar: los modelos empleados en el reconocimiento de habla, y la incorporación de información específica de cada usuario en el flujo de diálogo. Uno de los módulos de un sistema de diálogo más susceptible de ser contextualizado es el sistema de reconocimiento de habla. Este módulo hace uso de varios modelos para generar una hipótesis de reconocimiento a partir de la señal de habla. En general, un sistema de reconocimiento emplea dos tipos de modelos: uno acústico (que modela cada uno de los fonemas considerados por el reconocedor) y uno lingüístico (que modela las secuencias de palabras que tienen sentido desde el punto de vista de la interacción). En este trabajo contextualizamos el modelo lingüístico del reconocedor de habla, de tal manera que tenga en cuenta la información proporcionada por el usuario, tanto en su intervención actual como en las previas. Estas intervenciones contienen información (semántica y/o discursiva) que puede contribuir a un mejor reconocimiento de las subsiguientes intervenciones del usuario. La estrategia de contextualización propuesta consiste en una adaptación dinámica del modelo de lenguaje empleado en el reconocedor de habla. Dicha adaptación se lleva a cabo mediante una interpolación lineal entre diferentes modelos. En lugar de entrenar los mejores pesos de interpolación, proponemos hacer los mismos dependientes de las condiciones actuales de cada diálogo. El propio sistema obtendrá estos pesos como función de la disponibilidad y relevancia de las diferentes fuentes de información disponibles, tales como los conceptos semánticos extraídos a partir de la intervención del usuario, o las acciones que el mismo desea ejecutar. Uno de los aspectos más comúnmente analizados en la investigación de la Interacción Persona-Máquina es la inclusión de las características específicas de cada usuario en las estructuras de información empleadas por el sistema. El objetivo es tener en cuenta los aspectos que diferencian a cada usuario, de tal manera que el sistema pueda ofrecer a cada uno de ellos el servicio más apropiado (o un mismo servicio, pero de la manera más adecuada a cada usuario). Podemos considerar esta estrategia como una contextualización dependiente del usuario. En este trabajo proponemos la definición de un modelo de usuario que contenga toda la información relativa a cada usuario, que pueda ser potencialmente utilizada por el sistema en un momento determinado de la interacción. En particular, analizaremos aquellas acciones que cada usuario decide ejecutar a lo largo de sus diálogos con el sistema. Nuestro objetivo es determinar cuáles de dichas acciones se convierten en las preferencias de cada usuario. La información de cada usuario quedará representada mediante un vector de características, cada una de las cuales tendrá asociado un valor de confianza. Con ambos elementos proponemos una definición probabilística de una preferencia de uso, como aquella acción cuya verosimilitud es mayor que la del resto de acciones solicitadas por el usuario. A fin de incluir la información dependiente de usuario en el flujo de diálogo, llevamos a cabo una modificación de las estructuras de información en las que se apoya el gestor de diálogo para recuperar información necesaria para resolver ciertos diálogos. En dicha modificación las preferencias de cada usuario pasarán a ser una fuente adicional de información contextual, que será tenida en cuenta por el sistema en aras de una interacción más eficiente (puesto que la nueva fuente de información contribuirá a reducir la necesidad del sistema de solicitar al usuario información adicional, dando lugar en consecuencia a una reducción del número de intervenciones necesarias para llevar a cabo una acción determinada). Para determinar los beneficios de las aplicaciones del marco de contextualización propuesto, llevamos a cabo una evaluación de un sistema de diálogo que incluye las estrategias mencionadas. Hemos recogido diversas métricas, tanto objetivas como subjetivas, que nos permiten determinar las mejoras aportadas por un sistema contextualizado en comparación con el sistema sin contextualizar. De igual manera, hemos recogido las opiniones de los participantes en la evaluación acerca de su percepción del comportamiento del sistema, y de su capacidad de adaptación a las condiciones concretas de cada interacción.

La dimensión de la subjetividad en la formación del valor inmobiliario : aplicación del método de análisis de ecuaciones estructurales al mercado residencial de Lisboa

The discretionality and the appraisers’ subjectivity that characterize traditional real estate valuation are still allowed to take part in the formation of the asset price even when respecting international standards (EVS, IVS) or Appraisal Institution´s regulations (TEGOVA, RICS, etc.). The application of econometric and statistical methods to real estate valuation aims at the elimination of subjectivity on the appraisal process. But the unanswered question underneath this subject is the following: How important is the subjective component on real estate appraisal value formation? On this study Structural Equation Models (SEM) are used to determine the importance of the objective and subjective components on real estate valuation value formation as well as the weight of economic factors and the current economic context on real estate appraisal for mortgage purposes price formation. There were used two latent variables, Objective Component and Subjective Component, witch aggregate objective observed variables and subjective observed and unobserved variables, respectively. Factorial Exploratory Analysis is the statistical technique used in order to link the observed variables extracted from the valuation appraisal reports to the latent constructs derived from the theoretical model. SEM models were used to refine the model, eliminate non‐significant variables and to determine the weight of Objective and Subjective latent variables. These techniques were applied to a sample of over 11.000 real estate assets appraisal reports throughout the time period between November of 2006 and April of 2012. The real assets used on this study are located on Lisbon’s Metropolitan Area – “Grande Lisboa” –, Portugal. From this study, we conclude that Subjective Component has a considerable weight on real estate appraisal value formation and that the external factor Economic Situation has a very small impact on real estate appraisal value formation.

E-MIS validity applied to TELMA enhanced learning environment

Enhanced learning environments are arising with great success within the field of cognitive skills training in minimally invasive surgery (MIS) because they provides multiple benefits since they avoid time, spatial and cost constraints. TELMA [1,2] is a new technology enhanced learning platform that promotes collaborative and ubiquitous training of surgeons. This platform is based on four main modules: an authoring tool, a learning content and knowledge management system, an evaluation module and a professional network. TELMA has been designed and developed focused on the user; therefore it is necessary to carry out a user validation as final stage of the development. For this purpose, e-MIS validity [3] has been defined. This validation includes usability, contents and functionality validities both for the development and production stages of any e-Learning web platform. Using e-MIS validity, the e-Learning is fully validated since it includes subjective and objective metrics. The purpose of this study is to specify and apply a set of objective and subjective metrics using e-MIS validity to test usability, contents and functionality of TELMA environment within the development stage.

Assessment methodology applied to demand measures to change urban mobility behavior

In order to minimize car-based trips, transport planners have been particularly interested in understanding the factors that explain modal choices. Transport modelling literature has been increasingly aware that socioeconomic attributes and quantitative variables are not sufficient to characterize travelers and forecast their travel behavior. Recent studies have also recognized that users’ social interactions and land use patterns influence travel behavior, especially when changes to transport systems are introduced; but links between international and Spanish perspectives are rarely dealt with. The overall objective of the thesis is to develop a stepped methodology that integrate diverse perspectives to evaluate the willingness to change patterns of urban mobility in Madrid, based on four steps: (1st) analysis of causal relationships between both objective and subjective personal variables, and travel behavior to capture pro-car and pro-public transport intentions; (2nd) exploring the potential influence of individual trip characteristics and social influence variables on transport mode choice; (3rd) identifying built environment dimensions on travel behavior; and (4th) exploring the potential influence on transport mode choice of extrinsic characteristics of individual trip using panel data, land use variables using spatial characteristics and social influence variables. The data used for this thesis have been collected from a two panel smartphone-based survey (n=255 and 190 respondents, respectively) carried out in Madrid. Although the steps above are mainly methodological, the application to the area of Madrid allows deriving important results that can be directly used to forecast travel demand and to evaluate the benefits of specific policies that might be implemented in the area. The results demonstrated, respectively: (1st) transport policy actions are more likely to be effective when pro-car intention has been disrupted first; (2nd) the consideration of “helped” and “voluntary” users as tested here could have a positive and negative impact, respectively, on the use of public transport; (3rd) the importance of density, design, diversity and accessibility underlying dimensions responsible for land use variables; and (4th) there are clearly different types of combinations of social interactions, land use and time frame on travel behavior studies. Finally, with the objective to study the impact of demand measures to change urban mobility behavior, those previous results have been considered in a unique way, a hybrid discrete choice model has been used on a 5th step. Then it can be concluded that urban mobility behavior is not only ruled by the maximum utility criterion, but also by a strong psychological-environment concept, developed without the mediation of cognitive processes during choice, i.e., many people using public transport on their way to work do not do it for utilitarian reasons, but because no other choice is available. Regarding built environment dimensions, the more diversity place of residence, the more difficult the use of public transport or walking.

Insertion of impairments in test video sequences for quality assessment based on psychovisual characteristics

Assessing video quality is a complex task. While most pixel-based metrics do not present enough correlation between objective and subjective results, algorithms need to correspond to human perception when analyzing quality in a video sequence. For analyzing the perceived quality derived from concrete video artifacts in determined region of interest we present a novel methodology for generating test sequences which allow the analysis of impact of each individual distortion. Through results obtained after subjective assessment it is possible to create psychovisual models based on weighting pixels belonging to different regions of interest distributed by color, position, motion or content. Interesting results are obtained in subjective assessment which demonstrates the necessity of new metrics adapted to human visual system.

Methodology for developing an advanced communications system for the Deaf in a new domain

A methodology for developing an advanced communications system for the Deaf in a new domain is presented in this paper. This methodology is a user-centred design approach consisting of four main steps: requirement analysis, parallel corpus generation, technology adaptation to the new domain, and finally, system evaluation. During the requirement analysis, both the user and technical requirements are evaluated and defined. For generating the parallel corpus, it is necessary to collect Spanish sentences in the new domain and translate them into LSE (Lengua de Signos Española: Spanish Sign Language). LSE is represented by glosses and using video recordings. This corpus is used for training the two main modules of the advanced communications system to the new domain: the spoken Spanish into the LSE translation module and the Spanish generation from the LSE module. The main aspects to be generated are the vocabularies for both languages (Spanish words and signs), and the knowledge for translating in both directions. Finally, the field evaluation is carried out with deaf people using the advanced communications system to interact with hearing people in several scenarios. In this evaluation, the paper proposes several objective and subjective measurements for evaluating the performance. In this paper, the new considered domain is about dialogues in a hotel reception. Using this methodology, the system was developed in several months, obtaining very good performance: good translation rates (10% Sign Error Rate) with small processing times, allowing face-to-face dialogues.

An ICT-based closed-loop model to improve care for heart failure patients

Durante las últimas décadas se ha producido un fenómeno global de envejecimiento en la población. Esta tendencia se puede observar prácticamente en todos los países del mundo y se debe principalmente a los avances en la medicina, y a los descensos en las tasas de fertilidad y mortalidad. El envejecimiento de la población tiene un gran impacto en la salud de los ciudadanos, y a menudo es la causa de aparición de enfermedades crónicas. Este tipo de enfermedades supone una amenaza y una carga importantes para la sociedad, especialmente en aspectos como la mortalidad o los gastos en los sistemas sanitarios. Entre las enfermedades cardiovasculares, la insuficiencia cardíaca es probablemente la condición con mayor prevalencia y afecta a 23-26 millones de personas en todo el mundo. Normalmente, la insuficiencia cardíaca presenta un mal pronóstico y una tasa de supervivencia bajas, en algunos casos peores que algún tipo de cáncer. Además, suele ser la causa de hospitalizaciones frecuentes y es una de las enfermedades más costosas para los sistemas sanitarios. La tendencia al envejecimiento de la población y la creciente incidencia de las enfermedades crónicas están llevando a una situación en la que los sistemas de salud no son capaces de hacer frente a la demanda de la sociedad. Los servicios de salud existentes tendrán que adaptarse para ser efectivos y sostenibles en el futuro. Es necesario identificar nuevos paradigmas de cuidado de pacientes, así como mecanismos para la provisión de servicios que ayuden a transformar estos sistemas sanitarios. En este contexto, esta tesis se plantea la búsqueda de soluciones, basadas en las Tecnologías de la Información y la Comunicación (TIC), que contribuyan a realizar la transformación en los sistemas sanitarios. En concreto, la tesis se centra en abordar los problemas de una de las enfermedades con mayor impacto en estos sistemas: la insuficiencia cardíaca. Las siguientes hipótesis constituyen la base para la realización de este trabajo de investigación: 1. Es posible definir un modelo basado en el paradigma de lazo cerrado y herramientas TIC que formalice el diseño de mejores servicios para pacientes con insuficiencia cardíaca. 2. El modelo de lazo cerrado definido se puede utilizar para definir un servicio real que ayude a gestionar la insuficiencia cardíaca crónica. 3. La introducción, la adopción y el uso de un servicio basado en el modelo definido se traducirá en mejoras en el estado de salud de los pacientes que sufren insuficiencia cardíaca. a. La utilización de un sistema basado en el modelo de lazo cerrado definido mejorará la experiencia del usuario de los pacientes. La definición del modelo planteado se ha basado en el estándar ISO / EN 13940- Sistema de conceptos para dar soporte a la continuidad de la asistencia. Comprende un conjunto de conceptos, procesos, flujos de trabajo, y servicios como componentes principales, y representa una formalización de los servicios para los pacientes con insuficiencia cardíaca. Para evaluar el modelo definido se ha definido un servicio real basado en el mismo, además de la implementación de un sistema de apoyo a dicho servicio. El diseño e implementación de dicho sistema se realizó siguiendo la metodología de Diseño Orientado a Objetivos. El objetivo de la evaluación consistía en investigar el efecto que tiene un servicio basado en el modelo de lazo cerrado sobre el estado de salud de los pacientes con insuficiencia cardíaca. La evaluación se realizó en el marco de un estudio clínico observacional. El análisis de los resultados ha comprendido métodos de análisis cuantitativos y cualitativos. El análisis cuantitativo se ha centrado en determinar el estado de salud de los pacientes en base a datos objetivos (obtenidos en pruebas de laboratorio o exámenes médicos). Para realizar este análisis se definieron dos índices específicos: el índice de estabilidad y el índice de la evolución del estado de salud. El análisis cualitativo ha evaluado la autopercepción del estado de salud de los pacientes en términos de calidad de vida, auto-cuidado, el conocimiento, la ansiedad y la depresión, así como niveles de conocimiento. Se ha basado en los datos recogidos mediante varios cuestionarios o instrumentos estándar (i.e. EQ-5D, la Escala de Ansiedad y Depresión (HADS), el Cuestionario de Cardiomiopatía de Kansas City (KCCQ), la Escala Holandesa de Conocimiento de Insuficiencia Cardíaca (DHFKS), y la Escala Europea de Autocuidado en Insuficiencia Cardíaca (EHFScBS), así como cuestionarios dedicados no estandarizados de experiencia de usuario. Los resultados obtenidos en ambos análisis, cuantitativo y cualitativo, se compararon con el fin de evaluar la correlación entre el estado de salud objetivo y subjetivo de los pacientes. Los resultados de la validación demostraron que el modelo propuesto tiene efectos positivos en el cuidado de los pacientes con insuficiencia cardíaca y contribuye a mejorar su estado de salud. Asimismo, ratificaron al modelo como instrumento válido para la definición de servicios mejorados para la gestión de esta enfermedad. ABSTRACT During the last decades we have witnessed a global aging phenomenon in the population. This can be observed in practically every country in the world, and it is mainly caused by the advances in medicine, and the decrease of mortality and fertility rates. Population aging has an important impact on citizens’ health and it is often the cause for chronic diseases, which constitute global burden and threat to the society in terms of mortality and healthcare expenditure. Among chronic diseases, Chronic Heart Failure (CHF) or Heart Failure (HF) is probably the one with highest prevalence, affecting between 23 and 26 million people worldwide. Heart failure is a chronic, long-term and serious condition with very poor prognosis and worse survival rates than some type of cancers. Additionally, it is often the cause of frequent hospitalizations and one of the most expensive conditions for the healthcare systems. The aging trends in the population and the increasing incidence of chronic diseases are leading to a situation where healthcare systems are not able to cope with the society demand. Current healthcare services will have to be adapted and redefined in order to be effective and sustainable in the future. There is a need to find new paradigms for patients’ care, and to identify new mechanisms for services’ provision that help to transform the healthcare systems. In this context, this thesis aims to explore new solutions, based on ICT, that contribute to achieve the needed transformation within the healthcare systems. In particular, it focuses on addressing the problems of one of the diseases with higher impact within these systems: Heart Failure. The following hypotheses represent the basis to the elaboration of this research: 1. It is possible to define a model based on a closed-loop paradigm and ICT tools that formalises the design of enhanced healthcare services for chronic heart failure patients. 2. The described closed-loop model can be exemplified in a real service that supports the management of chronic heart failure disease. 3. The introduction, adoption and use of a service based on the outlined model will result in improvements in the health status of patients suffering heart failure. 4. The user experience of patients when utilizing a system based on the defined closed-loop model will be enhanced. The definition of the closed-loop model for health care support of heart failure patients have been based on the standard ISO/EN 13940 System of concepts to support continuity of care. It includes a set of concept, processes and workflows, and services as main components, and it represent a formalization of services for heart failure patients. In order to be validated, the proposed closed-loop model has been instantiated into a real service and a supporting IT system. The design and implementation of the system followed the user centred design methodology Goal Oriented Design. The validation, that included an observational clinical study, aimed to investigate the effect that a service based on the closed-loop model had on heart failure patients’ health status. The analysis of results comprised quantitative and qualitative analysis methods. The quantitative analysis was focused on determining the health status of patients based on objective data (obtained in lab tests or physical examinations). Two specific indexes where defined and considered in this analysis: the stability index and the health status evolution index. The qualitative analysis assessed the self-perception of patients’ health status in terms of quality of life, self-care, knowledge, anxiety and depression, as well as knowledge levels. It was based on the data gathered through several standard instruments (i.e. EQ-5D, the Hospital Anxiety and Depression Scale, the Kansas City Cardiomyopathy Questionnaire, the Dutch Heart Failure Knowledge Scale, and the European Heart Failure Self-care Behaviour Scale) as well as dedicated non-standardized user experience questionnaires. The results obtained in both analyses, quantitative and qualitative, were compared in order to assess the correlation between the objective and subjective health status of patients. The results of the validation showed that the proposed model contributed to improve the health status of the patients and had a positive effect on the patients’ care. It also proved that the model is a valid instrument for designing enhanced healthcare services for heart failure patients.

Systems and technologies for objective evaluation of technical skills in laparoscopic surgery

Minimally invasive surgery is a highly demanding surgical approach regarding technical requirements for the surgeon, who must be trained in order to perform a safe surgical intervention. Traditional surgical education in minimally invasive surgery is commonly based on subjective criteria to quantify and evaluate surgical abilities, which could be potentially unsafe for the patient. Authors, surgeons and associations are increasingly demanding the development of more objective assessment tools that can accredit surgeons as technically competent. This paper describes the state of the art in objective assessment methods of surgical skills. It gives an overview on assessment systems based on structured checklists and rating scales, surgical simulators, and instrument motion analysis. As a future work, an objective and automatic assessment method of surgical skills should be standardized as a means towards proficiency-based curricula for training in laparoscopic surgery and its certification.