Diseño de una interfaz de representación gráfica de la base de datos de HRTF

El actual proyecto consiste en la creación de una interfaz gráfica de usuario (GUI) en entorno de MATLAB que realice una representación gráfica de la base de datos de HRTF (Head-Related Transfer Function). La función de transferencia de la cabeza es una herramienta muy útil en el estudio de la capacidad del ser humano para percibir su entorno sonoro, además de la habilidad de éste en la localización de fuentes sonoras en el espacio que le rodea. La HRTF biaural (terminología para referirse al conjunto de HRTF del oído izquierdo y del oído derecho) en sí misma, posee información de especial interés ya que las diferencias entre las HRTF de cada oído, conceden la información que nuestro sistema de audición utiliza en la percepción del campo sonoro. Por ello, la funcionalidad de la interfaz gráfica creada presenta gran provecho dentro del estudio de este campo. Las diferencias interaurales se caracterizan en amplitud y en tiempo, variando en función de la frecuencia. Mediante la transformada inversa de Fourier de la señal HRTF, se obtiene la repuesta al impulso de la cabeza, es decir, la HRIR (Head-Related Impulse Response). La cual, además de tener una gran utilidad en la creación de software o dispositivos de generación de sonido envolvente, se utiliza para obtener las diferencias ITD (Interaural Time Difference) e ILD (Interaural Time Difference), comúnmente denominados “parámetros de localización espacial”. La base de datos de HRTF contiene la información biaural de diferentes puntos de ubicación de la fuente sonora, formando una red de coordenadas esféricas que envuelve la cabeza del sujeto. Dicha red, según las medidas realizadas en la cámara anecoica de la EUITT (Escuela Universitaria de Ingeniería Técnica de Telecomunicación), presenta una precisión en elevación de 10º y en azimut de 5º. Los receptores son dos micrófonos alojados en el maniquí acústico llamado HATS (Hats and Torso Simulator) modelo 4100D de Brüel&Kjaer. Éste posee las características físicas que influyen en la percepción del entorno como son las formas del pabellón auditivo (pinna), de la cabeza, del cuello y del torso humano. Será necesario realizar los cálculos de interpolación para todos aquellos puntos no contenidos en la base de datos HRTF, este proceso es sumamente importante no solo para potenciar la capacidad de la misma sino por su utilidad para la comparación entre otras bases de datos existentes en el estudio de este ámbito. La interfaz gráfica de usuario está concebida para un manejo sencillo, claro y predecible, a la vez que interactivo. Desde el primer boceto del programa se ha tenido clara su filosofía, impuesta por las necesidades de un usuario que busca una herramienta práctica y de manejo intuitivo. Su diseño de una sola ventana reúne tanto los componentes de obtención de datos como los que hacen posible la representación gráfica de las HRTF, las HRIR y los parámetros de localización espacial, ITD e ILD. El usuario podrá ir alternando las representaciones gráficas a la vez que introduce las coordenadas de los puntos que desea visualizar, definidas por phi (elevación) y theta (azimut). Esta faceta de la interfaz es la que le otorga una gran facilidad de acceso y lectura de la información representada en ella. Además, el usuario puede introducir valores incluidos en la base de datos o valores intermedios a estos, de esta manera, se indica a la interfaz la necesidad de realizar la interpolación de los mismos. El método de interpolación escogido es el de la ponderación de la distancia inversa entre puntos. Dependiendo de los valores introducidos por el usuario se realizará una interpolación de dos o cuatro puntos, siendo éstos limítrofes al valor introducido, ya sea de phi o theta. Para añadir versatilidad a la interfaz gráfica de usuario, se ha añadido la opción de generar archivos de salida en forma de imagen de las gráficas representadas, de tal forma que el usuario pueda extraer los datos que le interese para cualquier valor de phi y theta. Se completa el presente proyecto fin de carrera con un trabajo de investigación y estudio comparativo de la función y la aplicación de las bases de datos de HRTF dentro del marco científico y de investigación. Esto ha hecho posible concentrar información relacionada a través de revistas científicas de investigación como la JAES (Journal of the Audio Engineering Society) o la ASA (Acoustical Society of America), además, del IEEE ( Institute of Electrical and Electronics Engineers) o la “Web of knowledge” entre otras. Además de realizar la búsqueda en estas fuentes, se ha optado por vías de información más comunes como Google Académico o el portal de acceso “Ingenio” a los todos los recursos electrónicos contenidos en la base de datos de la universidad. El estudio genera una ampliación en el conocimiento de la labor práctica de las HRTF. La mayoría de los estudios enfocan sus esfuerzos en mejorar la percepción del evento sonoro mediante su simulación en la escucha estéreo o multicanal. A partir de las HRTF, esto es posible mediante el análisis y el cálculo de datos como pueden ser las regresiones, siendo éstas muy útiles en la predicción de una medida basándose en la información de la actual. Otro campo de especial interés es el de la generación de sonido 3D. Mediante la base de datos HRTF es posible la simulación de una señal biaural. Se han diseñado algoritmos que son implementados en dispositivos DSP, de tal manera que por medio de retardos interaurales y de diferencias espectrales es posible llegar a un resultado óptimo de sonido envolvente, sin olvidar la importancia de los efectos de reverberación para conseguir un efecto creíble de sonido envolvente. Debido a la complejidad computacional que esto requiere, gran parte de los estudios coinciden en desarrollar sistemas más eficientes, llegando a objetivos tales como la generación de sonido 3D en tiempo real. ABSTRACT. This project involves the creation of a Graphic User Interface (GUI) in the Matlab environment which creates a graphic representation of the HRTF (Head-Related Transfer Function) database. The head transfer function is a very useful tool in the study of the capacity of human beings to perceive their sound environment, as well as their ability to localise sound sources in the area surrounding them. The binaural HRTF (terminology which refers to the HRTF group of the left and right ear) in itself possesses information of special interest seeing that the differences between the HRTF of each ear admits the information that our system of hearing uses in the perception of each sound field. For this reason, the functionality of the graphic interface created presents great benefits within the study of this field. The interaural differences are characterised in space and in time, varying depending on the frequency. By means of Fourier's transformed inverse of the HRTF signal, the response to the head impulse is obtained, in other words, the HRIR (Head-Related Impulse Response). This, as well as having a great use in the creation of software or surround sound generating devices, is used to obtain ITD differences (Interaural Time Difference) and ILD (Interaural Time Difference), commonly named “spatial localisation parameters”. The HRTF database contains the binaural information of different points of sound source location, forming a network of spherical coordinates which surround the subject's head. This network, according to the measures carried out in the anechoic chamber at the EUITT (School of Telecommunications Engineering) gives a precision in elevation of 10º and in azimuth of 5º. The receivers are two microphones placed on the acoustic mannequin called HATS (Hats and Torso Simulator) Brüel&Kjaer model 4100D. This has the physical characteristics which affect the perception of the surroundings which are the forms of the auricle (pinna), the head, neck and human torso. It will be necessary to make interpolation calculations for all those points which are not contained the HRTF database. This process is extremely important not only to strengthen the database's capacity but also for its usefulness in making comparisons with other databases that exist in the study of this field. The graphic user interface is conceived for a simple, clear and predictable use which is also interactive. Since the first outline of the program, its philosophy has been clear, based on the needs of a user who requires a practical tool with an intuitive use. Its design with only one window unites not only the components which obtain data but also those which make the graphic representation of the HRTFs possible, the hrir and the ITD and ILD spatial location parameters. The user will be able to alternate the graphic representations at the same time as entering the point coordinates that they wish to display, defined by phi (elevation) and theta (azimuth). The facet of the interface is what provides the great ease of access and reading of the information displayed on it. In addition, the user can enter values included in the database or values which are intermediate to these. It is, likewise, indicated to the interface the need to carry out the interpolation of these values. The interpolation method is the deliberation of the inverse distance between points. Depending on the values entered by the user, an interpolation of two or four points will be carried out, with these being adjacent to the entered value, whether that is phi or theta. To add versatility to the graphic user interface, the option of generating output files in the form of an image of the graphics displayed has been added. This is so that the user may extract the information that interests them for any phi and theta value. This final project is completed with a research and comparative study essay on the function and application of HRTF databases within the scientific and research framework. It has been possible to collate related information by means of scientific research magazines such as the JAES (Journal of the Audio Engineering Society), the ASA (Acoustical Society of America) as well as the IEEE (Institute of Electrical and Electronics Engineers) and the “Web of knowledge” amongst others. In addition to carrying out research with these sources, I also opted to use more common sources of information such as Academic Google and the “Ingenio” point of entry to all the electronic resources contained on the university databases. The study generates an expansion in the knowledge of the practical work of the HRTF. The majority of studies focus their efforts on improving the perception of the sound event by means of its simulation in stereo or multichannel listening. With the HRTFs, this is possible by means of analysis and calculation of data as can be the regressions. These are very useful in the prediction of a measure being based on the current information. Another field of special interest is that of the generation of 3D sound. Through HRTF databases it is possible to simulate the binaural signal. Algorithms have been designed which are implemented in DSP devices, in such a way that by means of interaural delays and wavelength differences it is possible to achieve an excellent result of surround sound, without forgetting the importance of the effects of reverberation to achieve a believable effect of surround sound. Due to the computational complexity that this requires, a great many studies agree on the development of more efficient systems which achieve objectives such as the generation of 3D sound in real time.

3-dimensional binaural sound rendering using acoustic measurements stored in the SOFA format

Several groups all over the world are researching in several ways to render 3D sounds. One way to achieve this is to use Head Related Transfer Functions (HRTFs). These measurements contain the Frequency Response of the human head and torso for each angle. Some years ago, was only possible to measure these Frequency Responses only in the horizontal plane. Nowadays, several improvements have made possible to measure and use 3D data for this purpose. The problem was that the groups didn't have a standard format file to store the data. That was a problem when a third part wanted to use some different HRTFs for 3D audio rendering. Every of them have different ways to store the data. The Spatially Oriented Format for Acoustics or SOFA was created to provide a solution to this problem. It is a format definition to unify all the previous different ways of storing any kind of acoustics data. At the moment of this project they have defined some basis for the format and some recommendations to store HRTFs. It is actually under development, so several changes could come. The SOFA[1] file format uses a numeric container called netCDF[2], specifically the Enhaced data model described in netCDF 4 that is based on HDF5[3]. The SoundScape Renderer (SSR) is a tool for real-time spatial audio reproduction providing a variety of rendering algorithms. The SSR was developed at the Quality and Usability Lab at TU Berlin and is now further developed at the Institut für Nachrichtentechnik at Universität Rostock [4]. This project is intended to be an introduction to the use of SOFA files, providing a C++ API to manipulate them and adapt the binaural renderer of the SSR for working with the SOFA format. RESUMEN. El SSR (SoundScape Renderer) es un programa que está siendo desarrollado actualmente por la Universität Rostock, y previamente por la Technische Universität Berlin. El SSR es una herramienta diseñada para la reproducción y renderización de audio 2D en tiempo real. Para ello utiliza diversos algoritmos, algunos orientados a sistemas formados por arrays de altavoces en diferentes configuraciones y otros algoritmos diseñados para cascos. El principal objetivo de este proyecto es dotar al SSR de la capacidad de renderizar sonidos binaurales en 3D. Este proyecto está centrado en el binaural renderer del SSR. Este algoritmo se basa en el uso de HRTFs (Head Related Transfer Function). Las HRTFs representan la función de transferencia del sistema formado por la cabeza y el torso del oyente. Esta función es medida desde diferentes ángulos. Con estos datos el binaural renderer puede generar audio en tiempo real simulando la posición de diferentes fuentes. Para poder incluir una base de datos con HRTFs en 3D se ha hecho uso del nuevo formato SOFA (Spatially Oriented Format for Acoustics). Este nuevo formato se encuentra en una fase bastante temprana de su desarrollo. Está pensado para servir como formato estándar para almacenar HRTFs y cualquier otro tipo de medidas acústicas, ya que actualmente cada laboratorio cuenta con su propio formato de almacenamiento y esto hace bastante difícil usar varias bases de datos diferentes en un mismo proyecto. El formato SOFA hace uso del contenedor numérico netCDF, que a su vez esta basado en un contenedor más básico llamado HRTF-5. Para poder incluir el formato SOFA en el binaural renderer del SSR se ha desarrollado una API en C++ para poder crear y leer archivos SOFA con el fin de utilizar los datos contenidos en ellos dentro del SSR.

Análisis del comportamiento visual de taekwondistas de diferente nivel de pericia

El propósito de este estudio fue analizar y comparar el comportamiento visual de taekwondistas de diferente nivel de pericia (17 expertos, 7 experimentados y 9 novatos) ante una situación de combate simulada en laboratorio. Se empleó el pupilómetro Mobile Eye ASL para registrar la mirada mientras visionaban acciones de ataque grabadas y presentadas a tamaño real. Los resultados mostraron que mientras que los taekwondistas novatos mostraron un mayor número de fijaciones de menor duración en zonas corporales como la cabeza o piernas del oponente a medida que aumentaban el nivel de pericia (experimentados y expertos)el comportamiento visual se caracterizó por un menor número de fijaciones pero de mayor duración en la zona del torso del oponente. Los taekwondistas expertos mostraron una estrategia visual muy diferenciada basada en un pivote visual y una estabilización de la mirada, quite eye, antes de la toma de decisiones.

Fast human pose estimation using 3D Zernike descriptors

Markerless video-based human pose estimation algorithms face a high-dimensional problem that is frequently broken down into several lower-dimensional ones by estimating the pose of each limb separately. However, in order to do so they need to reliably locate the torso, for which they typically rely on time coherence and tracking algorithms. Their losing track usually results in catastrophic failure of the process, requiring human intervention and thus precluding their usage in real-time applications. We propose a very fast rough pose estimation scheme based on global shape descriptors built on 3D Zernike moments. Using an articulated model that we configure in many poses, a large database of descriptor/pose pairs can be computed off-line. Thus, the only steps that must be done on-line are the extraction of the descriptors for each input volume and a search against the database to get the most likely poses. While the result of such process is not a fine pose estimation, it can be useful to help more sophisticated algorithms to regain track or make more educated guesses when creating new particles in particle-filter-based tracking schemes. We have achieved a performance of about ten fps on a single computer using a database of about one million entries.

Análisis de la marcha: evaluación de un exoesqueleto aplicado a la marcha asistida

La marcha humana es el mecanismo de locomoción por el cual el cuerpo humano se traslada en línea recta gracias a una serie de movimientos coordinados de la pelvis y de las articulaciones del miembro inferior. Frecuentemente se encuentra influenciada por factores biomecánicos, anatómicos o patologías del sistema neuromusculoesquelético que modifican la forma de caminar de cada individuo. La lesión de médula espinal es una de las patologías que afectan el desarrollo normal de los patrones de la marcha por alteración de la movilidad, de la sensibilidad o del sistema nervioso autónomo. Aunque la lesión medular afecta otras funciones, además de la pérdida de función motora y sensorial, la recuperación de la capacidad de caminar es la mayor prioridad identificada por los pacientes durante la rehabilitación. Por ello, el desarrollo de dispositivos que faciliten la rehabilitación o compensación de la marcha es uno de los principales objetivos de diferentes grupos de investigación y empresas. En el contexto del proyecto Hybrid Technological Platform for Rehabilitation, Functional Compensation and Training of Gait in Spinal Cord Injury Patients se ha desarrollado un dispositivo que combina una órtesis activa (exoesqueleto) y un andador motorizado. Este sistema, como otros dispositivos, tiene el movimiento humano como estándar de referencia, no obstante no se evalúa de manera habitual, cómo es el patrón de la marcha reproducido y su similitud o diferencias con la marcha humana, o las modificaciones o adaptaciones en la interacción con el cuerpo del paciente. El presente estudio trata de examinar las características de la marcha normal en diversos grupos de población, y las diferencias con el patrón de marcha lenta. Finalmente, se pretende evaluar qué modificaciones y adaptaciones sufre el patrón de marcha lenta teórico al ser reproducido por el exoesqueleto. La presente investigación consiste en un estudio cuantitativo transversal desarrollado en dos etapas: estudio 1 y estudio 2. En el estudio 1 se analizó el patrón de la marcha a velocidad libremente seleccionada (normal) y el patrón de la marcha a velocidad lenta (0.25m/s) en 62 sujetos distribuidos en grupos considerando el sexo y los percentiles 25, 50 y 75 de estatura de la población española. Durante el estudio 2 se analizó el patrón de la marcha lenta reproducido por el dispositivo Hybrid a diferentes porcentajes de peso corporal (30%, 50% y 70%) en diez sujetos seleccionados aleatoriamente de la muestra del estudio 1. En ambos estudios se obtuvieron variables espacio-temporales y cinemáticas mediante un sistema de captura de movimiento con 6 cámaras distribuidas a lo largo de un pasillo de marcha. Se calcularon las medias, las desviaciones estándar y el 95% de intervalo de confianza, y el nivel alfa de significación se estableció en α=0.05 para todas las pruebas estadísticas. Las principales diferencias en el patrón normal de la marcha se encontraron en los parámetros cinemáticos de hombres y mujeres, aunque también se presentaron diferencias entre los grupos en función de la estatura. Las mujeres mostraron mayor flexión de cadera y rodilla, y mayor extensión de tobillo que los hombres durante el ciclo normal, aunque la basculación lateral de la pelvis, mayor en las mujeres, y el desplazamiento lateral del centro de gravedad, mayor en los hombres, fueron los parámetros identificados como principales discriminantes entre sexos. La disminución de la velocidad de la marcha mostró similares adaptaciones y modificaciones en hombres y en mujeres, presentándose un aumento de la fase de apoyo y una disminución de la fase de oscilación, un retraso de los máximos y mínimos de flexoextensión de cadera, rodilla y tobillo, y una disminución del rango articular en las tres articulaciones. Asimismo, la basculación lateral de la pelvis y el movimiento vertical del centro de gravedad disminuyeron, mientras que el movimiento lateral del centro de gravedad y el ancho de paso aumentaron. Durante la evaluación del patrón de la marcha reproducido por el exoesqueleto se observó que las tres articulaciones del miembro inferior disminuían el rango de movimiento por la falta de fuerza de los motores para contrarrestar el peso corporal, incluso con un 70% de descarga de peso. Además, la transferencia de peso se encontró limitada por la falta de movimiento de la pelvis en el plano frontal y se sustituyó por un aumento de la inclinación del tronco y, por tanto, del movimiento lateral del centro de gravedad. Este hecho, junto al aumento del desplazamiento vertical del centro de gravedad, hizo del patrón de la marcha reproducido por el exoesqueleto un movimiento poco eficiente. En conclusión, se establecen patrones de marcha normal diferenciados por sexos, siendo la basculación lateral de la pelvis y el movimiento lateral del centro de gravedad los parámetros discriminantes más característicos entre sexos. Comparando la marcha a velocidad libremente seleccionada y la velocidad lenta, se concluye que ambos sexos utilizan estrategias similares para adaptar el patrón de la marcha a una velocidad lenta y se mantienen las características diferenciadoras entre hombres y mujeres. En relación a la evaluación del dispositivo Hybrid, se deduce que la falta de movimiento lateral de la pelvis condiciona la transferencia de peso y el aumento del rango de movimiento del centro de gravedad y, en consecuencia, tiene como resultado un patrón de la marcha poco eficiente. Este patrón no resultaría indicado para los procesos de rehabilitación o recuperación de la marcha, aunque podría considerarse adecuado para la compensación funcional de la bipedestación y la locomoción. ABSTRACT The human walking is a means of moving body forward using a repetitious and coordinated sequence of pelvis and lower limb motions. It is frequently influenced by biomechanical and anatomical factors or by musculoskeletal pathologies which modify the way of walking. The spinal injury is one of those pathologies which affect the normal pattern of walking, due to the alteration of the mobility, the sensory or the autonomic nervous system. Although the spinal injury affects many other body functions, apart from the motor and sensory ones, the main priority for patients is to recover the ability of walking. Consequently, the main objective of many research groups and private companies is the development of rehabilitation and compensation devices for walking. In this context, the Hybrid Technological Platform for Rehabilitation, Functional Compensation and Training of Gait in Spinal Cord Injury Patients project has developed a device which integrates an exoskeleton and a motorized smart walker. This system, as other similar devices, has the human movement as standard reference. Nevertheless, these devices are not usually evaluated on the way they reproduce the normal human pattern or on the modifications and in the interactions with the patient’s body. The aim of the present study is to examine the normal walking characteristics, to analyze the differences between self-selected and low speed walking patterns, and to evaluate the modifications and adaptations of walking pattern when it is reproduced by the exoskeleton. The present research is a quantitative cross-sectional study carried out in two phases: study 1 and study 2. During the study 1, the self-selected and the low speed (0.25m/s) walking patterns were analyzed in sixty-two people distributed in groups, according to sex and 25th, 50th and 75th percentiles of height for Spanish population. The study 2 analyzed the low speed walking pattern reproduced by the Hybrid system in three conditions: 30%, 50% and 70% of body weight support. To do this, ten subjects were randomly selected and analyzed from the people of study 1. An optoelectronic system with six cameras was used to obtain spatial, temporal and kinematic parameters in both studies. Means, standard deviations and 95% confidence intervals of the study were calculated. The alpha level of significance was set at α=0.05 for all statistical tests. The main differences in normal gait pattern were found in kinematic parameters between men and women. The hip and the knee were more flexed and the ankle plantar flexion was higher in women than in men during normal gait cycle. Although the greater pelvic obliquity of women and the higher lateral movement of center of gravity of men were the most relevant discriminators between male and female gait patterns. Comparing self-selected and low speed walking patterns, both sexes showed similar adaptations and modifications. At low speed walking, men and women increased the stance phase ratio and decreased the swing phase ratio. The maximum and minimum peak flexion of hip, knee and ankle appeared after and the range of motion of them decreased during low speed walking. Furthermore, the pelvic obliquity and the vertical movement of the center of gravity decreased, whereas the lateral movement of center of gravity and step width increased. Evaluating the gait pattern reproduced by the exoskeleton, a decrease of lower limb range of motion was observed. This was probably due to the lack of strength of the engines, which were not able to control the body weight, even with the 70% supported. Moreover, the weight transfer from one limb to the contralateral side was restricted due to the lack of pelvis obliquity. This movement deficiency was replaced by the lateral torso sway and, consequently, the increase of lateral movement of the center of gravity. This fact, as well as the increase of the vertical displacement of the center of gravity, made inefficient the gait pattern reproduced by the exoskeleton. In conclusion, different gait patterns of both sexes have been determined, being pelvis obliquity and lateral movement of center of gravity the most relevant discriminators between male and female gait patterns. Comparing self-selected and low speed walking patterns, it was concluded that both sexes use similar strategies for adapting the gait pattern to a low speed, and therefore, the differentiating characteristics of normal gait are maintained. Regarding the Hybrid system evaluation, it was determined that the gait pattern reproduced by the exoskeleton is inefficient. This was due to the lack of pelvis obliquity and the increase of the center of gravity displacement. Consequently, whereas the walking pattern reproduced by the exoskeleton would not be appropriated for the rehabilitation process, it could be considered suitable for functional compensation of walking and standing.