Estimación del estado de flujo de tráfico mediante técnicas de preprocesamiento y minería de datos : aplicación a Dataset de posiciones GPS de taxis en Porto

[ES]Uno de los elementos de más importancia en la movilidad de las ciudades desarrolladas es la gestión del tráfico rodado. La movilidad tiene una influencia determinante en la calidad de vida de los ciudadanos por diversas razones, entre la que destacan la seguridad, la eficiencia y el impacto medioambiental. Por ello es preciso dotar a los gestores de esa movilidad de herramientas que les permitan disponer de una idea precisa de la situación actual y si es posible, estimaciones del estado futuro. Esas herramientas les facilitan la toma de decisiones y el planeamiento de la movilidad. En este punto concreto se enmarca este Trabajo Fin de Grado...

Sistema de ayuda al diagnóstico clínico: clasificación de diagnósticos clínicos

El trabajo realizado en este proyecto se enmarca dentro del área de Procesamiento del Lenguaje Natural aplicado al ámbito de la medicina. Para este fin se han utilizado técnicas de minería de datos y aprendizaje automático. El objetivo principal de este proyecto es el desarrollo de un modelo capaz de automatizar la clasificación de textos clínicos según el estándar ICD-9- CM (codificación estándar utilizada por la red hospitalaria europea). Aunque existe una herramienta web (https://eciemaps.mspsi.es/ecieMaps/ browser/index_9_mc.html), que facilita la clasificación, este trabajo, hoy en día es realizado manualmente. Básicamente se trata de un diccionario online, de los términos del estándar. Basándonos en trabajos previos relacionados, se ha obtenido un baseline a partir del cual se ha construido el proyecto. En primer lugar, como en cualquier trabajo relacionado con los Sistemas de Apoyo a la Decisión (DSS) se ha estructurado el trabajo en dos módulos principales, el preproceso y la clasificación. En el módulo dedicado al preproceso, se tratan los datos para hacerlos comprensibles a los algoritmos de clasificación. En este primer módulo también se realiza una fase de adición de atributos que aporten información útil a la hora de la clasificación y una posterior selección de los mismos, por si alguno fuera redundante o irrelevante. En el segundo módulo dedicado a la clasificación, seleccionamos aquellos algoritmos que consideramos mejores, basándonos para ello, en otros trabajos previos que abordan un problema similar. Una vez seleccionados los algoritmos, se procede a realizar barridos de parámetros que optimicen su rendimiento. Finalmente, se ha realizado la experimentación con distintas técnicas de preprocesamiento de los datos y con los distintos algoritmos de clasificación automática. Esta última de experimentación tiene como objetivo, encontrar la combinación de métodos que optimice el rendimiento de ambos módulos, y por tanto de todo el sistema.

Rendimiento académico en la Universidad Politécnica de Madrid : estudio longitudinal en el segundo ciclo.

Plasmar los resultados académicos obtenidos por los alumnos desde que ingresan en la Universidad Politécnica de Madrid (UPM) en todas las carreras de Ingeniería Superior y Arquitectura por primera vez y durante siete años. Realizar un estudio comparativo de las calificaciones y retrasos en todos los cursos y de la carga lectiva de asignaturas. Estudiar, analizar y relacionar el rendimiento académico comparando Escuelas y cursos comunes y de especialización. Población total que inició los estudios en el curso 1987-88 en las 10 Ingenierías Técnicas Superiores incluída Arquitectura de la UPM. Esta población se irá reduciendo debido a los abandonos que se producen durante los siete años de seguimiento. Los datos procesados en este estudio ascienden a 249.549 calificaciones correspondientes a los 3.931 expedientes académicos solicitados al rectorado de la Universidad y facilitados por el Centro de Cálculo. A partir de estos datos se obtienen unos índices depurados para la interpretación de resultados que se consiguen mediante el siguiente proceso: integración de los datos de cada centro, preprocesamiento de los datos, registro del número de sujetos, tabulación de los resultados académicos por asignaturas, seguimiento de los alumnos a lo largo de la carrera, estimación de la duración media de la carrera, cálculo de los rendimientos, comparación de los resultados por especialidades segun su dificultad y análisis de la correlación entre el rendimiento temporal y el rendimiento académico. El volumen de alumnos que estudian en cada uno de los centros analizados es muy desigual. La mayor proporción de abandonos a lo largo de los siete años se producen en las carreras de Ingeniero Aeronaútico e Ingeniero de Montes. Los menores índices se registran en las Escuelas de Telecomunicaciones y Agrónomos. Los abandonos se producen principalmente en los dos primeros años de carrera. En la mayoría de las carreras se aprecian grandes desigualdades entre el volumen de alumnos que eligen cada una de especialidades, excepto en las Escuelas de Navales y Aeronaúticos. La carrera que incorpora mayor carga lectiva es la de Ingeniero de Minas. Los mayores porcentajes de alumnos aprobados se registran en la Escuela de Telecomunicación. Las Carreras Superiores de la UPM requieren una duración media por parte de los alumnos de algo superior a ocho años. El rendimiento depende del nivel de conocimiento adquirido y el tiempo invertido.

Contributions to Speech Analytics based on Speech Recognition and Topic Identification

La última década ha sido testigo de importantes avances en el campo de la tecnología de reconocimiento de voz. Los sistemas comerciales existentes actualmente poseen la capacidad de reconocer habla continua de múltiples locutores, consiguiendo valores aceptables de error, y sin la necesidad de realizar procedimientos explícitos de adaptación. A pesar del buen momento que vive esta tecnología, el reconocimiento de voz dista de ser un problema resuelto. La mayoría de estos sistemas de reconocimiento se ajustan a dominios particulares y su eficacia depende de manera significativa, entre otros muchos aspectos, de la similitud que exista entre el modelo de lenguaje utilizado y la tarea específica para la cual se está empleando. Esta dependencia cobra aún más importancia en aquellos escenarios en los cuales las propiedades estadísticas del lenguaje varían a lo largo del tiempo, como por ejemplo, en dominios de aplicación que involucren habla espontánea y múltiples temáticas. En los últimos años se ha evidenciado un constante esfuerzo por mejorar los sistemas de reconocimiento para tales dominios. Esto se ha hecho, entre otros muchos enfoques, a través de técnicas automáticas de adaptación. Estas técnicas son aplicadas a sistemas ya existentes, dado que exportar el sistema a una nueva tarea o dominio puede requerir tiempo a la vez que resultar costoso. Las técnicas de adaptación requieren fuentes adicionales de información, y en este sentido, el lenguaje hablado puede aportar algunas de ellas. El habla no sólo transmite un mensaje, también transmite información acerca del contexto en el cual se desarrolla la comunicación hablada (e.g. acerca del tema sobre el cual se está hablando). Por tanto, cuando nos comunicamos a través del habla, es posible identificar los elementos del lenguaje que caracterizan el contexto, y al mismo tiempo, rastrear los cambios que ocurren en estos elementos a lo largo del tiempo. Esta información podría ser capturada y aprovechada por medio de técnicas de recuperación de información (information retrieval) y de aprendizaje de máquina (machine learning). Esto podría permitirnos, dentro del desarrollo de mejores sistemas automáticos de reconocimiento de voz, mejorar la adaptación de modelos del lenguaje a las condiciones del contexto, y por tanto, robustecer al sistema de reconocimiento en dominios con condiciones variables (tales como variaciones potenciales en el vocabulario, el estilo y la temática). En este sentido, la principal contribución de esta Tesis es la propuesta y evaluación de un marco de contextualización motivado por el análisis temático y basado en la adaptación dinámica y no supervisada de modelos de lenguaje para el robustecimiento de un sistema automático de reconocimiento de voz. Esta adaptación toma como base distintos enfoque de los sistemas mencionados (de recuperación de información y aprendizaje de máquina) mediante los cuales buscamos identificar las temáticas sobre las cuales se está hablando en una grabación de audio. Dicha identificación, por lo tanto, permite realizar una adaptación del modelo de lenguaje de acuerdo a las condiciones del contexto. El marco de contextualización propuesto se puede dividir en dos sistemas principales: un sistema de identificación de temática y un sistema de adaptación dinámica de modelos de lenguaje. Esta Tesis puede describirse en detalle desde la perspectiva de las contribuciones particulares realizadas en cada uno de los campos que componen el marco propuesto: _ En lo referente al sistema de identificación de temática, nos hemos enfocado en aportar mejoras a las técnicas de pre-procesamiento de documentos, asimismo en contribuir a la definición de criterios más robustos para la selección de index-terms. – La eficiencia de los sistemas basados tanto en técnicas de recuperación de información como en técnicas de aprendizaje de máquina, y específicamente de aquellos sistemas que particularizan en la tarea de identificación de temática, depende, en gran medida, de los mecanismos de preprocesamiento que se aplican a los documentos. Entre las múltiples operaciones que hacen parte de un esquema de preprocesamiento, la selección adecuada de los términos de indexado (index-terms) es crucial para establecer relaciones semánticas y conceptuales entre los términos y los documentos. Este proceso también puede verse afectado, o bien por una mala elección de stopwords, o bien por la falta de precisión en la definición de reglas de lematización. En este sentido, en este trabajo comparamos y evaluamos diferentes criterios para el preprocesamiento de los documentos, así como también distintas estrategias para la selección de los index-terms. Esto nos permite no sólo reducir el tamaño de la estructura de indexación, sino también mejorar el proceso de identificación de temática. – Uno de los aspectos más importantes en cuanto al rendimiento de los sistemas de identificación de temática es la asignación de diferentes pesos a los términos de acuerdo a su contribución al contenido del documento. En este trabajo evaluamos y proponemos enfoques alternativos a los esquemas tradicionales de ponderado de términos (tales como tf-idf ) que nos permitan mejorar la especificidad de los términos, así como también discriminar mejor las temáticas de los documentos. _ Respecto a la adaptación dinámica de modelos de lenguaje, hemos dividimos el proceso de contextualización en varios pasos. – Para la generación de modelos de lenguaje basados en temática, proponemos dos tipos de enfoques: un enfoque supervisado y un enfoque no supervisado. En el primero de ellos nos basamos en las etiquetas de temática que originalmente acompañan a los documentos del corpus que empleamos. A partir de estas, agrupamos los documentos que forman parte de la misma temática y generamos modelos de lenguaje a partir de dichos grupos. Sin embargo, uno de los objetivos que se persigue en esta Tesis es evaluar si el uso de estas etiquetas para la generación de modelos es óptimo en términos del rendimiento del reconocedor. Por esta razón, nosotros proponemos un segundo enfoque, un enfoque no supervisado, en el cual el objetivo es agrupar, automáticamente, los documentos en clusters temáticos, basándonos en la similaridad semántica existente entre los documentos. Por medio de enfoques de agrupamiento conseguimos mejorar la cohesión conceptual y semántica en cada uno de los clusters, lo que a su vez nos permitió refinar los modelos de lenguaje basados en temática y mejorar el rendimiento del sistema de reconocimiento. – Desarrollamos diversas estrategias para generar un modelo de lenguaje dependiente del contexto. Nuestro objetivo es que este modelo refleje el contexto semántico del habla, i.e. las temáticas más relevantes que se están discutiendo. Este modelo es generado por medio de la interpolación lineal entre aquellos modelos de lenguaje basados en temática que estén relacionados con las temáticas más relevantes. La estimación de los pesos de interpolación está basada principalmente en el resultado del proceso de identificación de temática. – Finalmente, proponemos una metodología para la adaptación dinámica de un modelo de lenguaje general. El proceso de adaptación tiene en cuenta no sólo al modelo dependiente del contexto sino también a la información entregada por el proceso de identificación de temática. El esquema usado para la adaptación es una interpolación lineal entre el modelo general y el modelo dependiente de contexto. Estudiamos también diferentes enfoques para determinar los pesos de interpolación entre ambos modelos. Una vez definida la base teórica de nuestro marco de contextualización, proponemos su aplicación dentro de un sistema automático de reconocimiento de voz. Para esto, nos enfocamos en dos aspectos: la contextualización de los modelos de lenguaje empleados por el sistema y la incorporación de información semántica en el proceso de adaptación basado en temática. En esta Tesis proponemos un marco experimental basado en una arquitectura de reconocimiento en ‘dos etapas’. En la primera etapa, empleamos sistemas basados en técnicas de recuperación de información y aprendizaje de máquina para identificar las temáticas sobre las cuales se habla en una transcripción de un segmento de audio. Esta transcripción es generada por el sistema de reconocimiento empleando un modelo de lenguaje general. De acuerdo con la relevancia de las temáticas que han sido identificadas, se lleva a cabo la adaptación dinámica del modelo de lenguaje. En la segunda etapa de la arquitectura de reconocimiento, usamos este modelo adaptado para realizar de nuevo el reconocimiento del segmento de audio. Para determinar los beneficios del marco de trabajo propuesto, llevamos a cabo la evaluación de cada uno de los sistemas principales previamente mencionados. Esta evaluación es realizada sobre discursos en el dominio de la política usando la base de datos EPPS (European Parliamentary Plenary Sessions - Sesiones Plenarias del Parlamento Europeo) del proyecto europeo TC-STAR. Analizamos distintas métricas acerca del rendimiento de los sistemas y evaluamos las mejoras propuestas con respecto a los sistemas de referencia. ABSTRACT The last decade has witnessed major advances in speech recognition technology. Today’s commercial systems are able to recognize continuous speech from numerous speakers, with acceptable levels of error and without the need for an explicit adaptation procedure. Despite this progress, speech recognition is far from being a solved problem. Most of these systems are adjusted to a particular domain and their efficacy depends significantly, among many other aspects, on the similarity between the language model used and the task that is being addressed. This dependence is even more important in scenarios where the statistical properties of the language fluctuates throughout the time, for example, in application domains involving spontaneous and multitopic speech. Over the last years there has been an increasing effort in enhancing the speech recognition systems for such domains. This has been done, among other approaches, by means of techniques of automatic adaptation. These techniques are applied to the existing systems, specially since exporting the system to a new task or domain may be both time-consuming and expensive. Adaptation techniques require additional sources of information, and the spoken language could provide some of them. It must be considered that speech not only conveys a message, it also provides information on the context in which the spoken communication takes place (e.g. on the subject on which it is being talked about). Therefore, when we communicate through speech, it could be feasible to identify the elements of the language that characterize the context, and at the same time, to track the changes that occur in those elements over time. This information can be extracted and exploited through techniques of information retrieval and machine learning. This allows us, within the development of more robust speech recognition systems, to enhance the adaptation of language models to the conditions of the context, thus strengthening the recognition system for domains under changing conditions (such as potential variations in vocabulary, style and topic). In this sense, the main contribution of this Thesis is the proposal and evaluation of a framework of topic-motivated contextualization based on the dynamic and non-supervised adaptation of language models for the enhancement of an automatic speech recognition system. This adaptation is based on an combined approach (from the perspective of both information retrieval and machine learning fields) whereby we identify the topics that are being discussed in an audio recording. The topic identification, therefore, enables the system to perform an adaptation of the language model according to the contextual conditions. The proposed framework can be divided in two major systems: a topic identification system and a dynamic language model adaptation system. This Thesis can be outlined from the perspective of the particular contributions made in each of the fields that composes the proposed framework: _ Regarding the topic identification system, we have focused on the enhancement of the document preprocessing techniques in addition to contributing in the definition of more robust criteria for the selection of index-terms. – Within both information retrieval and machine learning based approaches, the efficiency of topic identification systems, depends, to a large extent, on the mechanisms of preprocessing applied to the documents. Among the many operations that encloses the preprocessing procedures, an adequate selection of index-terms is critical to establish conceptual and semantic relationships between terms and documents. This process might also be weakened by a poor choice of stopwords or lack of precision in defining stemming rules. In this regard we compare and evaluate different criteria for preprocessing the documents, as well as for improving the selection of the index-terms. This allows us to not only reduce the size of the indexing structure but also to strengthen the topic identification process. – One of the most crucial aspects, in relation to the performance of topic identification systems, is to assign different weights to different terms depending on their contribution to the content of the document. In this sense we evaluate and propose alternative approaches to traditional weighting schemes (such as tf-idf ) that allow us to improve the specificity of terms, and to better identify the topics that are related to documents. _ Regarding the dynamic language model adaptation, we divide the contextualization process into different steps. – We propose supervised and unsupervised approaches for the generation of topic-based language models. The first of them is intended to generate topic-based language models by grouping the documents, in the training set, according to the original topic labels of the corpus. Nevertheless, a goal of this Thesis is to evaluate whether or not the use of these labels to generate language models is optimal in terms of recognition accuracy. For this reason, we propose a second approach, an unsupervised one, in which the objective is to group the data in the training set into automatic topic clusters based on the semantic similarity between the documents. By means of clustering approaches we expect to obtain a more cohesive association of the documents that are related by similar concepts, thus improving the coverage of the topic-based language models and enhancing the performance of the recognition system. – We develop various strategies in order to create a context-dependent language model. Our aim is that this model reflects the semantic context of the current utterance, i.e. the most relevant topics that are being discussed. This model is generated by means of a linear interpolation between the topic-based language models related to the most relevant topics. The estimation of the interpolation weights is based mainly on the outcome of the topic identification process. – Finally, we propose a methodology for the dynamic adaptation of a background language model. The adaptation process takes into account the context-dependent model as well as the information provided by the topic identification process. The scheme used for the adaptation is a linear interpolation between the background model and the context-dependent one. We also study different approaches to determine the interpolation weights used in this adaptation scheme. Once we defined the basis of our topic-motivated contextualization framework, we propose its application into an automatic speech recognition system. We focus on two aspects: the contextualization of the language models used by the system, and the incorporation of semantic-related information into a topic-based adaptation process. To achieve this, we propose an experimental framework based in ‘a two stages’ recognition architecture. In the first stage of the architecture, Information Retrieval and Machine Learning techniques are used to identify the topics in a transcription of an audio segment. This transcription is generated by the recognition system using a background language model. According to the confidence on the topics that have been identified, the dynamic language model adaptation is carried out. In the second stage of the recognition architecture, an adapted language model is used to re-decode the utterance. To test the benefits of the proposed framework, we carry out the evaluation of each of the major systems aforementioned. The evaluation is conducted on speeches of political domain using the EPPS (European Parliamentary Plenary Sessions) database from the European TC-STAR project. We analyse several performance metrics that allow us to compare the improvements of the proposed systems against the baseline ones.

Desarrollo de un sistema interactivo de procesado de una colección de documentos para clasificarlos en base a su temática

A día de hoy, existen millones de artículos en internet que tratan sobre diferentes temas. Los investigadores hacen búsquedas exhaustivas para encontrar aquellos artículos que encuentran más importantes, los cuales se van descargando en su ordenador llegando a tal extremo que la cantidad de documentos que pueden llegar a tener se vuelve casi inmanejable. El proyecto Calimaco, el cual se está llevando a cabo en el Laboratorio Decoroso Crespo, busca dar soporte a la tarea de búsqueda de información en el ámbito de la investigación, donde la cantidad de información existente es abrumadora. El objetivo es generar una visualización tridimensional de una serie de documentos (corpus), de manera que el usuario pueda explorarlo fácilmente. Además se pretende que dicho proceso se adapte a las necesidades y características particulares del usuario. Esto puede resultar muy útil cuando, por ejemplo, un investigador desea buscar información acerca de un determinado tema dentro de todos sus documentos, ya que el sistema los clasificará en base a dichos temas, permitiéndole acceder a la información relevante de manera rápida y sencilla. La división de este proyecto se compone de dos partes: la primera se corresponde al preprocesamiento de los documentos, mientras que la segunda se encarga de la visualización de los resultados, además de la interactuación del usuario. El trabajo realizado expuesto en esta memoria se sitúa dentro de la parte de preprocesamiento del proyecto Calimaco. La aportación a este proyecto ha consistido en la realización de pruebas y análisis de los resultados, diseño e implementación de una base de datos, e integración de ambas partes, creando una primera versión del sistema. Para comprobar el funcionamiento de esta primera versión se diseñó un plan de pruebas del sistema para medir el tiempo y la precisión.---ABSTRACT---Nowadays, there are millions of articles on the Internet that deal with different topics. Researchers do exhaustive searches to find those articles that are more important for them and download them to their computer, sometimes, reaching a point where the amount of downloaded documents is unmanageable. Calimaco project, which is being carried out at Laboratorio Decoroso Crespo, aims to provide a solution in the task of searching information in terms of investigation, where the amount of information is overwhelming. The goal is to create a tridimensional vision of a set of documents (corpus), so that the user can explore it easily. In addition, this process is intended to adapt to the personal needs and characteristics of the user. This can turn out to be useful when, for example, a researcher wants to seek information about a specific subject inside all his documents, because the system will classify them by subjects, allowing to access relevant information in a fast and easy way. This project is formed by two big sections: the first one corresponds to the pre-process of documents, while the second one is in charge of result visualization as well as the interaction with the user. This memory contains the explanation of the job done in the first part of the Calimaco project, which belongs to the pre-process of documents. The contributions done to the project are: development of tests and analysis of results, a design and implementation of a database, and an integration of both parts (pre-process of documents and result visualization) creating a first version of the system. To test the functioning of this first version, the author created a system test plan in order to gather information about execution time and accuracy.

Mecanismos de optimización en el procesado para H.265/HEVC

En esta memoria se ha implementado una etapa de preprocesado que sirva como primera fase en el proceso de codificación de vídeo. Esta etapa integra dos variedades del filtro de mediana (3×3 y 5×5) y un operador. Dicho operador lleva a cabo el cálculo del gradiente de los píxeles que conforman una imagen o fotograma con objeto de filtrar después aquellos que están por debajo de un determinado valor (threshold). El cálculo de dicho threshold se realiza de manera empírica mediante dos procesos distintos. En el primero se obtienen valores de luminancia y crominancia de píxeles que integran bordes para encontrar aquel que tenga el valor mínimo, mientras que en el segundo se calcula la tasa de píxeles que forman parte de bordes. Una vez se ha realizado el cálculo anterior, se han utilizado distintos valores de threshold, distintas variedades de filtro de mediana y distintos valores de QP (calidad) con objeto de parametrizar las codificaciones que hacen uso de esta nueva etapa. Posteriormente a dichas codificaciones, se han obtenido los tamaños de los bitstreams de salida y se ha evaluado la calidad de los vídeos decodificados o reconstruidos mediante dos métricas objetivas: PSNR y SSIM. Las codificaciones que no utilizan etapa de preprocesado también han sido evaluadas mediante dichas métricas y comparadas con aquellas que sí integran dicha etapa. Los resultados obtenidos dejan patente el compromiso existente entre tamaño de bitstream y calidad, siendo más representativos los de la métrica SSIM, estando esta última más relacionada con la percepción de la imagen por parte del HVS (sistema visual humano). Como resultado, se obtiene para esta métrica tasas de compresión mayores que las alcanzadas sin preprocesamiento, con pérdidas de calidad prácticamente inapreciables.

Análisis predictivo para clasificar dígitos escritos a mano utilizando la base de datos MNIST

En el presente trabajo de fin de máster se realiza una investigación sobre las técnicas de preproceso del dataset de entrenamiento y la aplicación de un modelo de predicción que realice una clasificación de dı́gitos escritos a mano. El conjunto de dataset de train y test son proporcionado en la competencia de Kaggle: Digit Recognizer y provienen de la base de datos de dı́gitos manuscritos MNIST. Por tratarse de imágenes las técnicas de preproceso se concentran en obtener una imagen lo más nı́tida posible y la reducción de tamaño de la misma, objetivos que se logran con técnicas de umbralización por el método de Otsu, transformada de Wavelet de Haar y el análisis de sus componentes principales. Se utiliza Deep Learning como modelo predictivo por ajustarse a este tipo de datos, se emplean además librerı́as de código abierto implementadas en el lenguaje estádisto R. Por último se obtiene una predicción con las técnicas y herramientas mencio- nadas para ser evaluada en la competencia de Kaggle, midiendo y comparando los resultados obtenidos con el resto de participantes.