Integración y visualización de datos abiertos medioambientales

En la actualidad, muchos gobiernos están publicando (o tienen la intención de publicar en breve) miles de conjuntos de datos para que personas y organizaciones los puedan utilizar. Como consecuencia, la cantidad de aplicaciones basadas en Open Data está incrementándose. Sin embargo cada gobierno tiene sus propios procedimientos para publicar sus datos, y esto causa una variedad de formatos dado que no existe un estándar internacional para especificar los formatos de estos datos. El objetivo principal de este trabajo es un análisis comparativo de datos ambientales en bases de datos abiertas (Open Data) pertenecientes a distintos gobiernos. Debido a esta variedad de formatos, debemos construir un proceso de integración de datos que sea capaz de unir todos los tipos de formatos. El trabajo implica un pre-procesado, limpieza e integración de las diferentes fuentes de datos. Existen muchas aplicaciones desarrolladas para dar soporte en el proceso de integración por ejemplo Data Tamer, Data Wrangler como se explica en este documento. El problema con estas aplicaciones es que necesitan la interacción del usuario como parte fundamental del proceso de integración. En este trabajo tratamos de evitar la supervisión humana aprovechando las similitudes de los datasets procedentes de igual área que en nuestro caso se aplica al área de medioambiente. De esta forma los procesos pueden ser automatizados con una programación adecuada. Para conseguirlo, la idea principal de este trabajo es construir procesos ad hoc adaptados a las fuentes de cada gobierno para conseguir una integración automática. Concretamente este trabajo se enfoca en datos ambientales como lo son la temperatura, consumo de energía, calidad de aire, radiación solar, velocidad del viento, etc. Desde hace dos años el gobierno de Madrid está publicando sus datos relativos a indicadores ambientales en tiempo real. Del mismo modo, otros gobiernos han publicado conjuntos de datos Open Data relativos al medio ambiente (como Andalucía o Bilbao), pero todos estos datos tienen diferentes formatos. En este trabajo se presenta una solución capaz de integrar todas ellos que además permite al usuario visualizar y hacer análisis sobre los datos en tiempo real. Una vez que el proceso de integración está realizado, todos los datos de cada gobierno poseen el mismo formato y se pueden lanzar procesos de análisis de una manera más computacional. Este trabajo tiene tres partes fundamentales: 1. Estudio de los entornos Open Data y la literatura al respecto; 2. Desarrollo de un proceso de integración y 3. Desarrollo de una Interface Gráfica y Analítica. Aunque en una primera fase se implementaron los procesos de integración mediante Java y Oracle y la Interface Gráfica con Java (jsp), en una fase posterior se realizó toda la implementación con lenguaje R y la interface gráfica mediante sus librerías, principalmente con Shiny. El resultado es una aplicación que provee de un conjunto de Datos Ambientales Integrados en Tiempo Real respecto a dos gobiernos muy diferentes en España, disponible para cualquier desarrollador que desee construir sus propias aplicaciones.

Auditoría y metodología de implantación de open data para smart cities

El movimiento de datos abiertos es relativamente nuevo, ofrece beneficios significativos a la sociedad y a la economía, promueve la democracia y la responsabilidad de los gobiernos públicos fomentando la transparencia, participación y colaboración de los ciudadanos. Por ser un movimiento relativamente nuevo, son los países que lideran el desarrollo quienes ya han implementado políticas de datos abiertos y ya disfrutan de sus beneficios; sin embargo, hay países en los que aún ni siquiera hay iniciativas de datos abiertos o aún están comenzando. En este trabajo se estudia el uso adecuado de buenas prácticas, normas, métricas y estándares para la implantación de datos abiertos de manera sostenible, automatizable y en formatos accesibles que garanticen la reutilización de los datos con el fin de generar valor a través de ellos, al crear nuevos productos y servicios que contribuyan a mejorar la calidad de vida de los ciudadanos. En ese sentido, se realiza un análisis exploratorio de los principios de datos abiertos, se realiza un análisis sobre la situación actual de iniciativas de datos abiertos, y con el fin de que el proyecto sea de máxima aplicabilidad, se realizan pruebas de la métrica Meloda 4.0 sobre conjuntos de datos del Ayuntamiento de Madrid. Se realiza un análisis y evaluación de los portales de datos abiertos de los Ayuntamientos de Madrid, Zaragoza y Barcelona basándose en la Norma UNE 178301:2015. En concordancia con la filosofía de datos abiertos, se estudia y sugiere el uso de tecnologías de código abierto para la publicación de datos abiertos. Finalmente, como resultado y aplicabilidad de todo lo aprendido, se propone el diseño de una metodología para publicación de datos abiertos orientada a entidades públicas que aún no tienen iniciativas o están comenzando a implementar políticas de datos abiertos.