Diseño y desarrollo de un servicio big data en la nube para búsqueda, compartición de ficheros y data mining

En esta memoria se presenta el diseño y desarrollo de una aplicación en la nube destinada a la compartición de objetos y servicios. El desarrollo de esta aplicación surge dentro del proyecto de I+D+i, SITAC: Social Internet of Things – Apps by and for the Crowd ITEA 2 11020, que trata de crear una arquitectura integradora y un “ecosistema” que incluya plataformas, herramientas y metodologías para facilitar la conexión y cooperación de entidades de distinto tipo conectadas a la red bien sean sistemas, máquinas, dispositivos o personas con dispositivos móviles personales como tabletas o teléfonos móviles. El proyecto innovará mediante la utilización de un modelo inspirado en las redes sociales para facilitar y unificar las interacciones tanto entre personas como entre personas y dispositivos. En este contexto surge la necesidad de desarrollar una aplicación destinada a la compartición de recursos en la nube que pueden ser tanto lógicos como físicos, y que esté orientada al big data. Ésta será la aplicación presentada en este trabajo, el “Resource Sharing Center”, que ofrece un servicio web para el intercambio y compartición de contenido, y un motor de recomendaciones basado en las preferencias de los usuarios. Con este objetivo, se han usado tecnologías de despliegue en la nube, como Elastic Beanstalk (el PaaS de Amazon Web Services), S3 (el sistema de almacenamiento de Amazon Web Services), SimpleDB (base de datos NoSQL) y HTML5 con JavaScript y Twitter Bootstrap para el desarrollo del front-end, siendo Python y Node.js las tecnologías usadas en el back end, y habiendo contribuido a la mejora de herramientas de clustering sobre big data. Por último, y de cara a realizar el estudio sobre las pruebas de carga de la aplicación se ha usado la herramienta ApacheJMeter.

Patrimoni Digital de Catalunya, experiencias del primer año

Patrimoni Digital de Catalunya (PADICAT) es un proyecto de la Biblioteca Nacional de Catalunya iniciado en 2005. Éste consiste en capturar, procesar y dar acceso permanente a toda la producción cultural, científica y de carácter general catalana producida en formato digital. En definitiva, el objetivo de PADICAT es archivar el web catalán. Después de un año, se dispone de 2.400 capturas de más de 810 webs en 24 millones de ficheros (páginas HTML, imágenes…) que ocupan casi un terabyte de disco.

Estudi i implementació d'un arxivat de dades per a les plataformes SAP Enterprise 4.7 x 200 d'una gran empresa

En aquest projecte s'ha implementat un sistema de data archiving amb SAP-IXOS per a una empresa després que aquesta demanés consell a la nostra consultora per reduir espai en la base de dades, ja que només els quedava lliure un 14% de l'ocupació total, i d'aquesta forma millorar el rendiment del sistema. S'ha realitzat un estudi de la base de dades, ocupació en Mb i creixement mensual de les dades en les taules. S'han parametritzat objectes d'arxivat, creat i definits repositoris de contingut, fitxers lògics i s'han programat reports addicionals per arxivar les dades correctament. El resultat ha estat reduir la base de dades en un 22% sent posible l'entrada de noves dades obtenint una resposta més àgil del sistema.

Análisis y sintonización de aplicaciones paralelas/distribuidas de bioinformática: caso de estudio mpiBLAST

En termes de temps d'execució i ús de dades, les aplicacions paral·leles/distribuïdes poden tenir execucions variables, fins i tot quan s'empra el mateix conjunt de dades d'entrada. Existeixen certs aspectes de rendiment relacionats amb l'entorn que poden afectar dinàmicament el comportament de l'aplicació, tals com: la capacitat de la memòria, latència de la xarxa, el nombre de nodes, l'heterogeneïtat dels nodes, entre d'altres. És important considerar que l'aplicació pot executar-se en diferents configuracions de maquinari i el desenvolupador d'aplicacions no port garantir que els ajustaments de rendiment per a un sistema en particular continuïn essent vàlids per a d'altres configuracions. L'anàlisi dinàmica de les aplicacions ha demostrat ser el millor enfocament per a l'anàlisi del rendiment per dues raons principals. En primer lloc, ofereix una solució molt còmoda des del punt de vista dels desenvolupadors mentre que aquests dissenyen i evaluen les seves aplicacions paral·leles. En segon lloc, perquè s'adapta millor a l'aplicació durant l'execució. Aquest enfocament no requereix la intervenció de desenvolupadors o fins i tot l'accés al codi font de l'aplicació. S'analitza l'aplicació en temps real d'execució i es considra i analitza la recerca dels possibles colls d'ampolla i optimitzacions. Per a optimitzar l'execució de l'aplicació bioinformàtica mpiBLAST, vam analitzar el seu comportament per a identificar els paràmetres que intervenen en el rendiment d'ella, com ara: l'ús de la memòria, l'ús de la xarxa, patrons d'E/S, el sistema de fitxers emprat, l'arquitectura del processador, la grandària de la base de dades biològica, la grandària de la seqüència de consulta, la distribució de les seqüències dintre d'elles, el nombre de fragments de la base de dades i/o la granularitat dels treballs assignats a cada procés. El nostre objectiu és determinar quins d'aquests paràmetres tenen major impacte en el rendiment de les aplicacions i com ajustar-los dinàmicament per a millorar el rendiment de l'aplicació. Analitzant el rendiment de l'aplicació mpiBLAST hem trobat un conjunt de dades que identifiquen cert nivell de serial·lització dintre l'execució. Reconeixent l'impacte de la caracterització de les seqüències dintre de les diferents bases de dades i una relació entre la capacitat dels workers i la granularitat de la càrrega de treball actual, aquestes podrien ser sintonitzades dinàmicament. Altres millores també inclouen optimitzacions relacionades amb el sistema de fitxers paral·lel i la possibilitat d'execució en múltiples multinucli. La grandària de gra de treball està influenciat per factors com el tipus de base de dades, la grandària de la base de dades, i la relació entre grandària de la càrrega de treball i la capacitat dels treballadors.

Desarrollo de un prototipo para el Geoportal del Centro Temático Europeo de Usos del Suelo e Información Espacial de la Agencia Europea del Medio Ambiente

El projecte ha estat elaborat amb la col•laboració del LIGIT i del ETC LUSI. Serveix per a gestionar les Metadades i visualitzar-les a través del Web. El programari utilitzat és Geonetwork opensource, gestiona Metadades conformes als estàndards OGC i ISO. S'han implementat, a través de local o a través de connexions a servidors Web com Dav, CSW o OAI-PMH, en MckoiDB. Es visualitzen en el seu visor, a través de connexions a servidors de mapes WMS i ArcIMS i en visors externs com GoogleEarth. S'ha millorat l'aspecte gràfic i implementat amb noves funcionalitats editant el codi dels fitxers interns com Javascript, XML, XSL, Java

Desenvolupament d'un videojoc en 3D

La industria de los videojuegos crece exponencialmente y está ya superando a otras industrias punteras del ocio. En este proyecto, nos hemos planteado la realización de un videojuego con visualización en el espacio real 3D. Para la realización del videojuego se ha usado el siguiente software: Blender para diseñar los modelos 3D, C++ como lenguaje de programación para desarrollar el código y un conjunto de librerías básicas para desarrollar un videojuego llamadas Ogre3d (Motor Gráfico). La lógica del movimiento 3D y los choques entre las partículas del juego ha sido diseñada enteramente en este proyecto acorde con las necesidades del videojuego, y de forma compatible a los ficheros de Blender y a las librerías OGRE3D.

Desenvolupament d'una plataforma web per a integrar serveis de neuroimatge al PIC (Port d'Informació Científica)

El projecte ha consistit en el disseny i implementació d'una arquitectura/plataforma d'integració dels serveis d'emmagatzemament i postprocessament d'imatge mèdica que oferix el grup així com la visualització, anonimització, transferència d'arxius... basat en una interfície web com a frontend de la plataforma. Els servis que requereixen interacció gràfica han estat implementats mitjançant tècniques d'exportació d'escriptori remotament a la web i altres s'han implementat per tal que funcionin amb el cluster de màquines del que disposa el PIC.

Traductor de especificaciones XML de redes de Petri coloreadas a un lenguaje para la resolución de problemas de optimización

Este proyecto presenta el desarrollo de una aplicación que permite traducir Redes de Petri Coloreadas diseñadas en CPN Tools a un lenguaje para la generación de ficheros de entrada a un simulador/optimizador de Redes de Petri Coloreadas. De esta manera se podrán optimizar modelos creados en CPN Tools ya que esta herramienta no facilita la optimización. Todo el proyecto se ha realizado en C++.

Gestor d'actius

L’objectiu principal és desenvolupar una aplicació que permeti mantenir els projectes d'alumnes i els seus arxius junts en un repositori de fitxers, per tal que siguin accessibles a través de la intranet. Juntament amb un gestor de informació, per tal que els projectes estiguin ben organitzats i catalogats lògicament. Amb una interfície web, que faciliti el manteniment i l’accés a les dades del repositori centralitzats.

Diseño, Desarrollo e Implementación de una aplicación WEB-MAP para la visualización y consulta de los proyectos ejecutados por AudingIntraesa

Consiste en el desarrollo de una aplicación WEB-MAP para la visualización y consulta de los proyectos ejecutados por AudingIntraesa. La tecnología utilizada fue MySQL como sistema de gestión de bases de datos, HTTP Apache como servidor web y Adobe Flex como entorno de desarrollo. Se creó una base de datos. Se diseñó una interfaz de usuario intuitiva, eficiente y atractiva. Se desarrollaron rutinas en AS3 para dotar de funcionalidades a la aplicación. Incluyen la consulta y actualización en tiempo de ejecución, descarga de ficheros externos, la fácil navegación por el mapa con capacidades de zoom, pan, cambio de mapas.

Dawn for the galaxy: creació d'un joc web d'estratègia en temps real, multijugador i massiu

“Dawn or the Galaxy” és un treball de final de carrera que té com a objectiu principal la creació i desenvolupament d’una versió de demostració per a un joc del tipus MMORTS (massive multiplayer online real-time strategy) tractant d’incloure elements innovadors en aquest gènere de jocs i oferint un ampli ventall estratègic des de l’inici del joc. Per tal d’assolir l’objectiu es realitzarà un petit sondeig de mercat inicial i un estudi de models de jocs d’estratègia. El joc estarà integrat per més de seixanta fitxers de codi, una base de dades amb catorze taules interrelacionades no normalitzades i podrà tenir cabuda per a uns cinc-cents jugadors. Un cop programat l’aplicatiu, el joc es provarà en un entorn real, amb usuaris reals. Per a resoldre els problemes durant el transcurs del joc de forma ràpida, la aplicació serà sotmesa a un seguiment exhaustiu. La col·laboració dels jugadors en aquest punt serà fonamental.

ERP recursos humanos con ASP.NET 2.0

Implementación de un ERP (Enterprise Resource Planning) orientado al departamento de recursos humanos, que trata de agilizar las funciones de dicho departamento. Se emplea la tecnología ASP.NET 2.02, los datos se almacenan en una base de datos realizada mediante Microsoft Access, y también se utiliza una librería específíca para la generación de ficheros en formato PDF.

Gestión de objetos digitales con ContentDm: estudio de caso en el Consorci de Biblioteques Universitàries de Catalunya y el Institut Cartogràfic de Catalunya

La gestión de objetos digitales, ya sean imágenes u otros tipos de ficheros digitales, supone un reto para las organizaciones. Es un proceso estratégico en el que están implicadas varias tareas dentro de la propia institución, desde una posible digitalización del documento físico a una correcta gestión documental pasando por la óptima definición de los requisitos funcionales que debe tener la herramienta que publique y gestione los objetos digitales. Se presenta el caso de dos instituciones, Consorci de Biblioteques Universitàries de Catalunya e Institut Cartogràfic de Catalunya, que afrontaron este proceso estratégico y escogieron ContentDm para la publicación y gestión de sus imágenes digitales.

Generación de interfaces para aplicaciones por línea de comandos

Generación dinámica de interfaces web basadas en ficheros descriptivos XML para el control de la parametrización compleja y ejecución de programas por línea de comandos. La necesidad surge con la aplicación mlcoalsim, utilizada por investigadores de la UAB, cuya parametrización requiere la edición manual de un fichero de texto la sintaxis del cual es complicada y pesada. Con la generación de interfaces web se pretende ayudar a los usuarios en la correcta parametrización y ejecución de aplicaciones como mlcoalsim.

Sistema distribuït d'indexació de fitxers

S'ha creat un programari de cerca de fitxers tan potent i fàcil d'utilitzar com els actuals, però que a més integra continguts de tota una xarxa local i amb possibilitat d’exploració des de qualsevol navegador, independentment del sistema operatiu utilitzat. L'aplicació s'ha desenvolupat fent ús de la tecnologia AJAX, molt utilitzada a la web 2.0 i amb un futur immediat prometedor.