Performance evaluation of database replication systems.

One of the most demanding needs in cloud computing is that of having scalable and highly available databases. One of the ways to attend these needs is to leverage the scalable replication techniques developed in the last decade. These techniques allow increasing both the availability and scalability of databases. Many replication protocols have been proposed during the last decade. The main research challenge was how to scale under the eager replication model, the one that provides consistency across replicas. In this paper, we examine three eager database replication systems available today: Middle-R, C-JDBC and MySQL Cluster using TPC-W benchmark. We analyze their architecture, replication protocols and compare the performance both in the absence of failures and when there are failures.

Control y Monitorización de un Invernadero a través de una Aplicación Móvil

Los invernaderos permiten tener un mayor control del entorno donde crecen las plantas. Son utilizados para aumentar la calidad y rendimiento de las plantaciones en ciertas ubicaciones que tienen estaciones cortas de crecimiento, o bien malas condiciones de iluminación debido a las localizaciones geográficas, por lo que permiten mejorar la producción de alimentos vegetales en entornos extremos. En este proyecto se ha desarrollado una maqueta de un invernadero y se propone el uso del microcontrolador Arduino y del sistema operativo Android, con el objetivo de lograr una tarea de control y monitorización sobre dicha maqueta. Por una parte, se utiliza la placa Arduino como tarjeta controladora del sistema y, a su vez, como tarjeta adquiridora de datos, y por otra parte se ha desarrollado una aplicación Android capaz de monitorizar y supervisar el estado del invernadero. Para llevar a cabo el flujo de información entre el invernadero y los dispositivos de monitorización, se ha desarrollado una aplicación servidor bajo código C++, capaz de administrar la información del invernadero en una base de datos MySQL y, de forma concurrente, atender las peticiones de los clientes Android registrados, proporcionándoles la información que soliciten, y ejecutando las acciones que reciben.

Análisis y valoración del grado de conocimiento en las redes sociales y páginas especializadas de las empresas emergentes y consolidadas

Hoy en día el exceso de información en Internet se puede convertir en una desventaja a la hora de buscar determinada información. El objetivo de la plataforma que presento es facilitar el acceso a esta información, en concreto, al grado de conocimiento de las empresas, sobre todo las startups o emergentes en Internet. Pensada para micro-inversores que quieres participar en un proyecto ilusionante y con futuro pueden utilizar la aplicación para conocer qué empresa tiene más probabilidades de triunfar por que ya lleva parte del camino andado y es conocida dentro de las redes sociales y páginas especializadas. Para conseguir ese conocimiento vamos a dar una calificación numérica al posicionamiento de esa empresa en las principales redes sociales, donde, mediante su API, obtenemos la información más relevante para posteriormente calificar con unos criterios a gusto del inversor, es decir, según la importancia que quiera darle a cada una. Además alimentaremos la aplicación con los artículos publicados en las páginas especializadas para que los usuarios puedan informarse de las últimas novedades del sector, puedan comentarlas e incluso añadir sus propios artículos. Programando nuestro propio Crawler o araña, visitaremos esas páginas de forma ordenada adquiriendo todos los links y descargando los artículos para guardarlos en nuestra aplicación. Aprovechándonos de esta funcionalidad vamos a pasar un buscador semántico para analizar todos esos artículos y medir si la empresa es nombrada y conocida en estas páginas especializadas. Dando un valor numérico a esas menciones y añadiéndolo a la puntuación antes mencionada. Como extra se añade el módulo de Ideas, destinado a esas ideas que se encuentran en la primera fase de desarrollo y que buscan inversión o ayuda de la comunidad para prosperar. Con la base en el gestor de contenidos DRUPAL que nos ayuda a dar facilidades a los usuarios por sus sencillas y completas interfaces gráficas, desarrollamos el proyecto en PHP con MySql

Sistema de gestión de un banco de tiempo

RESUMEN El presente documento aborda la problemática surgida en torno al desarrollo de una plataforma para gestión de bancos de tiempo mediante tecnología LAMP (Linux + Apache + MySql + PHP). Se mostrarán los resultados del análisis de requisitos, la implementación, la puesta en práctica desde el año 2005, asi como conclusiones y líneas futuras. Para finalizar la documentación, se adjunta una guía para la creación de un banco de tiempo. ABSTRACT This document explains the solution to develop a time bank management platform, using LAMP technology (Linux + Apache + MySql + PHP). This will be focus on the result of the analysis, the implementation, the real implementation working since 2005, conclusions and future working lines. A guide to set up a time bank is attached at the end of the documentation.

Clasificación de tráfico de Internet mediante análisis de datos

Poder clasificar de manera precisa la aplicación o programa del que provienen los flujos que conforman el tráfico de uso de Internet dentro de una red permite tanto a empresas como a organismos una útil herramienta de gestión de los recursos de sus redes, así como la posibilidad de establecer políticas de prohibición o priorización de tráfico específico. La proliferación de nuevas aplicaciones y de nuevas técnicas han dificultado el uso de valores conocidos (well-known) en puertos de aplicaciones proporcionados por la IANA (Internet Assigned Numbers Authority) para la detección de dichas aplicaciones. Las redes P2P (Peer to Peer), el uso de puertos no conocidos o aleatorios, y el enmascaramiento de tráfico de muchas aplicaciones en tráfico HTTP y HTTPS con el fin de atravesar firewalls y NATs (Network Address Translation), entre otros, crea la necesidad de nuevos métodos de detección de tráfico. El objetivo de este estudio es desarrollar una serie de prácticas que permitan realizar dicha tarea a través de técnicas que están más allá de la observación de puertos y otros valores conocidos. Existen una serie de metodologías como Deep Packet Inspection (DPI) que se basa en la búsqueda de firmas, signatures, en base a patrones creados por el contenido de los paquetes, incluido el payload, que caracterizan cada aplicación. Otras basadas en el aprendizaje automático de parámetros de los flujos, Machine Learning, que permite determinar mediante análisis estadísticos a qué aplicación pueden pertenecer dichos flujos y, por último, técnicas de carácter más heurístico basadas en la intuición o el conocimiento propio sobre tráfico de red. En concreto, se propone el uso de alguna de las técnicas anteriormente comentadas en conjunto con técnicas de minería de datos como son el Análisis de Componentes Principales (PCA por sus siglas en inglés) y Clustering de estadísticos extraídos de los flujos procedentes de ficheros de tráfico de red. Esto implicará la configuración de diversos parámetros que precisarán de un proceso iterativo de prueba y error que permita dar con una clasificación del tráfico fiable. El resultado ideal sería aquel en el que se pudiera identificar cada aplicación presente en el tráfico en un clúster distinto, o en clusters que agrupen grupos de aplicaciones de similar naturaleza. Para ello, se crearán capturas de tráfico dentro de un entorno controlado e identificando cada tráfico con su aplicación correspondiente, a continuación se extraerán los flujos de dichas capturas. Tras esto, parámetros determinados de los paquetes pertenecientes a dichos flujos serán obtenidos, como por ejemplo la fecha y hora de llagada o la longitud en octetos del paquete IP. Estos parámetros serán cargados en una base de datos MySQL y serán usados para obtener estadísticos que ayuden, en un siguiente paso, a realizar una clasificación de los flujos mediante minería de datos. Concretamente, se usarán las técnicas de PCA y clustering haciendo uso del software RapidMiner. Por último, los resultados obtenidos serán plasmados en una matriz de confusión que nos permitirá que sean valorados correctamente. ABSTRACT. Being able to classify the applications that generate the traffic flows in an Internet network allows companies and organisms to implement efficient resource management policies such as prohibition of specific applications or prioritization of certain application traffic, looking for an optimization of the available bandwidth. The proliferation of new applications and new technics in the last years has made it more difficult to use well-known values assigned by the IANA (Internet Assigned Numbers Authority), like UDP and TCP ports, to identify the traffic. Also, P2P networks and data encapsulation over HTTP and HTTPS traffic has increased the necessity to improve these traffic analysis technics. The aim of this project is to develop a number of techniques that make us able to classify the traffic with more than the simple observation of the well-known ports. There are some proposals that have been created to cover this necessity; Deep Packet Inspection (DPI) tries to find signatures in the packets reading the information contained in them, the payload, looking for patterns that can be used to characterize the applications to which that traffic belongs; Machine Learning procedures work with statistical analysis of the flows, trying to generate an automatic process that learns from those statistical parameters and calculate the likelihood of a flow pertaining to a certain application; Heuristic Techniques, finally, are based in the intuition or the knowledge of the researcher himself about the traffic being analyzed that can help him to characterize the traffic. Specifically, the use of some of the techniques previously mentioned in combination with data mining technics such as Principal Component Analysis (PCA) and Clustering (grouping) of the flows extracted from network traffic captures are proposed. An iterative process based in success and failure will be needed to configure these data mining techniques looking for a reliable traffic classification. The perfect result would be the one in which the traffic flows of each application is grouped correctly in each cluster or in clusters that contain group of applications of similar nature. To do this, network traffic captures will be created in a controlled environment in which every capture is classified and known to pertain to a specific application. Then, for each capture, all the flows will be extracted. These flows will be used to extract from them information such as date and arrival time or the IP length of the packets inside them. This information will be then loaded to a MySQL database where all the packets defining a flow will be classified and also, each flow will be assigned to its specific application. All the information obtained from the packets will be used to generate statistical parameters in order to describe each flow in the best possible way. After that, data mining techniques previously mentioned (PCA and Clustering) will be used on these parameters making use of the software RapidMiner. Finally, the results obtained from the data mining will be compared with the real classification of the flows that can be obtained from the database. A Confusion Matrix will be used for the comparison, letting us measure the veracity of the developed classification process.

Comparison of Architectures and Performance of Database Replication Systems

One of the most demanding needs in cloud computing and big data is that of having scalable and highly available databases. One of the ways to attend these needs is to leverage the scalable replication techniques developed in the last decade. These techniques allow increasing both the availability and scalability of databases. Many replication protocols have been proposed during the last decade. The main research challenge was how to scale under the eager replication model, the one that provides consistency across replicas. This thesis provides an in depth study of three eager database replication systems based on relational systems: Middle-R, C-JDBC and MySQL Cluster and three systems based on In-Memory Data Grids: JBoss Data Grid, Oracle Coherence and Terracotta Ehcache. Thesis explore these systems based on their architecture, replication protocols, fault tolerance and various other functionalities. It also provides experimental analysis of these systems using state-of-the art benchmarks: TPC-C and TPC-W (for relational systems) and Yahoo! Cloud Serving Benchmark (In- Memory Data Grids). Thesis also discusses three Graph Databases, Neo4j, Titan and Sparksee based on their architecture and transactional capabilities and highlights the weaker transactional consistencies provided by these systems. It discusses an implementation of snapshot isolation in Neo4j graph database to provide stronger isolation guarantees for transactions.

Aplicación de aprendizaje de idiomas para plataformas móviles

El proyecto aquí desarrollado es una aplicación Android para smartphone. Consiste en una plataforma para aprender inglés clasificada en varios niveles de aprendizaje que ofrece al usuario gramática y vocabulario clasificado en lecciones concretas; una vez aprendidas se pueden poner en práctica realizando ejercicios específicos. La aplicación está escrita en lenguaje Java. Para el almacenamiento de los datos se ha utilizado MySQL y su obtención fue posible gracias al diseño de una API utilizando Google App Engine. El objetivo era crear una aplicación que descargase los datos de una API por medio de peticiones. De esta forma se lograron dos propósitos: el primero es que la aplicación pueda usarse de manera offline una vez que ya tiene los datos en el dispositivo. El segundo es conseguir que la aplicación no tenga en su código los datos de la gramática ya que, al pedirlos a un servicio externo, adquiere total independencia. ABSTRACT The project developed is an Android application for smartphones. It is a platform to learn English covering different levels. It offers the user grammar and vocabulary contents in every lesson. In addition, once the lesson is finished it can be put into practice by performing specific exercises. The application is written in Java. For data storing, MySQL was used. As for data obtaining an API using Google App Engine was created. The aim was to create an application that could download data via an API using requests. Thus, two goals were achieved: first, the application can be used offline once you have the data on the device. Second, the application does not have in its code any grammar data: by ordering them to an external service the application becomes independent.

Aplicación móvil y web para la gestión de lugares geolocalizados

El proyecto “Aplicación móvil y web para la gestión de lugares geolocalizados (www.midiez.com)” tiene como objetivo principal crear un repositorio de listas categorizadas de sitios para su uso en el ámbito personal o comercial. Tanto la aplicación web como la aplicación móvil desarrollada en Android tienen el propósito de gestionar listas de lugares de interés (Restaurantes, tiendas,..) o con propósitos específicos (Organización de viajes) o simplemente como una forma de anotar aquellos sitios que nos comentan y que nos gustaría visitar. El desarrollo de este proyecto además permitirá contrastar las distintas alternativas y la evolución de las distintas herramientas que se han ido desarrollando para la gestión del ocio en los últimos años desde el sistema Android y plataformas web. Todo el proyecto ha sido realizado usando software libre (PHP para el lenguaje web servidor y Java para la programación móvil). La principal finalidad desde el punto de vista del desarrollador es: aprovechar las sinergias de la programación móvil y la programación web de manera que las mismas capas de negocio de Datos sean usadas por ambas plataformas. Asimismo crear una aplicación distribuida y fácilmente escalable. Las herramientas que se han usado para desarrollar han sido: la SDK proporcionada por Google, una JDK de Java y un IDE de desarrollo Java como es Eclipse y otro similar para el desarrollo de la parte PHP. La BBDD elegida ha sido MySQL. El proyecto pretende mostrar el potencial de las aplicaciones móviles geolocalizadas desde el punto de vista del ocio y compararlas con el estado del arte actual. Por lo tanto la mayor parte del tiempo dedicado al proyecto ha sido empleado en el desarrollo de la aplicación web, la aplicación móvil y en la base de datos pero también he dedicado una pequeña parte del trabajo para realizar un estudio sobre las consecuencias que esta tecnología está teniendo en nuestros cerebros. ABSTRACT The project "Web and Mobile App for managing geolocation places” has as main objective managing of places lists in order to use them in the leisure time scope. Nowadays the use of GPS is being a constant in mobile applications so that is already part of our daily life. We used to know where we are always and at the same time we can find locations using the technology of our mobile phones. Now it is very difficult to get lost outside but also is difficult to explain somebody how to get to anywhere without using Google Maps. Google Maps, Geolocation, gps navigators, … all that kind of stuff are making our life easier and less complicated but also are making our brains lazier. Furthermore, the development of this project will use the potential of locate places into maps to avoid annotate every spot we would like to visit or a brand new restaurant. The project itself shows the location features of Google Maps combined with an places data base in order to create, and manage places lists and use them to get to them as well as to share those places with our contacts. Also, the main purpose from the point of view of the developer is to combine different programming languages and use the resulting synergies in a easily scalable and portable environment. The tools that have been used to develop are: the SDK provided by Google, one JDK Java and Java development IDE such as Eclipse and similar to the development of the PHP part. The DB has been chosen MySQL. Finally, this project aims to show, from an educational point of view, the use and potential of this technology. Thus, it has been devoted a large amount of time of the project (and, consequently, its documentation) on develop the Android app, the data base and the web app but also but also to highlight the consequences of using technology.

Autogestor de contenidos dinámico (ACD)

Este proyecto se centra en la construcción de una herramienta para la gestión de contenidos de muy diversos tipos, siendo fácilmente adaptable a cada uno de los contextos. Permite guardar los contenidos necesarios gracias a un formulario previamente personalizado, de este modo hay un editor que se dedica solamente a la introducción de los contenidos y un administrador que personaliza los campos del formulario según los contenidos. En esencia la herramienta sirve de apoyo a dos tipos de usuario, desarrolladores (administrador) y redactores (editor), a los primeros les simplifica las tareas de conceptualización de las estructuras de datos de las que se desea tener persistencia y sirve como base para construir los editores que usan los redactores, por otro lado proporciona un API sencillo, potente y ágil para recuperar los datos introducidos por los redactores. La herramienta a su vez está pensada para ser interoperable, es decir, no obliga a usar un tipo de almacenamiento persistente concreto. Puede utilizar desde los sencillos archivos de texto, con lo que puede desplegarse en servidores treméndamente básicos. Por otro lado, si se necesita potencia en las búsquedas, nada debe impedir el uso de bases de datos relacionales como MySql. O incluso si se quiere dar un paso más y se quiere aprovechar la flexibilidad, potencia y maleabilidad de las bases de datos NoSql (como MongoDB) no es costoso, lo que hay que hacer es implementar una nueva clase de tipo PersistentManager y desarrollar los tipos de búsqueda y recuperación de contenidos que se necesiten. En la versión inicial de la herramienta se han implementado estos tres tipos de almacenes, nada impide usar sólo alguno de ellos y desechar el resto o implementar uno nuevo. Desde el punto de vista de los redactores, les ofrece un entorno sencillo y potente para poder realizar las tareas típicas denominadas CRUD (Create Read Update Delete, Crear Leer Actualizar y Borrar), un redactor podrá crear, buscar, re-aprovechar e incluso planificar publicación de contenidos en el tiempo. ABSTRACT This project focuses on building a tool for content management of many types, being easily adaptable to each context. Saves the necessary content through a previously designed form, thus there will be an editor working only on the introduction of the contents and there will be an administrator to customize the form fields as contents. Essentially the tool provides support for two types of users, developers (administrator) and editors, the first will have simplified the tasks of conceptualization of data structures which are desired to be persistent and serve as the basis for building the structures that will be used by editors, on the other hand provides a simple, powerful and agile API to retrieve the data entered by the editors. The tool must also be designed to be interoperable, which means not to be bound by the use of a particular type of persistent storage. You can use simple text files, which can be deployed in extremely basic servers. On the other hand, if power is needed in searches, nothing should prevent the use of relational databases such as MySQL. Or even if you want to go a step further and want to take advantage of the flexibility, power and malleability of NoSQL databases (such as MongoDB) it will not be difficult, you will only need to implement a new class of PersistentManager type and develop the type of search and query of content as needed. In the initial version of the tool these three types of storage have been implemented, it will be entitled to use only one of them and discard the rest or implement a new one. From the point of view of the editors, it offers a simple and powerful environment to perform the typical tasks called CRUD (Create Read Update Delete), an editor can create, search, re-use and even plan publishing content in time.

Población de la Base de Datos

Presentación de la sesión de prácticas sobre Población de Base de Datos automática.

Gestión de índices

¿Qué es un índice? ¿Cómo se estructura? ¿Cómo se almacena la información en una tabla? Esta presentación describe cada uno de estos aspectos y nos da consejos de cómo optimizar las tablas, índices y consultas.

Aplicações baseadas em geolocalizações para gestão de instalações desportivas: exemplo de utilização da API da GOOGLE Maps no concelho de Guimarães

O contexto tecnológico em que vivemos é uma realidade. E a tendência é para ser assim também no futuro. Cada vez mais. É o caso das representações de locais e entidades em mapas digitais na web. Na visão de Crocker (2014), esta tendência é ainda mais acentuada, no âmbito das aplicações móveis, como mostram as mais diversas location-based applications. No setor do desporto e da respetiva gestão nem sempre foi fácil desenvolver aplicações, recorrendo a este tipo de representações espaciais. A tecnologia não era fácil e o know-how não era adequadamente qualificado. Mas, as empresas fornecedoras de tecnologia geoespacial simplificaram o desenvolvimento de aplicações web nesta área, através da utilização de application programming interfaces (API). Como refere Svennerberg (2010), estas API’s servem de interface entre um serviço proporcionado por uma empresa, caso da Google Maps (2013) e uma aplicação web ou móvel que utiliza esses serviços. Foi com este objetivo que desenvolvemos uma aplicação web, utilizando as metodologias próprias neste domínio, como a framework de Zachman (2009), tal como foi originalmente adaptada por Whitten e Bentley (2005), onde um dos módulos é precisamente a representação de espaços desportivos, recorrendo à utilização dos serviços da Google Maps. Para além disso, toda a aplicação é suportada numa abordagem Model-View-Control (MVC). Para conseguir representar as instalações desportivas num mapa, criámos uma base de dados MySQL, com dados de longitude e latitude, de cada instalação desportiva. Através de JavaScript criou-se o mapa propriamente dito, indicando o tipo (mapa de estradas, satélite ou street view) e as respetivas opções (nível de zoom, alinhamento, controlo de interface e posicionamente, entre muitas outras opções). O passo seguinte consistiu em passar os dados para o frontend da aplicação web. Para isso, recorreu-se à integração do PHP com as livrarias externas de código JavaSrcipt, criadas especificamente para o efeito (caso da MarkerManager). A implementação destas funcionalidades permite georeferenciar todos os tipos e géneros de espaços desportivos de um concelho, região ou País. Obteve-se ainda know-how, background e massa crítica, para o desenvolvimento de novas funcionalidades. A sua utilização em dispositivos móveis é outra das possibilidades atualmente já em desenvolvimento.

Conceção de um plano digital de atividades para a escola superior de ciência e tecnologia

Este artigo apresenta uma plataforma web construída para o diretor e respetiva equipa de coordenadores da Escola Superior de Ciências e Tecnologia. Esta plataforma é o resultado do processo usado anteriormente na gestão do plano de atividades, tendo por base um documento Word que passa para um novo processo que permite aos utilizadores consultar, inserir e editar o plano de atividades de um ano letivo, através de uma plataforma digital. Este estudo apresenta ainda os métodos e escolhas tomadas ao longo do processo de desenvolvimento, e a respetiva arquitetura do sistema.

Transcriptome analysis of Neotyphodium and Epichloë grass endophytes

Large-scale gene discovery has been performed for the grass fungal endophytes Neotyphodium coenophialum, Neotyphodium lolii, and Epichloe festucae. The resulting sequences have been annotated by comparison with public DNA and protein sequence databases and using intermediate gene ontology annotation tools. Endophyte sequences have also been analysed for the presence of simple sequence repeat and single nucleotide polymorphism molecular genetic markers. Sequences and annotation are maintained within a MySQL database that may be queried using a custom web interface. Two cDNA-based microarrays have been generated from this genome resource, They permit the interrogation of 3806 Neotyphodium genes (Nchip (TM) rnicroarray), and 4195 Neotyphodium and 920 Epichloe genes (EndoChip (TM) microarray), respectively. These microarrays provide tools for high-throughput transcriptome analysis, including genome-specific gene expression studies, profiling of novel endophyte genes, and investigation of the host grass-symbiont interaction. Comparative transcriptome analysis in Neotyphodium and Epichloe was performed. (c) 2006 Elsevier

Encyclopaedia Slavica Sanctorum: Activity, Users, Statistics

Encyclopaedia slavica sanctorum (eslavsanct.net) is designed as a complex heterogenous multimedia product. It is part of the project Encyclopaedia Slavica Sanctorum: Saints and Holy Places in Bulgaria (in electronic and Guthenberg versions). Until 2013, its web-based platform for online management and presentation of structured digital content has been prepared and numerous materials have been input. The platform is developed using the server technologies PHP, MySQL and HTML, JavaScript, CSS on the client side. The search in the e-ESS can be made by different parameters (12, or combinations of parameters), such as saints’ or feasts’ names, type of sainthood, types of texts dedicated to the saints, dates of saints’ commemorations, and several others. Both guests and registered users can search in the e-ESS but the latter have access to much more information including the publications of original sources. The e-platform allows for making statistics of what have been searched and read. The software used for content and access analysis is BI tool QlikView. As an analysis services provider, it is connected to the e-ESS objects repository and tracking services by a preliminary created data warehouse. The data warehouse is updated automatically, achieving real time analytics solution. The paper discusses some of the statistics results of the use of the e-ESS: the activities of the editors, users, and guests, the types of searches, the most often viewed object, such as the date of January 1 and the article on St. Basil the Great which is one of the richest encyclopaedia articles and includes both matadata and original sources published, both from medieval Slavonic manuscripts and popular culture records.