Transactional failure recovery for a distributed key-value store

With the advent of cloud computing, many applications have embraced the ensuing paradigm shift towards modern distributed key-value data stores, like HBase, in order to benefit from the elastic scalability on offer. However, many applications still hesitate to make the leap from the traditional relational database model simply because they cannot compromise on the standard transactional guarantees of atomicity, isolation, and durability. To get the best of both worlds, one option is to integrate an independent transaction management component with a distributed key-value store. In this paper, we discuss the implications of this approach for durability. In particular, if the transaction manager provides durability (e.g., through logging), then we can relax durability constraints in the key-value store. However, if a component fails (e.g., a client or a key-value server), then we need a coordinated recovery procedure to ensure that commits are persisted correctly. In our research, we integrate an independent transaction manager with HBase. Our main contribution is a failure recovery middleware for the integrated system, which tracks the progress of each commit as it is flushed down by the client and persisted within HBase, so that we can recover reliably from failures. During recovery, commits that were interrupted by the failure are replayed from the transaction management log. Importantly, the recovery process does not interrupt transaction processing on the available servers. Using a benchmark, we evaluate the impact of component failure, and subsequent recovery, on application performance.

Desarrollo de una solución SaaS para una Enterprise Store

En el marco del proyecto europeo FI-WARE, en el CoNWet Lab (laboratorio de la ETSI Informáticos de la UPM) se ha implementado la plataforma Web Wstore que es una implementación de referencia del Store Generic Enabler perteneciente a dicho proyecto. El objetivo de FI-WARE es crear la plataforma núcleo del Internet del Futuro (IoF) con la intención de incrementar la competitividad global europea en el mundo de las TI. El proyecto introduce una infraestructura innovadora para la creación y distribución de servicios digitales en internet. WStore ofrece a los proveedores de servicios la plataforma donde publicar sus ofertas y desde la cual los clientes podrán acceder ellas. Estos proveedores ofrecen servicios Web, aplicaciones, widgets y data sets del mismo modo que Google ofrece aplicaciones en la tienda online Google Play o Apple en el App Store. WStore está implementada actualmente como una plataforma Web, por lo que una organización que desee ofrecer el servicio de la store necesita instalar el software en un servidor propio y disponer de un dominio para ofrecer sus productos. El objetivo de este trabajo es migrar WStore a un entorno de computación en la nube de manera que con una única instancia se ofrezca el servicio a las organizaciones que deseen disponer de su propia plataforma, de la cual tendrán total control como si se encontrase en su propia infraestructura. Para esto se implementa una versión de WStore que será desplegada en una infraestructura cloud y ofrecida como Software as a Service. La implementación incluye una serie de módulos de código que se podrán añadir opcionalmente en el proceso de instalación si se desea que la instancia instalada sea Multitenant. Además, en este trabajo se estudian y prueban las herramientas que ofrece MongoDB para desplegar la plataforma Wstore Multitenant en una infraestructura cloud. Estas herramientas son replica sets y sharding que permiten desplegar una base de datos escalable y de alta disponibilidad. ---ABSTRACT---In the context of the European project FI-WARE, the CoNWeT Lab (IT Lab from ETSIINF UPM university) has been implemented the web platform WStore. WStore is a reference implementation of the Generic Enabler Store from FI-WARE project. The FI-WARE goal is to create the core platform of the Future Internet (IoF) with the intention of enhancing Europe's global competitiveness in IT technologies. FI-WARE introduces an innovative infrastructure for the creation and distribution of digital services over the Internet. WStore offers to service providers a platform to publicate offerings and where customers can access them. The providers offer web services, applications, widgets and data sets in the same way that Google offers online applications on Google Play or Apple on App Store plataforms. WStore is currently implemented as a web platform, so if an organization wants to offer the store service, it need to install the software on it’s own serves and have a domain to offer their products. The objective of this paper is to migrate WStore to a cloud computing environment where a single instance of the WStore is offered as a web service to organizations who want their own store. Customers (tenants) of the WStore web service will have total control over the software and WStore administration. The implementation includes several code modules that can be optionally added in the installation process to build a Multitenant instance. In addition, this paper review the tools that MongoDB provide for scalability and high availability (replica sets and sharding) with the purpose of deploying multi-tenant WStore on a cloud infrastructure.

Prototipo de e-store para un ecosistema y un framework de provisión de servicios

El trabajo realizado se encuentra enmarcado dentro del proyecto de I+D+I del 7o programa marco de la Comisión Europea Fi-WARE: The future Internet core platform que forma parte de la iniciativa Future Internet PPP. En concreto, se ha desarrollado la especificación de un Generic Enabler con funcionalidad de tienda virtual que de soporte a la publicación y adquisición o subscripción de aplicaciones y servicios dentro del denominado Business Framework Ecosystem (BFE), además de una implementación de referencia de este Generic Enabler (GE) que ha sido utilizada para la realización de una prueba de concepto con el objetivo de comprobar la adecuación del comportamiento de la especificación dentro del BFE. La primera tarea realizada ha consistido en un estudio de otras stores (o tiendas digitales) existentes, mirando aspectos tales como la funcionalidad proporcionada, la información mostrada de los distintos productos ofrecidos o la organización de la interfaz de usuario y la metáfora visual. Este estudio ha tenido como objetivo establecer un punto de partida desde el que empezar a analizar las distintas funcionalidades que deberá proveer el sistema.Utilizando como base el estudio anterior y las necesidades concretas de la plataforma Fi-WARE se paso a la educación de los requisitos generales del sistema en los cuales se especifica a grandes rasgos la funcionalidad que debe proveer esta tienda digital así como algunos aspectos concretos de la experiencia de usuario. Una vez definida la funcionalidad de la store se ha abordado el diseño del sistema. Para realizar este diseño se ha trabajado en dos tareas principales: La primera de estas tareas ha consistido en realizar el diseño de la arquitectura del Store GE, en el que se especifican todos los módulos que debe contener el sistema para poder satisfacer los requisitos, así como las distintas conexiones del Store GE con otros componentes del proyecto Fi-Ware y de sus interrelaciones con el resto de componentes de dicho proyecto. Esto ofrece una visión global de la ubicación del Store GE dentro de la arquitectura general del proyecto Fi-Ware. La segunda tarea ha consistido en el desarrollo de la especicación abierta (Open specication) del Store GE. Esta tarea es probablemente la más relevante de cara a cumplir con los objetivos del proyecto Fi-Ware, ya que Fi-Ware se propone como objetivo principal proporcionar las especificaciones de una plataforma tecnológica abierta para la Internet del futuro, formada por un conjunto de componentes (denominados Generic Enablers), entre los que se encuentra el Store GE. En este documento ha quedado descrito con todo detalle en que consiste el Store GE y cuales son sus APIs, sobre las que se construirán las aplicaciones de la futura Internet basadas en Fi-Ware, de manera que sea posible que cualquier empresa pueda realizar una implementación diferente a la que se está desarrollando en este proyecto (si bien ésta será su implementación de referencia). Para esta Open specication se han desarrollado un modelo de gestión de usuarios y roles, un modelo de datos, diagramas de interacción que definen todas las posibles comunicaciones de la store con otros Generic Enablers del proyecto Fi-Ware, la definición del ciclo de vida de una oferta y las APIs REST del Store GE, incluyendo el contenido de las peticiones y los tipos MIME soportados. En este punto se pudo comenzar a trabajar en la implementación de referencia del Store GE. La primera tarea ha consistido en realizar la integración con el Marketplace GE, otro de los Generic Enablers del proyecto Fi-Ware, para ello se definieron unos requisitos específicos y se realizó un diseño de bajo nivel de este móodulo seguido de la propia implementación y un conjunto exhaustivo de pruebas unitarias para comprobar su correcto funcionamiento. A continuación se pasó a realizar la integracióon con el Repository GE siguiendo los mismos pasos que con la integración con el Marketplace GE. La siguiente tarea realizada ha consistido en la realización de los móodulos necesarios para permitir crear nuevas ofertas en la implementación de referencia de Store GE incluyendo nuevamente una fase de educación de requisitos específicos, un diseño de bajo nivel, la propia implementación y una serie de pruebas unitarias. Una vez implementada la creación de nuevas ofertas, se pasó a la realización de la funcionalidad necesaria para la recuperación y visualizacion de estas ofertas así como a la realización del soporte necesario para el registro de recursos y para la vinculación de estos a determinadas ofertas, siguiendo nuevamente la metodología antes mencionada. Finalmente se ha dado el soporte para la publicación y la adquisición de ofertas. En este caso la adquisición de ofertas se ha realizado tan solo en la parte servidora de la aplicación y no se ha llegado a dar soporte a esta funcionalidad en la interfaz Web al no ser necesaria para la realización de la prueba de concepto prevista. No obstante esta funcionalidad será implementada junto con otras funcionalidades como el soporte de características sociales, ya fuera del ámbito de este Trabajo de fin de grado. Como paso previo a la realización de la prueba de concepto se ha trabajado en la plataforma Wirecloud, que es una implementación de referencia del denominado Application Mashup GE, modicando su funcionalidad para integrarla con la API de compras realizada dentro de la implementación de referencia del Store GE. La úultima tarea realizada para este Trabajo de fin de grado ha consistido por fin en la realización de la prueba de concepto del Store GE integrando su implementación de referencia con las del resto de Generic Enablers, lo cual ha permitido comprobar así el fucionamiento de la arquitectura y modelo propuestos.

Implantación de un sistema de depósito, devolución y retorno en el mercado retail español

“Quien contamina, paga“, con esta premisa surgió la idea de este Trabajo Fin de Máster, en adelante TFM, cuyo objetivo era identificar medidas alternativas reales para una optimización del proceso actual de gestión de residuos sólidos urbanos ante una sociedad cada vez más superpoblada y con mayores ratios de consumo. Cada español genera anualmente un volumen de 485 Kg de residuos, de los cuales únicamente el 33 % son reciclados y pueden volver a un flujo normal de uso, especialmente preocupante durante los últimos años es el auge de los productos envasados, tanto de bebidas como de alimentos , cuya utilización se ha duplicado en la última década. La motivación de este trabajo Fin de Máster ha sido la de poner de manifiesto que la sostenibilidad con el medioambiente puede ir de la mano de la rentabilidad y del progreso. Durante este TFM se ha estudiado y analizado la viabilidad económica de implantación de un nuevo modelo de depósito, devolución y retorno en el mercado retail español y como con la adopción de este nuevo sistema se pueden lograr beneficios tanto para el propio minorista, como para el medio ambiente con ratios de reciclado superiores al 98%. La preocupación por el medio ambiente empieza a ser una constante entre los consumidores españoles y dicha preocupación comienza a ser influenciadora en las decisiones de compra (productos eco, sostenibilidad…). Nuestra propuesta consiste en dotar a los principales distribuidores del sector retail español de un sistema de depósito, devolución y retorno para envases de bebidas capaz de generar diferenciación, innovación y rentabilidad frente a la competencia. Dicho sistema consiste en pagar un depósito por cada envase de bebida que se adquiera y su correspondiente devolución en la siguiente compra, una vez que se devuelva vacío al establecimiento. Para ello se ha analizado el sector de la distribución en España, especialmente la distribución de bebidas. Se trata de un sector muy competitivo, que presenta varios formatos en función del tamaño del establecimiento (Hipermercados, Supermercados, tiendas tradicionales). Las principales empresas distribuidoras (Carrefour, Mercadona, Alcampo, Eroski, DIA) se encuentran en procesos de cambios estratégicos para lograr atraer a más consumidores hacia sus tiendas, por lo que nuestra propuesta podrá añadir valor a la hora de influenciar en la decisión del lugar de compra. En nuestro caso, nos dirigiremos principalmente a las grandes empresas distribuidoras, Hipermercados de más de 2.500 m2 ,que cuentan con más de 500 puntos de venta y distribución donde existe la posibilidad real de implantar un SDDR. Además se ha realizado un estudio de mercado sobre la influencia de dicho sistema en el consumidor final, donde se ha detectado dos segmentos principales cuya decisión de compra se vería muy influenciada por la implantación de un SDDR, un segmento Sénior, entre 45-54 años, preocupados por el medio ambiente y con poder adquisitivo suficiente como para que el pago del depósito no sea bloqueante, y un segmento Junior, entre 18-24 años, también muy concienciado el medio ambiente, de capacidad económica menor pero qué influye en la decisión de compra de sus progenitores. Para llevar a cabo este plan de negocio será necesario una inversión inicial de 57.000 €, con unas expectativas de recuperación de dicha inversión en el primer año y una TIR del 56%, presentando un VAN de 127.961 € para los 7 años de vida del proyecto. Para dar a conocer a los clientes del Hipermercado los beneficios de utilizar un sistema SDDR, se realizarán campañas de marketing a través de diferentes canales, promociones de apertura, acciones de marketing exteriores y planes de fidelización. La organización e implantación en el Hipermercado será muy sencilla con roles claramente diferenciados, únicamente involucraría a unos 9 recursos definidos y en aproximadamente 3 meses desde el inicio del proyecto ya se podría ofertar dicho servicio a los clientes del Hipermercado. Además se han analizado los principales riesgos a los que se enfrentaría el negocio, ponderándose en una matriz impacto-probabilidad. Se han establecido medidas correctoras en el caso que dicho riesgo aflore. Habrá que tener especialmente precaución con la pérdida de ventas durante el arranque del negocio en el caso que esto ocurra, por lo que se deberá controlar el gasto, fomentar la captación de clientes y mantener un fondo de maniobra lo suficientemente elevado como para absorber dicho riesgo.---ABSTRACT---“Polluters pay”, with this premise this TFM aimed at identifying real alternative measures for optimization of the current process of solid waste management in a crowded society and with greater consumption ratios. Spaniards generates an annual volume of 485 kg of waste; only 33 % are recycled and can return to a normal flow. Specially concern is the increased of packaged product in recent years, mainly drink and food, their use has been duplicated in the last decade. The motivation for this Thesis was to highlight that sustainability, profitability and progress can go together. During this TFM has been studied and analyzed the economic feasibility of implementing a new model of deposit , refund and return in the Spanish retail market and as with the adoption of this new system can achieve benefits for the retailer itself therefore to the environment with ratios above 98% recycled. Concern for the environment is becoming a constant among Spanish consumers , and this concern is becoming influencer in purchasing decisions ( eco, sustainability ... ) . Our proposal is to provide the main distributors of the Spanish retail sector a system of deposit, refund and return for beverage containers capable of generating differentiation, innovation and profitability over the competition. This system is to pay a deposit for each beverage container they purchase and their corresponding return in the next purchase, once they return empty to the establishment. For this we have analyzed the distribution sector in Spain, especially the distribution of beverages. This is a highly competitive industry, which features various formats depending on the size of establishments (hypermarkets, supermarkets, traditional shops). The main distribution companies (Carrefour, Mercadona, Alcampo, Eroski, DIA) are in the process of strategic changes in order to attract more consumers to their stores, so that our approach can add value in influencing the decision of place shopping. In our case, we will go mainly to large distributors, Hypermarkets of over 2,500 m2, which have more than 500 outlets and distribution where there is a real possibility of implementing a SDDR. It has also conducted a market study on the influence of that system on the final consumer, which has detected two main segments whose purchasing decisions would be greatly influenced by the introduction of a SDDR, a Senior segment, 45-54 years concerned about the environment and purchasing power enough that the deposit is not blocking, and a Junior Segment, aged 18-24, also concern with environment, lower economic capacity but what influences the decision purchase of their parents). To carry out this business plan will require an initial investment of 57,000 €, with expectations of recovery of such investment in the first year and an IRR of 56%, with an NPV of € 127,961 for the 7 years of the project . To publicize hypermarket customers the benefits of using a SDDR system, marketing campaigns conducted through different channels, opening promotions, marketing activities and external loyalty schemes. The organization and implementation in the Hypermarket is easy with distinct roles, involve only about 9 resourced and in about 3 months from the start of the project and could offer this service to customers in the hypermarket. We have also analyzed the main risks and established corrective measures to surface that risk . We should take caution with lost sales during startup of the business, such as control spending, customer retention and maintaining enough working capital.