A Framework for Building Hypercubes Using MapReduce

The European Space Agency's Gaia mission will create the largest and most precise three dimensional chart of our galaxy (the Milky Way), by providing unprecedented position, parallax, proper motion, and radial velocity measurements for about one billion stars. The resulting catalogue will be made available to the scientific community and will be analyzed in many different ways, including the production of a variety of statistics. The latter will often entail the generation of multidimensional histograms and hypercubes as part of the precomputed statistics for each data release, or for scientific analysis involving either the final data products or the raw data coming from the satellite instruments. In this paper we present and analyze a generic framework that allows the hypercube generation to be easily done within a MapReduce infrastructure, providing all the advantages of the new Big Data analysis paradigmbut without dealing with any specific interface to the lower level distributed system implementation (Hadoop). Furthermore, we show how executing the framework for different data storage model configurations (i.e. row or column oriented) and compression techniques can considerably improve the response time of this type of workload for the currently available simulated data of the mission. In addition, we put forward the advantages and shortcomings of the deployment of the framework on a public cloud provider, benchmark against other popular solutions available (that are not always the best for such ad-hoc applications), and describe some user experiences with the framework, which was employed for a number of dedicated astronomical data analysis techniques workshops.

A Framework for Building Hypercubes Using MapReduce

The European Space Agency's Gaia mission will create the largest and most precise three dimensional chart of our galaxy (the Milky Way), by providing unprecedented position, parallax, proper motion, and radial velocity measurements for about one billion stars. The resulting catalogue will be made available to the scientific community and will be analyzed in many different ways, including the production of a variety of statistics. The latter will often entail the generation of multidimensional histograms and hypercubes as part of the precomputed statistics for each data release, or for scientific analysis involving either the final data products or the raw data coming from the satellite instruments. In this paper we present and analyze a generic framework that allows the hypercube generation to be easily done within a MapReduce infrastructure, providing all the advantages of the new Big Data analysis paradigmbut without dealing with any specific interface to the lower level distributed system implementation (Hadoop). Furthermore, we show how executing the framework for different data storage model configurations (i.e. row or column oriented) and compression techniques can considerably improve the response time of this type of workload for the currently available simulated data of the mission. In addition, we put forward the advantages and shortcomings of the deployment of the framework on a public cloud provider, benchmark against other popular solutions available (that are not always the best for such ad-hoc applications), and describe some user experiences with the framework, which was employed for a number of dedicated astronomical data analysis techniques workshops.

Globally aligned photomosaic of the Lucky Strike hydrothermal vent field (Mid-Atlantic Ridge, 37°18.5’N): Release of georeferenced data, mosaic construction, and viewing software

We present a georeferenced photomosaic of the Lucky Strike hydrothermal vent field (Mid-Atlantic Ridge, 37°18’N). The photomosaic was generated from digital photographs acquired using the ARGO II seafloor imaging system during the 1996 LUSTRE cruise, which surveyed a ~1 km2 zone and provided a coverage of ~20% of the seafloor. The photomosaic has a pixel resolution of 15 mm and encloses the areas with known active hydrothermal venting. The final mosaic is generated after an optimization that includes the automatic detection of the same benthic features across different images (feature-matching), followed by a global alignment of images based on the vehicle navigation. We also provide software to construct mosaics from large sets of images for which georeferencing information exists (location, attitude, and altitude per image), to visualize them, and to extract data. Georeferencing information can be provided by the raw navigation data (collected during the survey) or result from the optimization obtained from imatge matching. Mosaics based solely on navigation can be readily generated by any user but the optimization and global alignment of the mosaic requires a case-by-case approach for which no universally software is available. The Lucky Strike photomosaics (optimized and navigated-only) are publicly available through the Marine Geoscience Data System (MGDS, http://www.marine-geo.org). The mosaic-generating and viewing software is available through the Computer Vision and Robotics Group Web page at the University of Girona (http://eia.udg.es/_rafa/mosaicviewer.html)

Projecte Final Postgrau Direcció de Sistemes Informatics en entorns de Programari Lliure

Creació d'una empresa que el seu producte principal es un programa amb una llicencia de programari lliure. L'empresa generarà una base del programa, robust i estable. Després s'alliberarà amb una llicencia lliure per a que la comunitat de programari lliure s'afegeixi al desenvolupament i el faci créixer i convertir-ho en un producte de qualitat i superior als actuals productes privatius. Per aconseguir el objectiu, l'empresa gestionarà el producte amb metodologies empresarials. El benefici, s'obtindrà de les SaaS (Software As a Service). El model de negoci i l'estratègia empresarial es basarà segons el model Hecker i Raymond.

La transició a la societat xarxa a Catalunya. Informe final de recerca (volum I)

Aquest estudi analitza les pràctiques diàries, els valors socials i les actituds de la població catalana en el procés de transició cap a la societat xarxa. Analitza el comportament de les persones a Internet i fora d'Internet, investigant el paper específic dels usos d'Internet a l'hora d'influenciar pràctiques i actituds. Es basa en les respostes a una enquesta de 3.005 individus, una mostra representativa de la població catalana el 2002. L'enquesta es va fer entre el febrer i el maig del 2002, i es basava en entrevistes cara a cara a partir d'un qüestionari de 179 preguntes. Es van utilitzar fonts secundàries per a situar els resultats catalans, particularment sobre els usos d'Internet, en el context global. L'anàlisi es va completar el 2007 incorporant-hi noves dades secundàries. L'estudi va cobrir pràctiques socials de treball, comunicació, sociabilitat, usos d'espai i temps, usos d'Internet, identitat cultural, pràctica política, associacionisme i formació de projectes d'autonomia. Es van construir diversos models estadístics per a proporcionar una anàlisi causal de cada una d'aquestes àrees d'estudi. El descobriment més significatiu fa referència a la relació entre els usos d'Internet i la construcció d'autonomia per part d'actors socials. Fent servir anàlisis factorial, l'estudi va definir cinc índexs d'autonomia que eren estadísticament independents: autonomia personal, autonomia professional, autonomia comunicativa, autonomia corporal i autonomia sociopolítica. Cada un d'aquests índexs d'autonomia independents estan fortament associats amb la freqüència i la intensitat de l'ús d'Internet, i les relacions observades es mantenen quan es controlen per variables sociodemogràfiques. A partir d'aquest estudi es pot afirmar que Internet és una plataforma important per a la construcció d'autonomia en la societat xarxa. En general, la societat catalana sembla que canviï de manera similar a altres societats en transició, amb l'èmfasi afegit del paper del territori i la família a l'hora d'enfortir les relacions socials, amb la contribució positiva d'Internet a un dens patró d'interacció social.

La transición en la sociedad red en Catalunya. Informe final de investigación (volumen II)

Aquest estudi analitza les pràctiques diàries, els valors socials i les actituds de la població catalana en el procés de transició cap a la societat xarxa. Analitza el comportament de les persones a Internet i fora d'Internet, investigant el paper específic dels usos d'Internet a l'hora d'influenciar pràctiques i actituds. Es basa en les respostes a una enquesta de 3.005 individus, una mostra representativa de la població catalana el 2002. L'enquesta es va fer entre el febrer i el maig del 2002, i es basava en entrevistes cara a cara a partir d'un qüestionari de 179 preguntes. Es van utilitzar fonts secundàries per a situar els resultats catalans, particularment sobre els usos d'Internet, en el context global. L'anàlisi es va completar el 2007 incorporant-hi noves dades secundàries. L'estudi va cobrir pràctiques socials de treball, comunicació, sociabilitat, usos d'espai i temps, usos d'Internet, identitat cultural, pràctica política, associacionisme i formació de projectes d'autonomia. Es van construir diversos models estadístics per a proporcionar una anàlisi causal de cada una d'aquestes àrees d'estudi. El descobriment més significatiu fa referència a la relació entre els usos d'Internet i la construcció d'autonomia per part d'actors socials. Fent servir anàlisis factorial, l'estudi va definir cinc índexs d'autonomia que eren estadísticament independents: autonomia personal, autonomia professional, autonomia comunicativa, autonomia corporal i autonomia sociopolítica. Cada un d'aquests índexs d'autonomia independents estan fortament associats amb la freqüència i la intensitat de l'ús d'Internet, i les relacions observades es mantenen quan es controlen per variables sociodemogràfiques. A partir d'aquest estudi es pot afirmar que Internet és una plataforma important per a la construcció d'autonomia en la societat xarxa. En general, la societat catalana sembla que canviï de manera similar a altres societats en transició, amb l'èmfasi afegit del paper del territori i la família a l'hora d'enfortir les relacions socials, amb la contribució positiva d'Internet a un dens patró d'interacció social.

La transición en la sociedad red en Catalunya. Informe final de investigación (volumen I)

Aquest estudi analitza les pràctiques diàries, els valors socials i les actituds de la població catalana en el procés de transició cap a la societat xarxa. Analitza el comportament de les persones a Internet i fora d'Internet, investigant el paper específic dels usos d'Internet a l'hora d'influenciar pràctiques i actituds. Es basa en les respostes a una enquesta de 3.005 individus, una mostra representativa de la població catalana el 2002. L'enquesta es va fer entre el febrer i el maig del 2002, i es basava en entrevistes cara a cara a partir d'un qüestionari de 179 preguntes. Es van utilitzar fonts secundàries per a situar els resultats catalans, particularment sobre els usos d'Internet, en el context global. L'anàlisi es va completar el 2007 incorporant-hi noves dades secundàries. L'estudi va cobrir pràctiques socials de treball, comunicació, sociabilitat, usos d'espai i temps, usos d'Internet, identitat cultural, pràctica política, associacionisme i formació de projectes d'autonomia. Es van construir diversos models estadístics per a proporcionar una anàlisi causal de cada una d'aquestes àrees d'estudi. El descobriment més significatiu fa referència a la relació entre els usos d'Internet i la construcció d'autonomia per part d'actors socials. Fent servir anàlisis factorial, l'estudi va definir cinc índexs d'autonomia que eren estadísticament independents: autonomia personal, autonomia professional, autonomia comunicativa, autonomia corporal i autonomia sociopolítica. Cada un d'aquests índexs d'autonomia independents estan fortament associats amb la freqüència i la intensitat de l'ús d'Internet, i les relacions observades es mantenen quan es controlen per variables sociodemogràfiques. A partir d'aquest estudi es pot afirmar que Internet és una plataforma important per a la construcció d'autonomia en la societat xarxa. En general, la societat catalana sembla que canviï de manera similar a altres societats en transició, amb l'èmfasi afegit del paper del territori i la família a l'hora d'enfortir les relacions socials, amb la contribució positiva d'Internet a un dens patró d'interacció social.

L'escola a la societat xarxa : Internet a l'educació primària i secundària. Informe final de recerca (volum II)

Aquest projecte té la intenció d'identificar i analitzar els efectes de la introducció d'Internet a les escoles catalanes (educació primària i secundària). L'objectiu és posar de manifest la manera com s'utilitza la xarxa en aquest àmbit i en quina mesura contribueix a l'aparició, en els centres educatius, d'una nova cultura adaptada a les necessitats de la societat xarxa. Amb aquest propòsit, aquest projecte desplega les seves línies d'anàlisi per a fer atenció al procés d'incorporació d'Internet, principalment, en tres direccions: la pràctica pedagògica, les formes d'organització i gestió dels centres educatius i la seva vinculació amb la comunitat i el territori. Aquesta investigació ha estat desenvolupada pel grup de recerca ENS (Education and Network Society). Amb una perspectiva comparativa, el treball d'aquest grup vol contribuir, sobre la base de dades empíriques, a interpretar la transformació de l'àmbit educatiu no universitari en els paràmetres que estableix, avui dia, la nostra societat.

L'escola a la societat xarxa : Internet a l'educació primària i secundària. Informe final de recerca (volum I)

Aquest projecte té la intenció d'identificar i analitzar els efectes de la introducció d'Internet a les escoles catalanes (educació primària i secundària). L'objectiu és posar de manifest la manera com s'utilitza la xarxa en aquest àmbit i en quina mesura contribueix a l'aparició, en els centres educatius, d'una nova cultura adaptada a les necessitats de la societat xarxa. Amb aquest propòsit, aquest projecte desplega les seves línies d'anàlisi per a fer atenció al procés d'incorporació d'Internet, principalment, en tres direccions: la pràctica pedagògica, les formes d'organització i gestió dels centres educatius i la seva vinculació amb la comunitat i el territori. Aquesta investigació ha estat desenvolupada pel grup de recerca ENS (Education and Network Society). Amb una perspectiva comparativa, el treball d'aquest grup vol contribuir, sobre la base de dades empíriques, a interpretar la transformació de l'àmbit educatiu no universitari en els paràmetres que estableix, avui dia, la nostra societat.

La transició a la societat xarxa a Catalunya. Informe final de recerca (volum II)

Aquest estudi analitza les pràctiques diàries, els valors socials i les actituds de la població catalana en el procés de transició cap a la societat xarxa. Analitza el comportament de les persones a Internet i fora d'Internet, investigant el paper específic dels usos d'Internet a l'hora d'influenciar pràctiques i actituds. Es basa en les respostes a una enquesta de 3.005 individus, una mostra representativa de la població catalana el 2002. L'enquesta es va fer entre el febrer i el maig del 2002, i es basava en entrevistes cara a cara a partir d'un qüestionari de 179 preguntes. Es van utilitzar fonts secundàries per a situar els resultats catalans, particularment sobre els usos d'Internet, en el context global. L'anàlisi es va completar el 2007 incorporant-hi noves dades secundàries. L'estudi va cobrir pràctiques socials de treball, comunicació, sociabilitat, usos d'espai i temps, usos d'Internet, identitat cultural, pràctica política, associacionisme i formació de projectes d'autonomia. Es van construir diversos models estadístics per a proporcionar una anàlisi causal de cada una d'aquestes àrees d'estudi. El descobriment més significatiu fa referència a la relació entre els usos d'Internet i la construcció d'autonomia per part d'actors socials. Fent servir anàlisis factorial, l'estudi va definir cinc índexs d'autonomia que eren estadísticament independents: autonomia personal, autonomia professional, autonomia comunicativa, autonomia corporal i autonomia sociopolítica. Cada un d'aquests índexs d'autonomia independents estan fortament associats amb la freqüència i la intensitat de l'ús d'Internet, i les relacions observades es mantenen quan es controlen per variables sociodemogràfiques. A partir d'aquest estudi es pot afirmar que Internet és una plataforma important per a la construcció d'autonomia en la societat xarxa. En general, la societat catalana sembla que canviï de manera similar a altres societats en transició, amb l'èmfasi afegit del paper del territori i la família a l'hora d'enfortir les relacions socials, amb la contribució positiva d'Internet a un dens patró d'interacció social.

Assessing the Precision of Compositional Data in a Stratified Double Stage Cluster Sample: Application to the Swiss Earnings Structure Survey

Precision of released figures is not only an important quality feature of official statistics,it is also essential for a good understanding of the data. In this paper we show a casestudy of how precision could be conveyed if the multivariate nature of data has to betaken into account. In the official release of the Swiss earnings structure survey, the totalsalary is broken down into several wage components. We follow Aitchison's approachfor the analysis of compositional data, which is based on logratios of components. Wefirst present diferent multivariate analyses of the compositional data whereby the wagecomponents are broken down by economic activity classes. Then we propose a numberof ways to assess precision

@neurIST infrastructure for advanced disease management through integration of heterogeneous data, computing, and complex processing services

The increasing volume of data describing humandisease processes and the growing complexity of understanding, managing, and sharing such data presents a huge challenge for clinicians and medical researchers. This paper presents the@neurIST system, which provides an infrastructure for biomedical research while aiding clinical care, by bringing together heterogeneous data and complex processing and computing services. Although @neurIST targets the investigation and treatment of cerebral aneurysms, the system’s architecture is generic enough that it could be adapted to the treatment of other diseases.Innovations in @neurIST include confining the patient data pertaining to aneurysms inside a single environment that offers cliniciansthe tools to analyze and interpret patient data and make use of knowledge-based guidance in planning their treatment. Medicalresearchers gain access to a critical mass of aneurysm related data due to the system’s ability to federate distributed informationsources. A semantically mediated grid infrastructure ensures that both clinicians and researchers are able to seamlessly access andwork on data that is distributed across multiple sites in a secure way in addition to providing computing resources on demand forperforming computationally intensive simulations for treatment planning and research.

What is the value of joint processing of pilots and data in block-fading channels?

The spectral efficiency achievable with joint processing of pilot and data symbol observations is compared with that achievable through the conventional (separate) approach of first estimating the channel on the basis of the pilot symbols alone, and subsequently detecting the datasymbols. Studied on the basis of a mutual information lower bound, joint processing is found to provide a non-negligible advantage relative to separate processing, particularly for fast fading. It is shown that, regardless of the fading rate, only a very small number of pilot symbols (at most one per transmit antenna and per channel coherence interval) shouldbe transmitted if joint processing is allowed.

Traducción técnica del capítulo III del libro Advanced Data Warehouse design: from conventional to spatial and temporal applications

The proposal to work on this final project came after several discussions held with Dr. Elzbieta Malinowski Gadja, who in 2008 published the book entitled Advanced Data Warehouse Design: From Conventional to Spatial and Temporal Applications (Data-Centric Systems and Applications). The project was carried out under the technical supervision of Dr. Malinowski and the direct beneficiary was the University of Costa Rica (UCR) where Dr. Malinowski is a professor at the Department of Computer Science and Informatics. The purpose of this project was twofold: First, to translate chapter III of said book with the intention of generating educational material for the use of the UCR and, second, to venture in the field of technical translation related to data warehouse. For the first component, the goal was to generate a final product that would eventually serve as an educational tool for the post-graduate courses of the UCR. For the second component, this project allowed me to acquire new skills and put into practice techniques that have helped me not only to perfom better in my current job as an Assistant Translator of the Inter-American BAnk (IDB), but also to use them in similar projects. The process was lenggthy and required torough research and constant communication with the author. The investigation focused on the search of terms and definitions to prepare the glossary, which was the basis to start the translation project. The translation process itself was carried out by phases, so that comments and corrections by the author could be taken into account in subsequent stages. Later, based on the glossary and the translated text, illustrations had been created in the Visio software were translated. In addition to the technical revision by the author, professor Carme Mangiron was in charge of revising the non-technical text. The result was a high-quality document that is currently used as reference and study material by the Department of Computer Science and Informatics of Costa Rica.

Counter-ion effect on surfactant-DNA gel particles as controlled DNA delivery systems

The ability to entrap drugs within vehicles and subsequently release them has led to new treatments for a number of diseases. Based on an associative phase separation and interfacial diffusion approach, we developed a way to prepare DNA gel particles without adding any kind of cross-linker or organic solvent. Among the various agents studied, cationic surfactants offered particularly efficient control for encapsulation and DNA release from these DNA gel particles. The driving force for this strong association is the electrostatic interaction between the two components, as induced by the entropic increase due to the release of the respective counter-ions. However, little is known about the influence of the respective counter-ions on this surfactant-DNA interaction. Here we examined the effect of different counter-ions on the formation and properties of the DNA gel particles by mixing DNA (either single- (ssDNA) or double-stranded (dsDNA)) with the single chain surfactant dodecyltrimethylammonium (DTA). In particular, we used as counter-ions of this surfactant the hydrogen sulfate and trifluoromethane sulfonate anions and the two halides, chloride and bromide. Effects on the morphology of the particles obtained, the encapsulation of DNA and its release, as well as the haemocompatibility of these particles, are presented, using the counter-ion structure and the DNA conformation as controlling parameters. Analysis of the data indicates that the degree of counter-ion dissociation from the surfactant micelles and the polar/hydrophobic character of the counter-ion are important parameters in the final properties of the particles. The stronger interaction with amphiphiles for ssDNA than for dsDNA suggests the important role of hydrophobic interactions in DNA.