A Grid Supercomputing Enviroment for High Demand Computational Applications

Despite the huge increase in processor and interprocessor network performace, many computational problems remain unsolved due to lack of some critical resources such as floating point sustained performance, memory bandwidth, etc... Examples of these problems are found in areas of climate research, biology, astrophysics, high energy physics (montecarlo simulations) and artificial intelligence, among others. For some of these problems, computing resources of a single supercomputing facility can be 1 or 2 orders of magnitude apart from the resources needed to solve some them. Supercomputer centers have to face an increasing demand on processing performance, with the direct consequence of an increasing number of processors and systems, resulting in a more difficult administration of HPC resources and the need for more physical space, higher electrical power consumption and improved air conditioning, among other problems. Some of the previous problems can´t be easily solved, so grid computing, intended as a technology enabling the addition and consolidation of computing power, can help in solving large scale supercomputing problems. In this document, we describe how 2 supercomputing facilities in Spain joined their resources to solve a problem of this kind. The objectives of this experience were, among others, to demonstrate that such a cooperation can enable the solution of bigger dimension problems and to measure the efficiency that could be achieved. In this document we show some preliminary results of this experience and to what extend these objectives were achieved.

Memòria del plantejament del projecte PADICAT (Patrimoni Digital de Catalunya)

El projecte PADICAT té l'objectiu de dissenyar i produir un sistema que permeti a la Biblioteca de Catalunya compilar, processar i donar accés permanent a la producció digital catalana. En alguns països s'anomena "dipòsits digitals nacionals" a projectes similars, essent els més coneguts el gegant Internet Archive, l'australià Pandora o el suec Kulturarw3. D'acord amb la tendència generalitzada arreu de les biblioteques nacionals, el model de dipòsit que persegueix la Biblioteca de Catalunya és el sistema híbrid, consistent a: - Compilar massivament els recursos digitals publicats en obert a Internet - Impulsar el dipòsit sistemàtic de la producció web dels agents implicats a Catalunya - Promoure línies de recerca per mitjà de la integració dels recursos digitals de determinats esdeveniments de la vida pública catalana. L'any 2005 ha representat el període de planificació i proves del projecte que lidera la Biblioteca de Catalunya, que té previst sistematitzar el dipòsit digital de la producció web catalana en el període 2006-2008. La Memòria del plantejament del projecte PADICAT presenta el recull d'informes tècnics generats per la Biblioteca de Catalunya durant aquesta fase de planificació i proves. El projecte PADICAT compta amb la col·laboració del CESCA (Centre de Supercomputació de Catalunya) i el DURSI (Departament d'Universitats, Recerca i Societat de la Informació de la Generalitat de Catalunya).

RECERCAT. El Dipòsit de la Recerca de Catalunya

Seguint la tendència mundial de crear dipòsits institucionals d'accés lliure per recopilar i preservar els documents d'investigació generats en les institucions acadèmiques, el CESCA i el CBUC han posat en funcionament RECERCAT. RECERCAT és un dipòsit cooperatiu de documents digitals que inclou la literatura de recerca de les universitats i dels centres d'investigació de Catalunya, com ara articles encara no publicats (preprints), comunicacions a congressos, informes de recerca, working papers, projectes de final de carrera, memòries tècniques, etc. La comunicació pretén explicar els processos que s'han seguit per posar en marxa aquest projecte: des de la selecció i adaptació del programari amb el que funciona (DSpace), fins als treballs duts a terme per establir les polítiques d'accés, d’introducció de dades, de metadades Dublin Core necessàries per descriure els documents, el tipus de llicència de les Creative Commons sota la qual es troben subjectes els documents, etc.

Dipòsits col·lectius d'e-informació

El Centre de Supercomputació de Catalunya (CESCA) i el Consorci de Biblioteques Universitàries de Catalunya (CBUC) des del 1999, com a fruït del llavors Pla Estratègic Catalunya en Xarxa, promouen activitats per posar continguts a la xarxa en accés obert. Això s’ha materialitzat, de moment, en la posada en marxa de tres dipòsits col·lectius d'e-informació: Tesis Doctorals en Xarxa (TDX), Dipòsit de la Recerca de Catalunya (RECERCAT) i Revistes Catalanes amb Accés Obert (RACO). Al febrer de 2001 va néixer el TDX (www.tesisenxarxa.net), que permet la consulta de més de 3400 tesis doctorals llegides a les universitats de Catalunya i d'altres comunitats autònomes. Al setembre de 2005 es va inaugurar RECERCAT (www.recercat.net), un dipòsit cooperatiu de documents digitals que inclou la literatura de recerca de les universitats i dels centres d’investigació de Catalunya, com ara articles encara no publicats (preprints), comunicacions a congressos, informes de recerca, working papers, projectes de final de carrera, memòries tècniques, etc. El tercer dipòsit, RACO (www.raco.cat), s'ha posat en marxa a març de 2006, fent possible la consulta, en accés obert, dels articles a text complet de revistes científiques, culturals i erudites catalanes. Per al desenvolupament de tots tres dipòsits s'ha usat programari lliure. Per al TDX es va adaptar l'Electronic Theses and Dissertations (ETD) de la Universitat de Virgina Tech. Per a RECERCAT, el DSpace, fet pel Massachusetts Institute of Technology (MIT) i Hewlett-Packard (HP). I per a RACO s'ha fet servir el Open Journal Systems (OJS) del Public Knowledge Project (PKP). La comunicació pretén explicar breument què són aquests tres dipòsits, els beneficis obtinguts pel fet que hagin estat desenvolupats sota programari lliure i que les tesis, els documents de recerca i les revistes que contenen siguin en accés obert. Programari lliure i accés obert, un binomi guanyador.

Estudi sobre recol·lectors OAI-PMH

A conseqüència de la creixent utilització del format digital en tots els àmbits és imprescindible replantejar-se les estratègies per gestionar la informació electrònica. Fins ara, les tasques essencials que la biblioteconomia associa amb la documentació són: l’edició, la preservació i la difusió. Aquestes tasques han estat acomplertes pel CESCA i pel CBUC en diversos dipòsits de contingut digital, cadascun especialitzat en un tipus d’informació concreta. D’altra banda, ampliant les ambicions d’aquests dipòsits i amb la voluntat de difondre contingut digital d’una manera més eficaç, ha aparegut la necessitat d’utilitzar noves eines per compartir i disseminar continguts. Aquest estudi aprofundeix en el coneixement sobre l’Open Archives Initiative (OAI), una iniciativa destinada a desenvolupar i promoure estàndards d’interoperativitat que facilitin la difusió eficient de continguts digitals. També s’inclouen les eines que permeten utilitzar el marc de treball que l’OAI proposa per gestionar l’intercanvi de dades entre els dipòsits, i com aquestes s’adapten a les necessitats i recursos existents.

Repositorios colectivos de e-información

Desde 1999, el Centre de Supercomputació de Catalunya (CESCA) promociona actividades para poner en acceso abierto contenido en internet, contribuyendo al avance de la e-Ciencia en nuestro país. Junto con el Consorci de Biblioteques Universitàries de Catalunya (CBUC) se han creado tres repositorios: Tesis Doctorales en Red (TDR), Dipòsit de la Recerca de Catalunya (RECERCAT) y Revistes Catalanes amb Accés Obert (RACO). En septiembre de 2006, la Biblioteca Nacional de Catalunya[6] ha puesto en marcha otro ambicioso repositorio en colaboración con el CESCA, Patrimoni Digital de Catalunya (PADICAT).

Catalan Policies and Experiences on Cooperative Repositories

The Centre de Supercomputació de Catalunya (CESCA) together with the Consorci de Biblioteques Universitàries de Catalunya (CBUC) started in 1999 a cooperative repository, named TDR, to file in digital format the full-text of the read thesis at the universities of our country to spread them worldwide in open access preserving the intellectual copyright of the authors. This became operational in 2001 and today it is a service fully consolidated not only among the Catalan universities, but also used by other Spanish universities. Since then, there are four additional cooperative repositories which have been created: RECERCAT, for research papers; RACO, for scientific, cultural and erudite Catalan magazines; PADICAT, for archiving Catalan web sites; and MDC, for Catalan digital collections of pictures, maps, posters, old magazines... These five repositories have some common characteristics: they are open access, that is, they are accessible on the internet for free; they mostly comply with the Open Archive Initiative interoperability protocol for facilitating the efficient dissemination of content; and they have been built in a cooperative manner so that it is easy to adopt common procedures and to share the repository developing and managing costs, it permits more visibility of the indexed documents throughout the search engines, and a better provision for long-term preservation can be made. In this paper we present the common policy established for the Catalan cooperative repositories, we describe the five of them briefly, and we comment on the results obtained of our 6-year experience since the first one became operational.

Biblioteca Digital de Cataluña : Continente y contenido. 5ª Jornada sobre la Biblioteca Digital Universitaria, Los Polvorines (Argentina), 8 y 9 de noviembre de 2007

Desde 1999 el Consorcio de Bibliotecas Universitarias de Cataluña (CBUC) ha creado una nueva línea de trabajo, junto con el Centro de Supercomputación de Cataluña (CESCA), para promocionar la investigación que se lleva a cabo en Cataluña y al mismo tiempo contribuir al movimiento mundial de depositar la producción académica y de investigación en la red de forma gratuita. Este movimiento mundial, que recibe el nombre de Open Access, ha sido puesto en marcha por las instituciones que financian la investigación con la finalidad de crear alternativas al paradigma de pagar por tener acceso a la información que se ha elaborado en la propia institución. Esta nueva línea de trabajo son los repositorios institucionales. En la tercera edición de estas mismas Jornadas presentamos una comunicación sobre los repositorios institucionales que por entonces teníamos implementados. Ahora después de dos años presentamos su estado actual y reflexionamos sobre la estrategia para lograr la inclusión de documentos (políticas institucionales, comités científicos, etc.), su contenido (estándares usados, derechos de autor, preservación, etc.), su continente (programas y tecnología utilizada, protocolos, etc.) y comentamos los resultados obtenidos en los seis años de experiencia desde que se puso en marcha el primero.

Polí­tiques i experiències catalanes en dipòsits col·lectius

L'any 1999, el Centre de Supercomputació de Catalunya (CESCA) va crear, conjuntament amb el Consorci de Biblioteques Universitàries de Catalunya (CBUC), un dipòsit cooperatiu anomenat Tesis Doctorals en Xarxa o TDX per emmagatzemar, en format digital, el text complet de les tesis doctorals llegides a les universitats catalanes i difondre-les arreu del món, en accés obert, tot preservant els drets de propietat intel·lectual dels autors. Aquest servei va iniciar-se l'any 2001 i avui dia està plenament consolidat, no només entre les universitats catalanes sinó també entre algunes universitats espanyoles. Des d'aleshores, s'han creat quatre dipòsits cooperatius més: el Dipòsit de la Recerca de Catalunya o RECERCAT, per a la cerca de publicacions d’investigació; Revistes Catalanes amb Accés Obert o RACO, per a revistes científiques, culturals i erudites catalanes; Patrimoni Digital de Catalunya o PADICAT, per emmagatzemar pàgines web catalanes; i Memòria Digital de Catalunya o MDC, per a col·leccions digitals catalanes de pintures, mapes, pòsters i revistes antigues, entre d'altres. Tots cinc dipòsits cooperatius comparteixen algunes característiques: són d'accés obert, és a dir, s'hi pot accedir gratuïtament des de la Xarxa; la majoria fan servir el protocol d'interoperabilitat Open Archives Initiative Protocol, que facilita la difusió eficaç dels continguts; s'han creat de manera cooperativa per tal que sigui més senzill adoptar procediments comuns i poder compartir els costos de desenvolupament i gestió del dipòsit; permeten donar més visibilitat als documents indexats gràcies als motors de cerca; i afavoreixen les condicions per preservar la informació a llarg termini. En aquest document es presenta la política comuna establerta per als dipòsits cooperatius catalans, es descriuen breument els cinc dipòsits, i es comenten els resultats obtinguts dels sis anys d'experiència des que el primer dipòsit va omençar a funcionar.

Patrimoni Digital de Catalunya, experiencias del primer año

Patrimoni Digital de Catalunya (PADICAT) es un proyecto de la Biblioteca Nacional de Catalunya iniciado en 2005. Éste consiste en capturar, procesar y dar acceso permanente a toda la producción cultural, científica y de carácter general catalana producida en formato digital. En definitiva, el objetivo de PADICAT es archivar el web catalán. Después de un año, se dispone de 2.400 capturas de más de 810 webs en 24 millones de ficheros (páginas HTML, imágenes…) que ocupan casi un terabyte de disco.

Patrimoni Digital de Catalunya, a year and a half experience

E-repositories are part of the e-science, and they are based on the e-infrastructure. The Centre de Supercomputació de Catalunya (CESCA) together with the Consorci de Biblioteques Universitàries de Catalunya (CBUC) started in 1999 a cooperative repository, named TDR, to file, in digital format, the full-text of the read thesis at the universities of our country in order to spread them worldwide in open access, while at the same time, preserving the intellectual copyright of the authors. Since then, four additional cooperative repositories have been created: RECERCAT for research papers; RACO for scientific, cultural and erudite Catalan magazines; MDC for Catalan digital collections of pictures, maps, posters and old magazines; and PADICAT for archiving Catalan digital web content; The main objective of the latter is to archive Catalan web sites. That is, PADICAT collects, processes and provides permanent access to the entire cultural, scientific and general output of Catalonia in digital format. The repository manager is the Biblioteca de Catalunya, as the institution responsible for compiling, processing and distributing the bibliographic heritage of Catalonia, while CESCA is the technology partner. On September 11th, 2006 the repository went into operation for the general public, with some thirty websites archived. After one year and a half, it has 2.720 captures of more than 1.000 websites. This includes 34 million files (HTML, images...) and two terabytes of data. The objective of this paper is to present PADICAT and our experience developing and managing it.We describe the repository briefly, we explain the technology used to implement it and we comment our experiences during its first year and a half.

Compliment de les directrius DRIVER dels repositoris cooperatius RACO, RECERCAT i TDX

Aquest informe ha estat elaborat per encàrrec del Consorci de Biblioteques Universitàries de Catalunya (CBUC). El seu objectiu és comprovar si des del punt de vista tècnic, els repositoris cooperatius que el CBUC coordina juntament amb el Centre de Supercomputació de Catalunya (CESCA), es poden integrar dins la infrastructura DRIVER.

Les estadístiques dels repositoris cooperatius

Les estadístiques dels repositoris d'e-informació serveixen, entre d'altres, per consultar l'evolució de l'ús d'aquestes eines i per informar els seus usuaris de l'ús dels seus continguts. La ponència pretén donar resposta a algunes preguntes freqüents sobre aquest, com: estadístiques de què?, què és una consulta?, quins mecanismes de depuració s'apliquen?, etc. A més, descriu l'arquitectura i les característiques bàsiques de la seva implementació i fa un breu repàs de l'evolució de les estadístiques en aquests 10 anys de repositoris cooperatius.

Interoperability issues between learning object repositories and metadata harvesters

In this paper we describe an open learning object repository on Statistics based on DSpace which contains true learning objects, that is, exercises, equations, data sets, etc. This repository is part of a large project intended to promote the use of learning object repositories as part of the learning process in virtual learning environments. This involves the creation of a new user interface that provides users with additional services such as resource rating, commenting and so. Both aspects make traditional metadata schemes such as Dublin Core to be inadequate, as there are resources with no title or author, for instance, as those fields are not used by learners to browse and search for learning resources in the repository. Therefore, exporting OAI-PMH compliant records using OAI-DC is not possible, thus limiting the visibility of the learning objects in the repository outside the institution. We propose an architecture based on ontologies and the use of extended metadata records for both storing and refactoring such descriptions.

CAT (Curator Archiving Tool): improving access to web archives

PADICAT is the web archive created in 2005 in Catalonia (Spain ) by the Library of Catalonia (BC ) , the National Library of Catalonia , with the aim of collecting , processing and providing permanent access to the digital heritage of Catalonia . Its harvesting strategy is based on the hybrid model ( of massive harvesting . SPA top level domain ; selective compilation of the web site output of Catalan organizations; focused harvesting of public events) . The system provides open access to the whole collection , on the Internet . We consider necessary to complement the current search for new and visualization software with open source software tool, CAT ( Curator Archiving Tool) , composed by three modules aimed to effectively managing the processes of human cataloguing ; to publish directories where the digital resources and special collections ; and to offer statistical information of added value to end users. Within the framework of the International Internet Preservation Consortium meeting ( Vienna 2010) , the progress in the development of this new tool, and the philosophy that has motivated his design, are presented to the international community.