L'avaluació de la recerca. Noves eines?

Conferència emmarcada dins el 2on Workshop Biblioteca UdG: La Universitat de Girona davant els reptes del nou Espai Europeu d'Educació Superior, on es posa de manifest que s'avalua per a poder prioritzar sol·licituds de convocatòries, donar reconeixements, promocionar personal, entre d'altres motius. El que s'avalua són propostes que encara s'han de dur a terme i currículums, i això es fa per mitjà d'avaluacions subjectives (peer-review) i avaluacions objectives (basat en indicadors), tot això s'avalua a partir d'indicis de qualitat de les publicacions

SICA2 : la experiencia de integración CRIS/RI en el ámbito regional de Andalucía

El proyecto SICA2, presentado por Beatriz Barros y Miguel Ángel Aguirre, de la Consejería de Economía, Innovación y Ciencia de la Junta de Andalucía, supone una innovadora extensión del concepto de CRIS universitario a un ámbito regional para el conjunto de las universidades andaluzas. El sistema de recogida y validación de la información científica en tiempo real se basa en una primera fase SICA que organiza la investigación en unidades mínimas o 'Grupos PAIDI' y que ya implementó el estándar CVN para las nueve universidades andaluzas que forman parte del proyecto. Esta segunda fase de integración tiene además prevista su prolongación en el repositorio institucional Reposit-AN de ámbito igualmente regional que se alimentará de los metadatos procedentes del sistema CRIS de la Junta de Andalucía y se presentará oficialmente a final de año.

Experiencias de interoperabilidad entre CRIS y repositorios en Catalunya

Toni Prieto, Técnico IC del Servicio de Bibliotecas y Documentación (SBD) de la UPC, en su presentación 'Experiencias de interoperabilidad entre CRIS y repositorios en Catalunya', describió la integración del repositorio UPCommons y del CRIS DRAC (Descriptor de la Recerca i l'Activitat Acadèmica) de la UPC. El resultado de esta integración es un esquema integrado de archivo CRIS/IR en dos fases, envío y revisión, en el que los metadatos se introducen en DRAC -para posteriormente ser transferidos, validados y enriquecidos si procede- y el archivo de texto completo asociado se realiza en UPCommons. De manera similar funciona la integración de GIR (Gestió Integral de la Recerca, basado en Universitas XXI Investigación) y el repositorio O2 en la UOC, permitiendo la asignación del identificador handle de un ítem en O2 a una referencia en GIR. Ambos sistemas, DRAC en la UPC y GIR en la UOC, están integrados en el Proyecto CVN de generación de CVs normalizados. Se mencionaron asimismo experiencias posteriores de integración CRIS/IR actualmente en curso en la Universitat de Barcelona y en la U Pompeu Fabra, y se mostró el impacto significativo de la estrategia de integración de sistemas sobre el ritmo de incorporación de contenidos a UPCommons.

El camino hacia la integración de sistemas de gestión de la información científica : el TCD (Trinity College Dublin) como estudio de caso. CERIF y euroCRIS

Pablo de Castro, Director de GrandIR, describió la visión que el Grupo euroCRIS tiene de la infraestructura integrada de gestión de la información científica, compuesta por un sistema CRIS institucional, un repositorio de publicaciones y un repositorio de datos y software, y presentó el modelo de infraestructura integrada del Trinity College Dublin (TCD) como estudio de caso internacional. El sistema CRIS del TCD (TCD Research Support System o RSS), desde su primera versión en 2002, está basado en el estándar CERIF, un modelo de descripción de la actividad científica que está adquiriendo una progresiva relevancia como base de los sistemas CRIS en Europa, particularmente en el Reino Unido. Se citaron en la presentación los ensayos para incorporar CERIF al modelo de datos del software ePrints de repositorios, habilitándolo así para soportar parte de las tareas de recolección de información que realiza un CRIS, y la progresiva cobertura de CERIF a ámbitos tales como la gestión de datos de investigación.

La paulatina incorporación del estándar CERIF al diseño de sistemas integrados de gestión científica

Núria Cuní y Juan Pedro Belchi, representantes del Consorcio Sigma Gestión Universitaria, miembro institucional de euroCRIS, hablaron de sus previsiones para la incorporación de CERIF al desarrollo de su módulo Argos para sistemas CRIS universitarios, previa descripción de la aplicación de Argos a la integración de diversos sistemas institucionales en la Universitat Pompeu Fabra. El trabajo de implantación de Argos en la UPF incluyó la puesta a punto del estándar CVN, y en la presentación se relacionó dicho proyecto CVN con la adaptación progresiva del modelo de datos de Argos hacia CERIF.

Indicadores de calidad de la producción en la Web of Science de diez profesores del Área de Personalidad, Evaluación y Tratamiento Psicológico: aportaciones adicionales al estudio de Olivas-Ávila y Musi-Lechuga

Los rankings de productividad científica resultan cada vez más relevantes, tanto a nivel individual como institucional. Garantizar que se basan en información confiable y exhaustiva es, por tanto, importante. Este estudio indica que la posición de los individuos en esa clase de ranking puede cambiar sustancialmente cuando se consideran diversos indicadores bibliométricos internacionalmente reconocidos. Se usa, como ilustración, el caso de los diez profesores del área de ‘Personalidad, Evaluación y Tratamiento Psicológico’ consignados en el reciente análisis de Olivas-Ávila y Musi-Lechuga (Psicothema 2010. Vol. 22, nº 4, pp. 909-916).

Evaluación de un artículo científico

El proceso de revisión y evaluación de manuscritos, conocido como arbitraje científico o peer review, supone actualmente un paso que se considera necesario para la divulgación de los avances científicos de una determinada disciplina. Cuando una revista recibe un artículo, sus editores recurren a revisores expertos que, después de la lectura detenida del manuscrito, evalúan la idoneidad de su publicación, en este trabajo se describe el proceso editorial de un artículo y se muestran los ítems por los cuales se evalúan los artículos.

Selecting Scientific Papers for Publication via Citation Auctions

The scientific community has been suffering from peer review for decades. This process (also called refereeing) subjects an author's scientific work or ideas to the scrutiny of one or more experts in the field. Publishers use it to select and screen manuscript submissions, and funding agencies use it to award research funds. The goal is to get authors to meet their discipline's standards and thus achieve scientific objectivity. Publications and awards that haven't undergone peer review are often regarded with suspicion by scholars and professionals in many fields. However, peer review, although universally used, has many drawbacks. We propose replacing peer review with an auction-based approach: the better the submitted paper, the more scientific currency the author likely bid to have it published. If the bid correctly reflects the paper's quality, the author is rewarded in this new scientific currency; otherwise, the author loses this currency. We argue that citations are an appropriate currency for all scientists. We believe that citation auctions encourage scientists to better control their submissions' quality. It also inspire them to prepare more exciting talks for accepted papers and to invite discussion of their results at congresses and conferences and among their colleagues. In the long run, citation auctions could have the power to greatly improve scientific research

Citation auctions as a method to improve selection of scientific papers

This paper describes the basis of citation auctions as a new approach to selecting scientific papers for publication. Our main idea is to use an auction for selecting papers for publication through - differently from the state of the art - bids that consist of the number of citations that a scientist expects to receive if the paper is published. Hence, a citation auction is the selection process itself, and no reviewers are involved. The benefits of the proposed approach are two-fold. First, the cost of refereeing will be either totally eliminated or significantly reduced, because the process of citation auction does not need prior understanding of the paper's content to judge the quality of its contribution. Additionally, the method will not prejudge the content of the paper, so it will increase the openness of publications to new ideas. Second, scientists will be much more committed to the quality of their papers, paying close attention to distributing and explaining their papers in detail to maximize the number of citations that the paper receives. Sample analyses of the number of citations collected in papers published in years 1999-2004 for one journal, and in years 2003-2005 for a series of conferences (in a totally different discipline), via Google scholar, are provided. Finally, a simple simulation of an auction is given to outline the behaviour of the citation auction approach

Selecting Scientific Papers for Publication via Citation Auctions

The scientific community has been suffering from peer review for decades. This process (also called refereeing) subjects an author's scientific work or ideas to the scrutiny of one or more experts in the field. Publishers use it to select and screen manuscript submissions, and funding agencies use it to award research funds. The goal is to get authors to meet their discipline's standards and thus achieve scientific objectivity. Publications and awards that haven't undergone peer review are often regarded with suspicion by scholars and professionals in many fields. However, peer review, although universally used, has many drawbacks. We propose replacing peer review with an auction-based approach: the better the submitted paper, the more scientific currency the author likely bid to have it published. If the bid correctly reflects the paper's quality, the author is rewarded in this new scientific currency; otherwise, the author loses this currency. We argue that citations are an appropriate currency for all scientists. We believe that citation auctions encourage scientists to better control their submissions' quality. It also inspire them to prepare more exciting talks for accepted papers and to invite discussion of their results at congresses and conferences and among their colleagues. In the long run, citation auctions could have the power to greatly improve scientific research

Citation auctions as a method to improve selection of scientific papers

This paper describes the basis of citation auctions as a new approach to selecting scientific papers for publication. Our main idea is to use an auction for selecting papers for publication through - differently from the state of the art - bids that consist of the number of citations that a scientist expects to receive if the paper is published. Hence, a citation auction is the selection process itself, and no reviewers are involved. The benefits of the proposed approach are two-fold. First, the cost of refereeing will be either totally eliminated or significantly reduced, because the process of citation auction does not need prior understanding of the paper's content to judge the quality of its contribution. Additionally, the method will not prejudge the content of the paper, so it will increase the openness of publications to new ideas. Second, scientists will be much more committed to the quality of their papers, paying close attention to distributing and explaining their papers in detail to maximize the number of citations that the paper receives. Sample analyses of the number of citations collected in papers published in years 1999-2004 for one journal, and in years 2003-2005 for a series of conferences (in a totally different discipline), via Google scholar, are provided. Finally, a simple simulation of an auction is given to outline the behaviour of the citation auction approach

L' Aprenentatge basat en problemes a través de casos clínics simulats. Una proposta metodològica de disseny i avaluació docent

RESUM Les exigències actuals de la professió de d’infermeria requereixen que la docència vagi orientada a interrelacionar els diferents rols a desenvolupar enla pràctica diària, per adquirir experiència en l’aprenentatge i així augmentar la qualitat de les cures d’infermeria. Per assolir aquest objectiu és important l’aprenentatge basat enproblemes. Aquest pretén en primer lloc que els estudiants aprenguin allò que permet desenvolupar-se enla vida professional de la manera més natural possible a partir d’una idea clara i profunda de l’evidència sobre la que s’ha d’actuar. Amb aquesta finalitat es vandissenyar casos clínics amb uns objectius que requerien la integració de coneixements, actituds i valors, en diferents fases a desenvolupar en un període de temps predeterminat. També ens vam proposar una estratègia docent que permetés a l’estudiant incorporar el coneixement científic que dóna suport a la pràctica assistencial per aproximar teoria i pràctica. Es pretén que els estudiants busquin una resposta basada en la millor evidència científica disponible, per prendre una decisió respecte a les cures del pacient. Els objectius de l’estudi són: Avaluar globalment l’aprenentatge basat en la simulació de casos Avaluar com els estudiants valoren la integració del model d’infermeria i del procés d’atenció en l’aprenentatge basat en la simulació de casos. Valorar les sensacions percebudes per l’estudiant durant la simulació del cas. Valorar l’actitud d el’estudiant en relació a la incorporació de l’evidència científica per una millora en la pràctica clínica. Avaluar el grau de dificultat manifestat per l’estudiant en relació al procés de documentació. Avaluar la idonietat de l’argumentació i la decisió de l’estudiant a la pregunta formulada en el cas clínic. Metodologia: L’assignatura d’Infermeria Medicoquirúrgica. Adult I del Departament d’Infermeria de la Universitat de Vic, va iniciar una experiència d’aprenentatge basat en la resolució de problemes, amb estudiants de 2on curs. Les professores responsables dels seminaris van realitzar una avaluació de l’experiència a través d’una enquesta. Aquesta es responia al cap d’un mes de la simulació al laboratori, quan es contrastaven els resultats obtinguts en aquesta entre professores i estudiants després de visualitzar la gravació feta durant el mateix. En el context del seminari de simulació de casos, es va introduir una pregunta/problema, a partir de la que els estudiants, en grup, havien de documentar-se amb el suport d’una guia. Per valorar l’actitud davant aquesta pregunta/problema es va dissenyar un qustionari tipus Likert. L’avaluació del grau de dificultat s’ha registrat a través d’unes escales de puntuació. Per a l’avaluació de la decisió presa, es van valorar les síntesis resum entregades en els treballs escrits pels diferents grups. Resultats: La realització de la simulació en el laboratori va ser avaluada per un alt percentatge d’estudiants (68,8%) amb puntuacions entre 6 i 8 mentre que un 26,6% la van situar en tre 9 i 10, només un 4,7 % la van puntuar amb 5. La integració del model d’infermeria va ser valorada pel 86% amb una puntuació entre 7 i 10. La valoració global de la simulació va ser qualificada pels estudiants amb una puntuació de 8 (34,4%) seguida d’un 28,1% amb una consideració de 7. Un 7,2% van puntuar entre 9 i 10. El 93,3% van assegurar que conèixer les fonts documentals els serviria per millorar l’assistència, el 86,7% esperen obtenir arguments sòlids respecte les seves desicions si la documentació consultada és de qualitat. Un 77,8% dels estudiants consideren estar més satisfets al saber incorporar la presa de decisions basada en evidències. Respecte el grau de dificultat en el procés de documentació la dificultat més gran la presenten en com buscar en les bases de dades de referències bibliogràfiques. Conclusions: L’aprenentatge dels estudiants a través de la simulació de casos és una estratègia vàlida que l’estudiant valora positivament al mateix temps que permet desenvolupar habilitats per a la pràctica professional. L’estratègia docent dissenyada per integrar les evidències en la presa de decisions es considera positiva, no obstant, després d’analitzar els resultats, s’han de modificar alguns aspectes per a la seva millora; tutoritzar per a millorar el procés de documentació i incidir més en la crítica i reflexió, de manera que les troballes de la investigació siguin canalitzades cap a la pràctica.

L’ètica de la investigació aeroespacial: anàlisi de dades, de justificacions oficials i de criteris ètics

Treball de recerca realitzat per una alumna d’ensenyament secundari i guardonat amb un Premi CIRIT per fomentar l'esperit científic del Jovent l’any 2008. La recerca aeroespacial avui forma part d’un complex aparell productiu i institucional. Però, quin paper ha de jugar aquesta activitat aristocràtica en un món de desigualtats i d’injustícies socials? Quin paper hi juga, de fet? Quins mecanismes i quins criteris hi ha darrere les decisions en aquest àmbit? Disposem de criteris ètics per avaluar-ne l’oportunitat? En la mesura que un pressupost implica una quantificació en diners de les prioritats d’una societat, és necessari avaluar èticament les inversions en aquest àmbit. Per poder respondre sense simplificar els interrogants plantejats, calia dividir la recerca en tres parts: investigació sobre els organismes públics i els programes concrets que s’encarreguen de gestionar la recerca en matèria aeroespacial; a partir d’aquí, determinació de les justificacions de la recerca que oferien aquestes institucions i anàlisi d’aquestes justificacions a la llum de les dades històriques de què disposem, i, finalment, després d’una consulta prèvia amb especialistes en la matèria, avaluació ètica de les qüestions plantejades a partir dels criteris d’alguns dels filòsofs principals en l’àmbit de l’ètica. L’anàlisi ètica de les dades assolides s’ha desenvolupat considerant, entre altres, criteris d’utilitat, de responsabilitat, de prudència i de justícia. Finalment, s’ha cregut oportú cedir la paraula al criteri aristotèlic de prudència, segons el qual és impossible i indesitjable establir a priori una avaluació d’allò que està bé o malament, ja que l’encert ètic sempre restarà pendent d’una valoració molt acurada de les circumstàncies de l’acció, valoració que, d’altra banda, caldrà actualitzar constantment en funció dels canvis històrics, socials i econòmics.

Qualitat de vida i centres d'educació especial: una aproximació a la seva conceptualització i avaluació

La qualitat de vida s’està convertint en un concepte clau i unificador en l’atenció i educació de les persones amb discapacitat intel•lectual. Així mateix, la percepció actual sobre les persones amb discapacitat ha canviat substancialment. En el moment actual, cal plantejar-se quines són les aplicacions i les implicacions que tenen per l’atenció i educació de les persones amb discapacitat intel•lectual els principis derivats del nou concepte de discapacitat i de la qualitat de vida. Aquesta investigació pretén essencialment elaborar un conjunt d’instruments que permetin avaluar la qualitat de les pràctiques educatives dels centres d’educació especial. Amb aquest objectiu s’ha seguit un procediment estructurat i ordenat en l’elaboració dels instruments com en la seva valoració inicial. Per avaluar la qualitat dels centres d’educació especial es proposen una sèrie qüestionaris tant pels professionals, les famílies i els alumnes. Els resultats indiquen que el conjunt d’instruments d’avaluació permeten recollir informació àmplia i variada de les pràctiques d’un centre d’educació especial, determinar les seves fortaleses i debilitats i servir de base per establir plans de millora estretament relacionats amb el context particular del centre i amb el que es considera una bona pràctica educativa.