Assessment of problem solving in computing studies

The assessment of learning outcomes is a key concept in the European Credit Transfer and Accumulation System (ECTS) since credits are awarded when the assessment shows the competences which were aimed at have been developed at an appropriate level. This paper describes a study which was first part of the Bologna Experts Team-Spain project and then developed as an independent study. It was carried out with the overall goal to gain experience in the assessment of learning outcomes. More specifically it aimed at 1) designing procedures for the assessment of learning outcomes related to these compulsory generic competences; 2) testing some basic psychometric features that an assessment device with some consequences for the subjects being evaluated needs to prove; 3) testing different procedures of standard setting, and 4) using assessment results as orienting feedback to students and their tutors. The process of development of tests to carry out the assessment of learning outcomes is described as well as some basic features regarding their reliability and validity. First conclusions on the comparison of the results achieved at two academic levels are also presented.

Desarrollo de un modelo de evaluación de ciudades basado en el concepto de ciudad inteligente (Smart city)

La presente tesis tiene por finalidad contribuir al conocimiento de los procesos de transformación de las ciudades convencionales en Ciudades Inteligentes o Smart Cities, el nuevo paradigma urbano, que surge como consecuencia de la utilización de las Tecnologías de la Información y de las Comunicaciones, las TIC, para mejorar la calidad de vida de las personas y aumentar la eficiencia y eficacia de los procesos, servicios e infraestructuras de la ciudad. El proceso de urbanización de la población mundial constituye una de las principales tendencias globales. Los retos a los que se enfrentan las urbes actuales para satisfacer las necesidades de sus habitantes, así como la forma en que cada ciudad aborda dichos retos, propician el desarrollo de estudios comparativos y rankings de ciudades. La oportunidad para llevar a cabo esta tesis deriva de: La novedad del concepto de Ciudad Inteligente. La necesidad de establecer estudios comparativos, respecto a dicho concepto, entre ciudades con características socioeconómicas y culturales comunes, dado que la mayoría de los estudios y rankings se desarrollan para conjuntos de ciudades cuyas características son muy dispares, pues, en general son seleccionadas por su condición de capitales de estados o de centros económicos-financieros. El interés de disponer de estudios sobre ciudades con tamaños de población medianos, inferiores al millón de habitantes, las cuales tienen baja presencia en los estudios comparativos. La inexistencia de estudios comparativos entre las ciudades españolas, en relación con el concepto de Ciudad Inteligente. La existencia de la Red Española de Ciudades Inteligentes, que permite disponer de una muestra de ciudades adecuada, para llevar a cabo un estudio comparativo de acuerdo con los puntos anteriores. El objetivo general de la presente tesis es contribuir al conocimiento de los procesos de transformación de la ciudad convencional en Ciudad Inteligente, a través de la formulación y aplicación de un modelo de evaluación, basado en el concepto holístico de Ciudad Inteligente o Smart City y desde la perspectiva del ciudadano. La metodología de trabajo seguida comprende, en primer lugar, la revisión del estado del arte, centrada en tres aspectos: la evolución del concepto Smart City, los estudios comparativos sobre Ciudades Inteligentes y las medidas que las ciudades españolas están implantando en la práctica para llevar a cabo su transformación en Ciudades Inteligentes. A continuación se lleva a cabo el diseño el modelo de evaluación. Este modelo refleja el carácter holístico del concepto de Ciudad Inteligente, para lo cual, de acuerdo con las definiciones que encontramos en la literatura, evalúa la situación de cada ciudad en relación con seis ejes o pilares, comúnmente aceptados por los diferentes autores: e-Gobierno y e-Gobernanza, Movilidad, Sostenibilidad Ambiental, Desarrollo Económico, Capital Intelectual y Calidad de Vida. El trabajo desarrollado implica un análisis, que se desarrolla de forma ordenada para cada uno de los ejes y, dentro de éstos, para sus correspondientes factores. En total se analizan 18 factores. Para cada uno de los ejes se lleva a cabo una revisión de las iniciativas más representativas para, a continuación, analizar y evaluar los correspondientes los factores. De forma complementaria al desarrollo del trabajo, se llevó a cabo una encuesta, dirigida a profesionales de diferentes áreas y sectores, todos ellos en el ámbito de las Ciudades Inteligentes. El objetivo de la encuesta es conocer, de acuerdo con la opinión de los profesionales, la situación actual en materia de despliegue de Ciudades Inteligentes, las actuaciones que consideran de mayor interés para la ciudad y las barreras del proceso de cambio. Una vez definido el modelo, se ha aplicado a las 62 ciudades que forman la Red Española de Ciudades Inteligentes (RECI), valorando los factores y los ejes para cada una de ellas. Así mismo, se ha analizado la influencia de las tres variables siguientes: tamaño de población, densidad de población y presupuesto municipal por habitante, determinando la relación entre el porcentaje de ciudades inteligentes de la muestra, en cada factor. Adicionalmente en el eje Capital Intelectual,se analizó la influencia del porcentaje de habitantes con estudios superiores. Las 62 ciudades RECI que componen la muestra evaluada, representan el 43 % de las ciudades españolas que cuentan con poblaciones superiores a los 50.000 habitantes. La población que abarca la muestra de ciudades estudiada representa el 35% de la población española. Finalmente, se ha determinado el ranking con las ciudades de RECI, de acuerdo con el modelo diseñado. Así mismo se ha llevado a cabo el análisis de sensibilidad, determinado el ranking resultante para la misma muestra de ciudades, aplicando la ponderación de los factores. Las principales aportaciones de la tesis son: Desarrollar un modelo de evaluación de ciudades basada en el concepto holístico de la Smart City y desde la perspectiva del ciudadano. Desarrollar una metodología de trabajo fundamentada en el análisis sistematizado de las web municipales, como medio para conocer la situación de las ciudades, en lugar de los datos estadísticos publicados, que son la fuente de información habitualmente empleada en los estudios comparativos. Disponer de un estudio comparativo específico de ciudades españolas. Llevar a cabo un estudio sobre una muestra de ciudades de tamaño medio, con características socioeconómicas y culturales comparables. Mejorar el conocimiento de los procesos que se están llevando a cabo en ciudades con poblaciones inferiores al millón de habitantes. The purpose of this thesis is to contribute to the knowledge of the cities and the transformation that is taking part in traditional cities becoming Smart Cities. The Smart City concept is the new urban paradigm that is born from the extensive use of Information Technologies (IT) in order to accomplish better citizen’s quality of life as well as improvements in urban processes, services and infrastructures. Several rankings and benchmarking studies are being conducted globally, in response to the increasing of urban population that is taking part around the world and the subsequent challenges to be confronted by the cities. This thesis aims to contribute to these studies. The opportunity for this thesis comes from: The Smart City concept as a new concept. The need of benchmarking studies focused on the Smart City concept, carried on cities with similar social and economic characteristics. The interest on benchmarking studies on medium size cities (with less than one million inhabitants). The absence of benchmarking studies on Spanish cities. The existence of the Spanish Smart Cities Network that can be considered an appropriate sample for a benchmark study. The main goal of this thesis is to develop a Smart Cities assessment model based on the citizen point of view and taking into account a holistic concept of Smart City. The thesis methodology starts with the state of the art revision, focused on three items: the Smart City concept, the benchmark studies and the projects actually developed by the Spanish cities under processes for becoming Smart Cities. The next step is the assessment model design, in accordance with the six main axes or pillars referred in the academic literature: e-Government and e-Governance, Mobility, Environmental Sustainability, Economic Development, Smart Citizens and Quality of Life. Also, a survey has been conducted and addressed to experts working on the different areas related to the Smart Cities. The aim of this survey is to know their opinion about the deployment of the Smart Cities, the priorities considered by the cities and the barriers that delay the change processes. Once the assessment model was ready, it was applied to the Spanish Smart Cities Network, with 62 member cities. Also, the bearing of three variables: city population, population density and city budget per inhabitant, are studied. The 62 cities studied are 43 % of the Spanish cities with population over 50.000 inhabitants. The population living in these cities is the 35% of total Spanish population. The main contribution of this thesis are: An assessment model for Smart Cities that takes into account the holistic concept of the Smart City as well as the citizen experience. A methodology that comprises municipal web analysis instead of statistics data, which are the usual source of data for current benchmarking studies. A Spanish Smart Cities benchmark. A benchmark on medium size cities with similar social and economic characteristics. A better understanding of the urban processes that are taking part on cities under one million inhabitants.