Evaluation of online higher education: learning, interaction and technology

The work presents a theoretical framework for the evaluation of e-Teaching that aims at positioning the online activities designed and developed by the teacher as to the Learning, Interaction and Technology Dimensions. The theoretical research that underlies the study was developed reflecting current thinking on the promotion of quality of teaching and of the integration of information and communication tools into the curriculum in Higher Education (HE), i.e., bearing in mind some European guidelines and policies on this subject. This way, an answer was sought to be given to one of the aims put forward in this study, namely to contribute towards the development of a conceptual framework to support research on evaluation of e-teaching in the context of HE. Based on the theoretical research carried out, an evaluation tool (SCAI) was designed, which integrates the two questionnaires developed to collect the teachers' and the students' perceptions regarding the development of e-activities. Consequently, an empirical study was structured and carried out, allowing SCAI tool to be tested and validated in real cases. From the comparison of the theoretical framework established and the analysis of the data obtained, we found that the differences in teaching should be valued and seen as assets by HE institutions rather than annihilated in a globalizing perspective.

Proposta de um modelo de avaliação das actividades de ensino Online : um estudo do ensino superior português

Neste trabalho apresenta-se um quadro teórico de referência para a avaliação do ensino online, que pretende situar as actividades definidas e desenvolvidas pelos docentes no que respeita às Dimensões da Aprendizagem, da Interacção e da Tecnologia. O referencial teórico que baliza este estudo foi desenvolvido tendo em linha de conta directrizes e orientações nacionais e europeias no que diz respeito ao Ensino Superior (ES), em especial em relação à questão da qualidade do ensino e da integração das tecnologias da informação e da comunicação no currículo. Desta forma, pretendeu-se cumprir um dos objectivos desta investigação, ou seja, contribuir para o desenvolvimento de um quadro conceptual enquadrador do pensamento sobre a avaliação do eLearning no ES e, em particular, das actividades de ensino online. Com base nos pressupostos teóricos definidos, desenvolveram-se dois instrumentos de avaliação que permitem perspectivar as percepções de docentes e de alunos em relação às actividades de ensino desenvolvidas online. No sentido de se definir um público-alvo para testar estes instrumentos, levou-se a cabo um estudo empírico que compreende três fases. A Fase I foi de cariz eminentemente exploratório, uma vez que se inquiriram todos os Estabelecimentos de Ensino Superior (EES) portugueses, com vista a caracterizar o panorama nacional no que releva da utilização de plataformas de eLearning por parte dos EES portugueses, outro objectivo deste trabalho. A Fase II constituiu o momento em que se aplicou pela primeira vez o instrumento de avaliação, apenas dirigido aos docentes, uma vez que universo de respondentes, a considerar-se também os alunos, seria de difícil gestão. Na Fase III seleccionou-se um universo mais reduzido (os quatro cursos de 3.º ciclo ministrados em bLearning em Portugal no ano lectivo de 2009/10), o que permitiu efectivar uma avaliação destes cursos na perspectiva dos docentes e também dos alunos (segundo instrumento de avaliação). Analisados os resultados obtidos nestas três fases, termina-se com a convicção de que se trata de um modelo de avaliação do ensino online passível de ser aplicado ao ES. Isto porque permite não só caracterizar os vários cenários de ensino online através das dimensões de avaliação estabelecidas, como também ter uma percepção bastante clara da forma como as directrizes nacionais e europeias relativas ao ES estão a ser implementadas. Por fim, são feitas propostas para investigação futura, em especial no que se refere à disponibilização online dos instrumentos de avaliação criados e ao desenvolvimento de estudos de investigação-acção que permitam a emergência de eventuais ajustes dos instrumentos e a identificação dos efeitos da sua utilização no aperfeiçoamento das práticas de ensino online.

Escola, saúde e sociedade - estudos de avaliação de projetos de educação para a saúde

Considerando que a escola tem como missão formar cidadãos saudáveis, conscientes e responsáveis, é de importância primordial que a Educação para a Saúde (EpS) integre o Projeto Educativo (PE) e seja abordada de forma transversal, numa dimensão essencial ao percurso educativo e formativo dos jovens. Tendo em conta o contexto educativo concreto de cada escola/agrupamento e o quadro legislativo vigente, deve ser criado um Projeto de Educação para a Saúde (PEpS). Este terá como objetivo fomentar a capacitação (empowerment) de crianças e adolescentes, dotando-as de conhecimentos, atitudes e valores que os ajudem a fazer opções e a tomar decisões adequadas à saúde e ao bem-estar físico, social e mental. A partir da leitura efetuada do atual quadro de conhecimentos dos domínios abrangidos – avaliação, projetos e promoção e educação da saúde em meio escolar, constatou-se a escassez de estudos de avaliação, em Portugal, nesta área. No estudo multicasos desenvolvido, em que se explorou uma metodologia de índole qualitativa, procedeu-se à descrição e avaliação das dinâmicas de implementação de cinco PEpS. Os projetos foram avaliados a partir de cinco dimensões avaliativas (organizacional, comunitária, ecológica, psicossocial e curricular), em resultado da triangulação de dados recolhidos através de análise documental, de observações e da análise de entrevistas. A avaliação considerou o contexto e alicerçou-se sobre uma démarche de referencialização. Fez apelo a uma perspetiva de avaliação holística e interativa, como construção e coconstrução coletiva de sentido. O protocolo construído – “Referencial de Avaliação”, que se configura como um dos contributos deste estudo, compreendeu a seleção de critérios de qualidade para um PEpS, fundamentados na literatura da especialidade e de indicadores. O estudo evidenciou práticas consideradas de referência nas dinâmicas de implementação dos PEpS. Contudo, só para um dos projetos se registou os critérios de qualidade que o permitem definir como um “bom” projeto. A título de exemplo, refira-se a estrutura coesa da equipa educativa, cujos elementos têm funções claramente definidas, aliada a forte liderança. A análise dos resultados e a literatura consultada possibilitou definir recomendações, que se sistematizaram num guião de práticas de referência, nomeadamente, integração da EpS no PE, aposta numa forte liderança, trabalho de equipa e continuidade de ação. O guião apresenta-se como um contributo que pode potenciar a articulação entre teoria e prática no que respeita à implementação da EpS em escolas portuguesas.

Avaliação do desempenho docente e supervisão pedagógica: um estudo de caso num agrupamento de escolas

A introdução de novas exigências na Avaliação do Desempenho Docente (ADD) em Portugal (Decretos-Lei 15/2007 e 75/2010; Decretos Regulamentares 2/2008 e 2/2010) tem gerado nas escolas e nos professores, desde 2008, situações organizacionais complexas, que urge analisar e compreender. As políticas educativas têm vindo a apontar para a necessidade de um maior investimento nos processos de avaliação de professores, dando relevância ao papel a desempenhar pela supervisão pedagógica nesse contexto. A supervisão da prática letiva passou a ser considerada procedimento fundamental, na medida em que se tornou difícil conceber uma avaliação dos docentes que não incluísse sessões de observação em sala de aula. Fruto destas novas políticas de avaliação de professores, a ADD apresentou-se, do ponto de vista normativo, com base em duas funções: sumativa e formativa. Estas funções exigem maiores investimentos, novas práticas e uma reflexão sobre o papel do professor ancorada numa perspetiva holística, transformadora e emancipatória do seu desenvolvimento profissional. O principal objetivo do nosso estudo consiste em compreender as perceções e práticas desenvolvidas pelos docentes face às alterações introduzidas no sistema da ADD no geral, e, em particular, o papel desempenhado pela supervisão pedagógica (SP) na avaliação entre pares, no segundo ciclo avaliativo (2009-2011). A investigação empírica tem por base um estudo de caso desenvolvido num Agrupamento de escolas do Distrito de Aveiro. A recolha de dados foi concretizada através da administração de um questionário a todos os docentes do Agrupamento e da condução de entrevistas a 26 informadores privilegiados do processo avaliativo. Os principais resultados do estudo de caso apontam para: i) a opinião desfavorável dos professores face ao atual modelo de ADD, dada a sua natureza burocrática, complexa, injusta e a sua escassa utilidade prática, preenchendo apenas requisitos legais e de controlo; ii) um processo de SP, concretamente, a observação de aulas, que não contribui para o desenvolvimento profissional dos professores e tem impacte negativo no trabalho docente, acentuando a artificialidade dos procedimentos e aumentando o clima de competição e de conflito; iii) a sensação de desconforto entre os intervenientes, fazendo emergir sentimentos de injustiça, insegurança e ansiedade que, em seu entender, constituem constrangimentos à melhoria das aprendizagens dos alunos e à qualidade da escola; iv) uma escassa implicação na melhoria das práticas futuras e do desenvolvimento profissional dos docentes. Estes resultados constituem um desafio colocado aos investigadores no sentido de identificarem alternativas de ação para poderem lidar com a complexidade inerente ao processo de avaliação na sua relação com a supervisão pedagógica, com vista à melhoria de desempenho das escolas e dos professores.

Avaliação em contextos de blended learning no ensino superior

The increasing complexity of the Information Society and the Bologna Declaration in the European context has led Higher Education (HE) institutions to revise their curricula courses, as far as the adoption of new strategies for teaching and learning as well as evaluation are concerned. It can also be emphasized that there has been a growing use of eLearning and of blended learning (bLearning) in HE, since these modes of training seem to be a very convenient option for lifelong learning. In this context, quality is taken as an essential goal in the development of the European Space for Education and Training, where HE institutions compete among themselves, and where evaluation is determinant as a promoter of this quality. Considering the problems summarized above, the research developed, based on four published scientific papers, intended to answer a set of research questions related to evaluation of bLearning contexts in HE. The study used diverse techniques and instruments (questionnaires, document analysis, and observation mediated technologies) spanning two methodological approaches: i) study of descriptive and exploratory nature and ii) case studies of bLearning modules. In the first approach an evaluation model for bLearning courses was developed, where we collected and analyzed, at a national level, the opinions of teachers with bLearning experience about the model dimensions. The case studies presented are post graduation curricular units, where bLearning teaching, learning and evaluation strategies were explored and evaluated, namely peer assessment. The main contributions of the first approach are: the process of questioning around the evaluation of bLearning courses, namely the quality assurance criteria for bLearning, as well as the model developed, providing a framework of theoretical, methodological and empirical elements that can be adapted in similar contexts. From the case studies emerged: the developed evaluation guidelines and the data collection instruments, in order to disseminate evaluation “best practices” that may be useful for other units in similar contexts. Regarding the recommendations about the evaluation of teaching of bLearning courses we emphasize: the use of versatile evaluation objects; the evaluation throughout the process and not just at the end; and the involvement of multiple evaluators, including students (whose feedback is essential to monitor the quality of teaching and learning). From the case studies we highlight: the need for discussion of evaluation frameworks to explore, and consequent increase in the transparency of the evaluation process; the increased interaction between groups; and the peer assessment as a strategy to promote active and autonomous learning. In addition to the contributions and recommendations for practice and research in the area of evaluation in bLearning contexts in HE, listed above, it also emerged from this study useful guidelines regarding educational evaluation in bLearning contexts, in order to improve the quality of teaching, learning and evaluation in such contexts.

Ecotoxicological evaluation of pesticide mixtures

Neste trabalho o risco da aplicação de moluscicidas (metaldeído e metiocarbe) para o isópode terrestre Porcellionides pruinosus foi avaliado usando como parâmetros a mortalidade e biomarcadores de exposição. O tempo até à morte dos isópodes (após contacto com os moluscicidas) foi muito curto, especialmente no caso da exposição ao metiocarbe. Os vários biomarcadores revelaram-se úteis para a compreensão do modo de acção dos dois moluscicidas neste isópode, particularmente o efeito do carbamato metiocarbe na inibição da enzima acetilcolinesterase (AChE). Os efeitos de combinações binárias de três produtos de protecção das plantas (PPP) dimetoato, glifosato e espirodiclofeno foram avaliados testando o comportamento de evitamento de P. pruinosus, o sucesso reprodutivo do colêmbolo Folsomia candida e o crescimento das plantas Brassica rapa e Triticum aestivum, usando os dois modelos de referência de concentração de adição (CA) e acção independente (IA). O modelo MIXTOX foi usado para avaliar possíveis desvios (devido a interacções entre os pesticidas) dos dois modelos de referência. Os resultados obtidos permitem constatar que estes PPP quando aplicados segundo a dose recomendada não acarretam efeitos perniciosos para os organismos testados. Foi detectado sinergismo na mistura feita com glifosato e espirodiclofeno no isópode P. pruinosus e na mistura com glifosato e dimetoato na planta T. aestivum. Um ecossistema terrestre em pequena escala (“STEM”) foi desenvolvido, contendo um solo agrícola mediterrânico. Nestes STEM, minhocas (Eisenia andrei), P. pruinosus, B. rapa e “bait-lamina” foram incorporados no sentido de avaliar os efeitos da aplicação de dimetoato com espirodiclofeno e glifosato com dimetoato. A dose recomendada de aplicação dos PPP, quer na exposição individual quer nas misturas binárias não teve quaisquer efeitos nas espécies testadas. As minhocas foram sensíveis à aplicação conjunta de dimetoato com espirodiclofeno (10 vezes a dose recomendada) na sua distribuição vertical ao longo da coluna do STEM, e foi detectado sinergismo (i.e. mais minhocas escaparam do que a predição feita pelo modelo IA). Em todas as misturas binárias feitas com glifosato e dimetoato registou-se um decréscimo no consumo de “bait-lamina”, indicando sinergismo (menos “bait-lamina” consumidos que o esperado). Dos quatro biomarcadores (Catalase, AChE, GST e LPO) avaliados nos isópodes, verificaram-se diferenças significativas na actividade da enzima AChE (quando dimetoato foi aplicado no solo) e LPO (aumento da actividade devido à aplicação de glifosato e dimetoato).

Model-based systems engineering: a system for traffic & environment

The contemporary world is crowded of large, interdisciplinary, complex systems made of other systems, personnel, hardware, software, information, processes, and facilities. The Systems Engineering (SE) field proposes an integrated holistic approach to tackle these socio-technical systems that is crucial to take proper account of their multifaceted nature and numerous interrelationships, providing the means to enable their successful realization. Model-Based Systems Engineering (MBSE) is an emerging paradigm in the SE field and can be described as the formalized application of modelling principles, methods, languages, and tools to the entire lifecycle of those systems, enhancing communications and knowledge capture, shared understanding, improved design precision and integrity, better development traceability, and reduced development risks. This thesis is devoted to the application of the novel MBSE paradigm to the Urban Traffic & Environment domain. The proposed system, the GUILTE (Guiding Urban Intelligent Traffic & Environment), deals with a present-day real challenging problem “at the agenda” of world leaders, national governors, local authorities, research agencies, academia, and general public. The main purposes of the system are to provide an integrated development framework for the municipalities, and to support the (short-time and real-time) operations of the urban traffic through Intelligent Transportation Systems, highlighting two fundamental aspects: the evaluation of the related environmental impacts (in particular, the air pollution and the noise), and the dissemination of information to the citizens, endorsing their involvement and participation. These objectives are related with the high-level complex challenge of developing sustainable urban transportation networks. The development process of the GUILTE system is supported by a new methodology, the LITHE (Agile Systems Modelling Engineering), which aims to lightening the complexity and burdensome of the existing methodologies by emphasizing agile principles such as continuous communication, feedback, stakeholders involvement, short iterations and rapid response. These principles are accomplished through a universal and intuitive SE process, the SIMILAR process model (which was redefined at the light of the modern international standards), a lean MBSE method, and a coherent System Model developed through the benchmark graphical modeling languages SysML and OPDs/OPL. The main contributions of the work are, in their essence, models and can be settled as: a revised process model for the SE field, an agile methodology for MBSE development environments, a graphical tool to support the proposed methodology, and a System Model for the GUILTE system. The comprehensive literature reviews provided for the main scientific field of this research (SE/MBSE) and for the application domain (Traffic & Environment) can also be seen as a relevant contribution.

Evaluation of thermochemical biomass conversion in fluidized bed

Dado o aumento acelerado dos preços dos combustíveis fósseis e as incertezas quanto à sua disponibilidade futura, tem surgido um novo interesse nas tecnologias da biomassa aplicadas à produção de calor, eletricidade ou combustíveis sintéticos. Não obstante, para a conversão termoquímica de uma partícula de biomassa sólida concorrem fenómenos bastante complexos que levam, em primeiro lugar, à secagem do combustível, depois à pirólise e finalmente à combustão ou gasificação propriamente ditas. Uma descrição relativamente incompleta de alguns desses estágios de conversão constitui ainda um obstáculo ao desenvolvimento das tecnologias que importa ultrapassar. Em particular, a presença de elevados conteúdos de matéria volátil na biomassa põe em evidência o interesse prático do estudo da pirólise. A importância da pirólise durante a combustão de biomassa foi evidenciada neste trabalho através de ensaios realizados num reator piloto de leito fluidizado borbulhante. Verificou-se que o processo ocorre em grande parte à superfície do leito com chamas de difusão devido à libertação de voláteis, o que dificulta o controlo da temperatura do reator acima do leito. No caso da gasificação de biomassa a pirólise pode inclusivamente determinar a eficiência química do processo. Isso foi mostrado neste trabalho durante ensaios de gasificação num reator de leito fluidizado de 2MWth, onde um novo método de medição permitiu fechar o balanço de massa ao gasificador e monitorizar o grau de conversão da biomassa. A partir destes resultados tornou-se clara a necessidade de descrever adequadamente a pirólise de biomassa com vista ao projeto e controlo dos processos. Em aplicações de engenharia há particular interesse na estequiometria e propriedades dos principais produtos pirolíticos. Neste trabalho procurou-se responder a esta necessidade, inicialmente através da estruturação de dados bibliográficos sobre rendimentos de carbonizado, líquidos pirolíticos e gases, assim como composições elementares e poderes caloríficos. O resultado traduziu-se num conjunto de parâmetros empíricos de interesse prático que permitiram elucidar o comportamento geral da pirólise de biomassa numa gama ampla de condições operatórias. Para além disso, propôs-se um modelo empírico para a composição dos voláteis que pode ser integrado em modelos compreensivos de reatores desde que os parâmetros usados sejam adequados ao combustível ensaiado. Esta abordagem despoletou um conjunto de ensaios de pirólise com várias biomassas, lenhina e celulose, e temperaturas entre os 600 e 975ºC. Elevadas taxas de aquecimento do combustível foram alcançadas em reatores laboratoriais de leito fluidizado borbulhante e leito fixo, ao passo que um sistema termo-gravimétrico permitiu estudar o efeito de taxas de aquecimento mais baixas. Os resultados mostram que, em condições típicas de processos de combustão e gasificação, a quantidade de voláteis libertada da biomassa é pouco influenciada pela temperatura do reator mas varia bastante entre combustíveis. Uma análise mais aprofundada deste assunto permitiu mostrar que o rendimento de carbonizado está intimamente relacionado com o rácio O/C do combustível original, sendo proposto um modelo simples para descrever esta relação. Embora a quantidade total de voláteis libertada seja estabelecida pela composição da biomassa, a respetiva composição química depende bastante da temperatura do reator. Rendimentos de espécies condensáveis (água e espécies orgânicas), CO2 e hidrocarbonetos leves descrevem um máximo relativamente à temperatura para dar lugar a CO e H2 às temperaturas mais altas. Não obstante, em certas gamas de temperatura, os rendimentos de algumas das principais espécies gasosas (e.g. CO, H2, CH4) estão bem correlacionados entre si, o que permitiu desenvolver modelos empíricos que minimizam o efeito das condições operatórias e, ao mesmo tempo, realçam o efeito do combustível na composição do gás. Em suma, os ensaios de pirólise realizados neste trabalho permitiram constatar que a estequiometria da pirólise de biomassa se relaciona de várias formas com a composição elementar do combustível original o que levanta várias possibilidades para a avaliação e projeto de processos de combustão e gasificação de biomassa.

Model of access to natural language sources in electronic government

For the actual existence of e-government it is necessary and crucial to provide public information and documentation, making its access simple to citizens. A portion, not necessarily small, of these documents is in an unstructured form and in natural language, and consequently outside of which the current search systems are generally able to cope and effectively handle. Thus, in thesis, it is possible to improve access to these contents using systems that process natural language and create structured information, particularly if supported in semantics. In order to put this thesis to test, this work was developed in three major phases: (1) design of a conceptual model integrating the creation of structured information and making it available to various actors, in line with the vision of e-government 2.0; (2) definition and development of a prototype instantiating the key modules of this conceptual model, including ontology based information extraction supported by examples of relevant information, knowledge management and access based on natural language; (3) assessment of the usability and acceptability of querying information as made possible by the prototype - and in consequence of the conceptual model - by users in a realistic scenario, that included comparison with existing forms of access. In addition to this evaluation, at another level more related to technology assessment and not to the model, evaluations were made on the performance of the subsystem responsible for information extraction. The evaluation results show that the proposed model was perceived as more effective and useful than the alternatives. Associated with the performance of the prototype to extract information from documents, comparable to the state of the art, results demonstrate the feasibility and advantages, with current technology, of using natural language processing and integration of semantic information to improve access to unstructured contents in natural language. The conceptual model and the prototype demonstrator intend to contribute to the future existence of more sophisticated search systems that are also more suitable for e-government. To have transparency in governance, active citizenship, greater agility in the interaction with the public administration, among others, it is necessary that citizens and businesses have quick and easy access to official information, even if it was originally created in natural language.

The effects of chemicals in isopods : a multi-organizational evaluation

The global aim of this thesis was to evaluate and assess the effects of a pesticide (dimethoate) and a metal (nickel), as model chemicals, within different organization levels, starting at the detoxification pathways (enzymatic biomarkers) and energy costs associated (energy content quantification, energy consumption and CEA) along with the physiological alterations at the individual and population level (mortality), leading to a metabolomic analysis (using liquid 1H-NMR) and finally a gene expression analysis (transcriptome and RT-qPCR analysis). To better understand potential variations in response to stressors, abiotic factors were also assessed in terrestrial isopods such as temperature, soil moisture and UV radiation. The evaluation performed using biochemical biomarkers and energy related parameters showed that increases in temperature might negatively affect the organisms by generating oxidative stress. It also showed that this species is acclimated to environments with low soil moisture, and that in high moisture scenarios there was a short gap between the optimal and adverse conditions that led to increased mortality. As for UV-R, doses nowadays present have shown to induce significant negative impact on these organisms. The long-term exposure to dimethoate showed that besides the neurotoxicity resulting from acetylcholinesterase inhibition, this stressor also caused oxidative stress. This effect was observed for both concentrations used (recommended field dose application and a below EC50 value) and that its combination with different temperatures (20ºC and 25ºC) showed different response patterns. It was also observed that dimethoate’s degradation rate in soils was higher in the presence of isopods. In a similar study performed with nickel, oxidative stress was also observed. But, in the case of this stressor exposure, organisms showed a strategy where the energetic costs necessary for detoxification (biomarkers) seemed to be compensated by positive alterations in the energy related parameters. In this work we presented for the first time a metabolomic profile of terrestrial isopods exposed to stressors (dimethoate and niquel), since until the moment only a previous study was performed on a metabolomic evaluation in nonexposed isopods. In the first part of the study we identify 24 new metabolites that had not been described previously. On the second part of the study a metabolomic profile variation of abstract non-exposed organism throughout the exposure was presented and finally the metabolomic profile of organisms exposed to dimethoate and nickel. The exposure to nickel suggested alteration in growth, moult, haemocyanin and glutathione synthesis, energy pathways and in osmoregulation. As for the exposure to dimethoate alterations in osmoregulation, energy pathways, moult and neurotransmission were also suggested. In this work it was also presented the first full body transcriptome of a terrestrial isopod from the species Porcellionides pruinosus, which will complement the scarce information available for this group of organisms. This transcriptome also served as base for a RNA-Seq and a RT-qPCR analysis. The results of the RNA-Seq analysis performed in organisms exposed to nickel showed that this stressor negatively impacted at the genetic and epigenetic levels, in the trafficking, storage and elimination of metals, generates oxidative stress, inducing neurotoxicity and also affecting reproduction. These results were confirmed through RT-qPCR. As for the impact of dimethoate on these organisms it was only accessed through RT-qPCR and showed oxidative stress, an impact in neurotransmission, in epigenetic markers, DNA repair and cell cycle impairment. This study allowed the design of an Adverse Outcome Pathway draft that can be used further on for legislative purposes.