Kaleidoscope : Reframing learning and teaching evaluation through a shared stakeholder lens

Sector wide interest in Reframe: QUT’s Evaluation Framework continues with a number of institutions requesting finer details as QUT embeds the new approach to evaluation across the university in 2013. This interest, both nationally and internationally has warranted QUT’s collegial response to draw upon its experiences from developing Reframe into distilling and offering Kaleidoscope back to the sector. The word Reframe is a relevant reference for QUT’s specific re-evaluation, reframing and adoption of a new approach to evaluation; whereas Kaleidoscope reflects the unique lens through which any other institution will need to view their own cultural specificity and local context through an extensive user-led stakeholder engagement approach when introducing new approaches to learning and teaching evaluation. Kaleidoscope’s objectives are for QUT to develop its research-based stakeholder approach to distil the successful experience exhibited in the Reframe Project into a transferable set of guidelines for use by other tertiary institutions across the sector. These guidelines will assist others to design, develop, and deploy, their own culturally specific widespread organisational change informed by stakeholder engagement and organisational buy-in. It is intended that these guidelines will promote, support and enable other tertiary institutions to embark on their own evaluation projects and maximise impact. Kaleidoscope offers an institutional case study of widespread organisational change underpinned by Reframe’s (i) evidence-based methodology; (ii) research including published environmental scan, literature review (Alderman, et al., 2012), development of a conceptual model (Alderman, et al., in press 2013), project management principles (Alderman & Melanie, 2012) and national conference peer reviews; and (iii) year-long strategic project with national outreach to collaboratively engage the development of a draft set of National Guidelines. Kaleidoscope’s aims are to inform Higher Education evaluation policy development through national stakeholder engagement, the finalisation of proposed National Guidelines. In correlation with the conference paper, the authors will present a Draft Guidelines and Framework ready for external peer review by evaluation practitioners from the Higher Education sector, as part of Kaleidoscope’s dissemination strategy (Hinton & Gannaway, 2011) applying illuminative evaluation theory (Parlett & Hamilton, 1976), through conference workshops and ongoing discussions (Shapiro, et al., 1983; Jacobs, 2000). The initial National Guidelines will be distilled from the Reframe: QUT’s Evaluation Framework’s Policy, Protocols, and incorporated Business Rules. It is intended that the outcomes of Kaleidoscope are owned by and reflect sectoral engagement, including iterative evaluation through multiple avenues of dissemination and collaboration including the Higher Education sector. The dissemination strategy with the inclusion of Illuminative Evaluation methodology provides an inclusive opportunity for other institutions and stakeholders across the Higher Education sector to give voice through the information-gathering component of evaluating the draft Guidelines, providing a comprehensive understanding of the complex realities experienced across the Higher Education sector, and thereby ‘illuminating’ both the shared and unique lenses and contexts. This process will enable any final guidelines developed to have broader applicability, greater acceptance, enhanced sustainability and additional relevance benefiting the Higher Education sector, and the adoption and adaption by any single institution for their local contexts.

Context-sensitive evaluation: Determining the context surrounding the implementation of a government policy

This article explains the essence of the context-sensitive parameters and dimensions in play at the time of an intervention, through the application of Rog’s (2012) model of contextual parameters. Rog’s model offers evaluators a structured approach to examine an intervention. The initial study provided a systematic way to clarify the scope, variables, timing, and appropriate evaluation methodology to evaluate the implementation of a government policy. Given that the government implementation of an educational intervention under study did not follow the experimental research approach, nor the double cycle of action research approach, the application of Rog’s model provided an in-depth understanding of the context-sensitive environment; it is from this clear purpose that the broader evaluation was conducted. Overall, when governments or institutions implement policy to invoke educational change (and this intervention is not guided by an appropriate evaluation approach), then program evaluation is achievable post-implementation. In this situation, Rog’s (2012) model of contextual parameters is a useful way to achieve clarity of purpose to guide the program evaluation.

Kaleidoscope : shaping a better future through a stakeholder approach to widespread organisational change

The main focus of ‘Kaleidoscope: Reframing evaluation through a stakeholder approach to sustainable, cultural change in Higher Education’ is to develop a set of principles to guide user-led engagement in widespread organisational change and maximise its impact. The word kaleidoscope represents the unique lens through which each institution will need to view their cultural specificity and local context through an extensive process of collaboration and engagement, followed by communication and dissemination. Kaleidoscope has particular relevance when new approaches to learning and teaching evaluation are introduced by tertiary institutions. Building on the Reframe Project, which involved three years of user-led consultation and was designed to meet stakeholders’ needs, QUT successfully introduced a new evaluation framework in 2013 across the university. Reframe was evidence based, involved scholarly reflection and was founded on a strong theoretical framework. The evolution of the evaluation framework included analysis of scholarly literature and environmental scans across the higher education sector (Alderman, et al., 2012), researched development of conceptual theory (Alderman, et al., in press 2013), incorporated the stakeholder voice and framed within project management principles (Alderman & Melanie, 2012). Kaleidoscope’s objectives are for QUT to develop its research-based stakeholder approach to distil the successful experience exhibited in the Reframe Project into a transferable set of guidelines for use by other tertiary institutions across the sectors. These guidelines will assist others to design, develop, and deploy, their own culturally specific widespread organisational change informed by stakeholder engagement and organisational buy-in. It is intended that these guidelines will promote, support and enable other tertiary institutions to embark on their own projects and maximise the impact. In correlation with a our conference paper, this round table presents the Draft Guidelines and Framework ready for external peer review by evaluation practitioners, as part of Kaleidoscope’s dissemination (Hinton & Gannaway, 2011) applying illuminative evaluation theory (Parlett & Hamilton, 1976), through conference workshops and linked round table discussions (Shapiro, et al., 1983; Jacobs, 2000).

Um estudo sobre o orçamento público como fonte de informação para o cidadão avaliar o desempenho dos seus representantes: um estudo de caso sobre o orçamento da Secretaria Municipal de Educação da Prefeitura do Rio de Janeiro

O objetivo deste estudo é demonstrar que as informações fornecidas pela Lei Orçamentária Anual de 2010 da Prefeitura da Cidade do Rio de Janeiro e pelos seus respectivos relatórios de execução orçamentária, referentes aos investimentos em obras e instalações da Secretaria Municipal de Educação não permitem ao cidadão avaliar a eficácia e a eficiência dos seus representantes; também é objetivo deste estudo demonstrar que as alterações realizadas na Lei Orçamentária Anual de 2010 da Prefeitura da Cidade do Rio de Janeiro, referentes aos investimentos em obras e instalações da Secretaria Municipal de Educação, podem prejudicar uma possível avaliação da eficácia e eficiência do gestor representante e, finalmente, este estudo também objetiva sugerir possíveis sugestões e recomendações para que a Lei Orçamentária Anual da Prefeitura da Cidade do Rio de Janeiro e os seus respectivos relatórios de execução orçamentária passem a fornecer as informações necessárias para o cidadão avaliar a eficácia e a eficiência dos seus representantes. Para alcançar tais objetivos, serão abordados conceitos como: a) estado democrático, para demonstrar o contexto onde acontece a relação entre os cidadãos e os seus representantes eleitos; b) orçamento público, para discutir a sua função como instrumento de controle entre os cidadãos e os seus representantes eleitos; c) avaliação de desempenho, para demonstrar a importância desta para o gestor e para o controle dos cidadãos; e d) teoria da agência, para discutir o conflito decorrente entre os cidadãos e os seus representantes eleitos, de forma a permitir uma nova perspectiva desta relação. Para desenvolver este estudo será utilizado o método de estudo de caso, por ser o mais indicado para esse tipo de pesquisa. O caso escolhido foi a parte da Lei Orçamentária Anual de 2010 da Prefeitura da Cidade do Rio de Janeiro e seus respectivos relatórios de execução orçamentária, referente aos investimentos em obras e instalações da Secretaria Municipal de Educação.

Application of ICA in on-line verification of the phase difference of the current sensor

The performance of the current sensor in power equipment may become worse affected by the environment. In this paper, based on ICA, we propose a method for on-line verification of the phase difference of the current sensor. However, not all source components are mutually independent in our application. In order to get an exact result, we have proposed a relative likelihood index to choose an optimal result from different runs. The index is based on the maximum likelihood evaluation theory and the independent subspace analysis. The feasibility of our method has been confirmed by experimental results.

Application of ICA in on-line verification of the phase difference of the current sensor

The performance of the current sensor in power equipment may become worse affected by the environment. In this paper, based on ICA, we propose a method for on-line verification of the phase difference of the current sensor. However, not all source components are mutually independent in our application. In order to get an exact result, we have proposed a relative likelihood index to choose an optimal result from different runs. The index is based on the maximum likelihood evaluation theory and the independent subspace analysis. The feasibility of our method has been confirmed by experimental results.

黄土高原地区水土保持科学研究的重点领域

针对黄土高原地区生态建设的需求与水土保持科学研究现状,分析了黄土高原水土保持科学研究的成就与发展趋势,提出该区未来需加强土壤侵蚀过程、机制及侵蚀模型、植被恢复的潜力及调控、大尺度土壤侵蚀及水土保持的格局与规律、水土流失及治理的环境效应评价理论与模型、水土流失治理的生态服务功能评价和不同尺度水土保持与生态建设模式研究等重点研究领域。

Estime de soi et appropriation cognitive du feedback en contexte d’évaluation de potentiel : le rôle de la valence et de l’influence de la source

L’estime de soi joue un rôle central lorsqu’il est question de prédire les réactions des individus au feedback. En dépit de son influence indéniable sur les réactions des individus au feedback en contexte d’évaluation de potentiel, peu d’études se sont attardées aux facteurs pouvant en atténuer l’effet dans le cadre d’une telle démarche. Cette thèse vise à combler ce manque à travers deux articles empiriques répondant chacun à plusieurs objectifs de recherche. Dans cette optique, des données ont été amassées auprès de deux échantillons indépendants de candidats (étude 1, N = 111; étude 2, N = 153) ayant réalisé une évaluation de potentiel dans une firme-conseil spécialisée en psychologie industrielle. Le premier article vise à tester deux théories relatives à l’estime de soi s’affrontant lorsqu’il est question de prédire les réactions cognitives au feedback, la théorie de l’auto-valorisation et de l’auto-vérification. Pour mieux comprendre ce phénomène, l’influence de l’estime de soi et de la valence décisionnelle du feedback sur les deux composantes de l’appropriation cognitive du feedback en contexte d’évaluation, l’acceptation et la conscientisation, a été testé. Les résultats soutiennent les postulats de la théorie d’auto-valorisation lorsqu’il est question de prédire l’acceptation du feedback. En contrepartie, les résultats offrent peu de soutien à la théorie de l’auto-vérification dans la prédiction de la conscientisation à l’égard du feedback. Le second article vise à identifier des leviers modulables pour influencer favorablement les réactions des individus ayant une plus faible estime d’eux-mêmes. Pour ce faire, deux variables relatives à l’influence de la source ont été ciblées, la crédibilité perçue et les pratiques de confrontation constructive. Cet article comprend deux études, soit une première ayant pour objectif de valider un instrument mesurant la crédibilité perçue de la source et une seconde examinant les relations entre trois déterminants, soit l’estime de soi du candidat, la crédibilité perçue de la source et les pratiques de confrontation constructive, et deux réactions cognitives au feedback, l’acceptation et la conscientisation. Les analyses de la première étude font ressortir que l’échelle de crédibilité perçue présente des qualités psychométriques satisfaisantes et les résultats corroborent une structure unifactorielle. Les résultats de la seconde étude indiquent que les trois déterminants étudiés sont positivement reliés à l’acceptation et à la conscientisation. Les effets d’interaction significatifs font ressortir des conditions favorisant l’acceptation et la conscientisation chez les individus ayant une plus faible estime d’eux-mêmes. La crédibilité perçue atténue la relation entre l’estime de soi et l’acceptation alors que la confrontation constructive modère les relations entre l’estime de soi et, tant l’acceptation que la conscientisation. Enfin, la crédibilité perçue et la confrontation constructive interagissent dans la prédiction de la conscientisation, faisant ainsi ressortir l’importance d’établir sa crédibilité pour augmenter l’effet positif de la confrontation constructive. Les apports théorique et conceptuel de chacun des articles ainsi que les pistes d’intervention pratiques en découlant sont discutés séparément et repris dans une conclusion globale. Les retombées de cette thèse, tant sur le plan de la recherche que de l'intervention, sont également abordées dans cette dernière section.

Évaluation du processus : analyse de l’évaluabilité et de la mise en œuvre d’une stratégie d’amélioration de la couverture vaccinale au Burkina Faso.

La vaccination qui est le sujet sur lequel porte cette recherche est une des questions de santé publique les plus importantes; elle fait néanmoins l’objet de nombreuses controverses. Dans le contexte de cette thèse, c’est plutôt l’accès à la vaccination qui est mis en question. La présente recherche vise à analyser une stratégie d’amélioration de la couverture vaccinale à l’aide d’une évaluation de processus extensive en trois étapes faisant suite à une documentation approfondie du contexte. En effet, la recherche analyse les perceptions et les facteurs d’influence de la couverture vaccinale avant l’intervention, les assises conceptuelles et théoriques de cette intervention, l’implantation et la réception de l’intervention et enfin les résultats et les mécanismes mis en œuvre pour les atteindre. Les résultats indiquent que la vaccination s’insère dans l’ensemble des stratégies locales de protection fondées sur des notions endogènes du risque. Ces éléments culturels associés à des facteurs socioéconomiques et aux rapports entre parents et services de santé concourent à expliquer un niveau relativement bas de couverture vaccinale complète de 50% avant l’intervention. L’analyse exploratoire de l’intervention indique que celle-ci intègre une théorie initiale implicite et une philosophie. L’intervention finale était évaluable; cependant, la validation de sa théorie a été compromise par des écarts dans l’implantation. L’approche descriptive montre des taux de réalisation d’activités assez élevés, une atteinte de plus de 95% des cibles et un niveau de réception acceptable, ce qui indique que l’intervention est une stratégie réalisable mais à améliorer. La couverture vaccinale après l’intervention est de 87%; elle est influencée positivement par les niveaux de connaissance élevés des parents et le fait pour les enfants d’être nés dans un centre de santé, et négativement par l’éloignement par rapport au site de vaccination. L’atteinte des résultats suit la procédure principale d’amélioration du niveau de connaissance des parents. Celle-ci est basée sur un mécanisme latent qui est la perception des « opportunités » que fournit la vaccination pour prévenir divers risques sanitaires, sociaux et économiques. Cependant, des approches complémentaires tentent de maximiser les effets de l’intervention en utilisant les pouvoirs conférés aux relais communautaires féminins et la coercition sociale. Cette recherche contribue à éclairer la relation entre l’évaluation du processus et l’analyse de l’évaluabilité, à conceptualiser et opérationnaliser autrement les notions de doses d’intervention administrées et de doses reçues. Sur le plan de la pratique, la recherche contribue à proposer l’amélioration des profils de personnel pour les activités de vaccination et la vulgarisation de la stratégie. Des propositions sont faites pour l’amélioration de l’intervention et l’information des institutions de financement des interventions.

Évaluation d’un programme novateur de réadaptation par les arts de la scène pour des jeunes présentant un trouble psychiatrique stabilisé : le programme Espace de Transition

L’objectif de cette thèse était d’évaluer Espace de Transition (ET), un programme novateur d’intervention par les arts de la scène visant à favoriser la réadaptation psychosociale d’adolescents et de jeunes adultes présentant des troubles mentaux stabilisés et à diminuer la stigmatisation des individus aux prises avec des problèmes de santé mentale. Ce programme a été conçu par une équipe de cliniciens du département de psychiatrie du Centre hospitalier universitaire Ste-Justine, en collaboration avec des artistes professionnels, et est livré depuis le printemps 2009. L’évaluation du programme ET a été conduite de manière indépendante, selon des approches collaborative et naturaliste et en usant de méthodes mixtes. Les données de recherche ont été recueillies avant pendant et après le programme auprès de l’ensemble des participants à deux sessions distinctes (N = 24), de même qu’auprès des deux artistes instructeurs, de la psychoéducatrice responsable du soutien clinique, ainsi que des psychiatres et autres intervenants ayant référé des participants (N=11). Des entrevues semi-structurées individuelles et de groupe, des observations directes et des questionnaires ont servi à recueillir les données nécessaires à l’évaluation. Des analyses quantitatives de variance, ainsi que des analyses qualitatives thématiques ont été réalisées et leurs résultats ont été interprétés de manière intégrée. Le premier chapitre empirique de la thèse relate l’évaluation de la mise en œuvre du programme ET. Cette étude a permis de constater que le programme avait rejoint des participants correspondant de près à la population visée et que ceux-ci présentaient globalement des niveaux élevés d’assiduité, d’engagement et d’appréciation du programme. L’évaluation de la mise en œuvre a en outre permis de conclure que la plupart des composantes du programme identifiées a priori comme ses paramètres essentiels ont été livrées tel que prévu par les concepteurs et que la plupart d’entre elles ont été largement appréciées et jugées pertinentes par les participants et les autres répondants consultés. Le second chapitre empirique consiste en un article portant sur l’évaluation des effets du programme ET relativement à l’atteinte de trois de ses objectifs intermédiaires, soient l’amélioration 1) du fonctionnement global, 2) du confort relationnel et des compétences sociales, ainsi que 3) de la perception de soi des participants présentant des troubles mentaux. Les résultats de cette étude ont révélé des changements significatifs et positifs dans le fonctionnement global des participants suite au programme, tel qu’évalué par les cliniciens référents et partiellement corroboré par les participants eux-mêmes. Des améliorations en ce qui concerne le confort relationnel, les compétences sociales et la perception de soi ont également été objectivées chez une proportion substantielle de participants, bien que celles-ci ne se soient pas traduites en des différences significatives décelées par les analyses quantitatives de groupe. Le troisième et dernier chapitre empirique de la thèse relate une étude exploratoire des mécanismes sous-tendant les effets du programme ET ayant conduit à l’élaboration inductive d’une théorie d’action de ce programme. Cette investigation qualitative a révélé quatre catégories de mécanismes, soient des processus de 1) gain d’expérience et de gratification sociales, 2) de désensibilisation par exposition graduelle, 3) de succès et de valorisation, et 4) de normalisation. Cette étude a également permis de suggérer les caractéristiques et composantes du programme qui favorisent la mise en place ou l’impact de ces mécanismes, tels l’environnement et l’animation non cliniques du programme, la composition hétérogène des groupes de participants, le recours aux arts de la scène, ainsi que la poursuite d’une réalisation collective et son partage avec un public extérieur au programme. Globalement, les études présentées dans la thèse appuient la pertinence et le caractère prometteur du programme ET, tout en suggérant des pistes d’amélioration potentielle pour ses versions ultérieures. Par extension, la thèse soutient l’efficacité potentielle d’interventions réadaptatives mettant en œuvre des composantes apparentées à celles du programme ET pour soutenir le rétablissement des jeunes aux prises avec des troubles mentaux.

Modélisation du carnet d'ordres limites et prévision de séries temporelles

Le contenu de cette thèse est divisé de la façon suivante. Après un premier chapitre d’introduction, le Chapitre 2 est consacré à introduire aussi simplement que possible certaines des théories qui seront utilisées dans les deux premiers articles. Dans un premier temps, nous discuterons des points importants pour la construction de l’intégrale stochastique par rapport aux semimartingales avec paramètre spatial. Ensuite, nous décrirons les principaux résultats de la théorie de l’évaluation en monde neutre au risque et, finalement, nous donnerons une brève description d’une méthode d’optimisation connue sous le nom de dualité. Les Chapitres 3 et 4 traitent de la modélisation de l’illiquidité et font l’objet de deux articles. Le premier propose un modèle en temps continu pour la structure et le comportement du carnet d’ordres limites. Le comportement du portefeuille d’un investisseur utilisant des ordres de marché est déduit et des conditions permettant d’éliminer les possibilités d’arbitrages sont données. Grâce à la formule d’Itô généralisée il est aussi possible d’écrire la valeur du portefeuille comme une équation différentielle stochastique. Un exemple complet de modèle de marché est présenté de même qu’une méthode de calibrage. Dans le deuxième article, écrit en collaboration avec Bruno Rémillard, nous proposons un modèle similaire mais cette fois-ci en temps discret. La question de tarification des produits dérivés est étudiée et des solutions pour le prix des options européennes de vente et d’achat sont données sous forme explicite. Des conditions spécifiques à ce modèle qui permettent d’éliminer l’arbitrage sont aussi données. Grâce à la méthode duale, nous montrons qu’il est aussi possible d’écrire le prix des options européennes comme un problème d’optimisation d’une espérance sur en ensemble de mesures de probabilité. Le Chapitre 5 contient le troisième article de la thèse et porte sur un sujet différent. Dans cet article, aussi écrit en collaboration avec Bruno Rémillard, nous proposons une méthode de prévision des séries temporelles basée sur les copules multivariées. Afin de mieux comprendre le gain en performance que donne cette méthode, nous étudions à l’aide d’expériences numériques l’effet de la force et la structure de dépendance sur les prévisions. Puisque les copules permettent d’isoler la structure de dépendance et les distributions marginales, nous étudions l’impact de différentes distributions marginales sur la performance des prévisions. Finalement, nous étudions aussi l’effet des erreurs d’estimation sur la performance des prévisions. Dans tous les cas, nous comparons la performance des prévisions en utilisant des prévisions provenant d’une série bivariée et d’une série univariée, ce qui permet d’illustrer l’avantage de cette méthode. Dans un intérêt plus pratique, nous présentons une application complète sur des données financières.

Práticas de avaliação nas escolas oficiais de 1. grau, em Manaus

Este trabalho visa a examinar as práticas de avaliação das escolas oficiais da cidade de Manaus que oferecem as quatro primeiras séries do Ensino de 1o Grau, com vistas a averiguar se a execução da avaliação está de acordo com as prescrições legais em vigor. Trata-se de estudo piloto exploratório feito no período de agosto a setembro de 1977, em escolas selecionadas por amostragem estratificada proporcional, tendo sido estudadas 50% das escolas da população alvo (em número de 25) nas quais foram envolvidos os diretores e os supervisores, bem como, 300 professores selecionados pelos diretores. Na coleta de dados foram utilizados dois questionários diferentes, um aplicado aos professores e outro aos supervisores, fazendo-se ainda uma entrevista individual semi-estruturada com os diretores das escolas envolvidas. Para reduzir as fontes de erro, a própria autora entregou e recolheu pessoalmente os questionários (obtendo uma taxa de retorno de 77%) e conduziu todas as entrevistas. A análise de dados focalizou as seguintes variáveis: o preparo do professor para realizar a avaliação prescrita pela legislação; as práticas de avaliação empregadas pelos professores; o tipo de orientação dada pelo supervisor ao professor no que se refere à avaliação da aprendizagem; e as condições oferecidas ao professor, ao supervisor e às escolas para a prática da avaliação. Os resultados indicaram que, de modo geral, as práticas de avaliação escolar não correspondem aos padrões exigidos pelos textos legais. A deficiência de informações adequadas sobre a teoria atual de avaliação e sobre instrumentos e procedimentos, bem como a insuficiência de condições de prática necessárias à execução da avaliação nos moldes recomendados destacam-se como questões chave do problema.

Programa Mais Médicos : uma avaliação dos resultados iniciais referentes ao eixo do provimento emergencial a partir da teoria da avaliação de programas

Dissertação (mestrado)—Universidade de Brasília, Centro de Estudos Avançados Multidisciplinares, Programa de Pós-Graduação em Desenvolvimento Sociedade e Cooperação Internacional, 2016.

A three year outcome evaluation of a theory based drink driving education program

This study reports on the impact of a "drink driving education program" taught to grade ten high school students. The program which involves twelve lessons uses strategies based on the Ajzen and Madden theory of planned behavior. Students were trained to use alternatives to drink driving and passenger behaviors. One thousand seven hundred and seventy-four students who had been taught the program in randomly assigned control and intervention schools were followed up three years later. There had been a major reduction in drink driving behaviors in both intervention and control students. In addition to this cohort change there was a trend toward reduced drink driving in the intervention group and a significant reduction in passenger behavior in this group. Readiness to use alternatives suggested that the major impact of the program was on students who were experimenting with the behavior at the time the program was taught. The program seems to have optimized concurrent social attitude and behavior change.