How secure is a Newtonian paradigm for psychological and educational measurement?

From the early 1900s, some psychologists have attempted to establish their discipline as a quantitative science. In using quantitative methods to investigate their theories, they adopted their own special definition of measurement of attributes such as cognitive abilities, as though they were quantities of the type encountered in Newtonian science. Joel Michell has presented a carefully reasoned argument that psychological attributes lack additivity, and therefore cannot be quantities in the same way as the attributes of classical Newtonian physics. In the early decades of the 20th century, quantum theory superseded Newtonian mechanics as the best model of physical reality. This paper gives a brief, critical overview of the evolution of current measurement practices in psychology, and suggests the need for a transition from a Newtonian to a quantum theoretical paradigm for psychological measurement. Finally, a case study is presented that considers the implications of a quantum theoretical model for educational measurement. In particular, it is argued that, since the OECD’s Programme for International Student Assessment (PISA) is predicated on a Newtonian conception of measurement, this may constrain the extent to which it can make accurate comparisons of the achievements of different education systems.

Os estudos PISA e o ensino das ciências físico-naturais em Portugal: a comparabilidade dos resultados nacionais e as implicações para a política educacional.

Dissertação de Mestrado em Ciências da Educação – Análise e Intervenção

John Kaethler

International Student Advisor John Kaethler at his desk.

Évolution des performances scolaires lors de la transition secondaire-Cégep : influences respectives des évaluations PISA, des performances scolaires antérieures et des contextes de vie

Dans le domaine des évaluations des performances des élèves en fin de scolarité obligatoire, et à côté des traditionnelles évaluations scolaires, s’est développé le Programme International pour le Suivi des Acquis (PISA), harmonisé par l’Organisation de Coopération et de Développements Économiques (l’OCDE). Ce programme a atteint une grande notoriété internationale et tente de s’imposer comme programme qui évalue les compétences des élèves. Ce mémoire explore dans quelle mesure les évaluations PISA permettent de prédire les performances scolaires des élèves lors de la transition de la fin des études secondaires vers les études collégiales au Québec. Nous avons construit une variable mesurant l’évolution des performances scolaires entre le secondaire et le Cégep. Nos résultats tendent à confirmer que les évaluations PISA sont en mesure de prédire en partie la continuité des bonnes performances scolaires après contrôle des variables contextuelles des parcours de vie. Cependant, les évaluations scolaires antérieures expliquent mieux cette continuité des bonnes performances scolaires réalisées en première année de postsecondaire que les évaluations PISA. Néanmoins, toujours après contrôle des variables contextuelles, les évaluations scolaires antérieures ne sont pas capables de prédire la différence entre des performances scolaires faibles et fortes lors de la transition secondaire-collégial. Seules les évaluations PISA conservent une faible part pour expliquer ces différences.

Robustesse du modèle de Rasch unidimensionnel à la violation de l’hypothèse d’unidimensionnalité.

Le logiciel de simulation des données et d'analyse est Conquest V.3

Analyse en identification partielle de la décision d'émigrer des étudiants africains

La migration internationale d’étudiants est un investissement couteux pour les familles dans beaucoup de pays en voie de développement. Cependant, cet investissement est susceptible de générer des bénéfices financiers et sociaux relativement importants aux investisseurs, tout autant que des externalités pour d’autres membres de la famille. Cette thèse s’intéresse à deux aspects importants de la migration des étudiants internationaux : (i) Qui part? Quels sont les déterminants de la probabilité de migration? (ii) Qui paie? Comment la famille s’organise-t-elle pour couvrir les frais de la migration? (iii) Qui y gagne? Ce flux migratoire est-il au bénéfice du pays d’origine? Entreprendre une telle étude met le chercheur en face de défis importants, notamment, l’absence de données complètes et fiables; la dispersion géographique des étudiants migrants en étant la cause première. La première contribution importante de ce travail est le développement d’une méthode de sondage en « boule de neige » pour des populations difficiles à atteindre, ainsi que d’estimateurs corrigeant les possibles biais de sélection. A partir de cette méthodologie, j’ai collecté des données incluant simultanément des étudiants migrants et non-migrants du Cameroun en utilisant une plateforme internet. Un second défi relativement bien documenté est la présence d’endogénéité du choix d’éducation. Nous tirons avantage des récents développements théoriques dans le traitement des problèmes d’identification dans les modèles de choix discrets pour résoudre cette difficulté, tout en conservant la simplicité des hypothèses nécessaires. Ce travail constitue l’une des premières applications de cette méthodologie à des questions de développement. Le premier chapitre de la thèse étudie la décision prise par la famille d’investir dans la migration étudiante. Il propose un modèle structurel empirique de choix discret qui reflète à la fois le rendement brut de la migration et la contrainte budgétaire liée au problème de choix des agents. Nos résultats démontrent que le choix du niveau final d’éducation, les résultats académiques et l’aide de la famille sont des déterminants importants de la probabilité d’émigrer, au contraire du genre qui ne semble pas affecter très significativement la décision familiale. Le second chapitre s’efforce de comprendre comment les agents décident de leur participation à la décision de migration et comment la famille partage les profits et décourage le phénomène de « passagers clandestins ». D’autres résultats dans la littérature sur l’identification partielle nous permettent de considérer des comportements stratégiques au sein de l’unité familiale. Les premières estimations suggèrent que le modèle « unitaire », où un agent représentatif maximise l’utilité familiale ne convient qu’aux familles composées des parents et de l’enfant. Les aidants extérieurs subissent un cout strictement positif pour leur participation, ce qui décourage leur implication. Les obligations familiales et sociales semblent expliquer les cas de participation d’un aidant, mieux qu’un possible altruisme de ces derniers. Finalement, le troisième chapitre présente le cadre théorique plus général dans lequel s’imbriquent les modèles développés dans les précédents chapitres. Les méthodes d’identification et d’inférence présentées sont spécialisées aux jeux finis avec information complète. Avec mes co-auteurs, nous proposons notamment une procédure combinatoire pour une implémentation efficace du bootstrap aux fins d’inférences dans les modèles cités ci-dessus. Nous en faisons une application sur les déterminants du choix familial de soins à long terme pour des parents âgés.

Vom Input zum Output

Infolge der durch die internationalen Schulvergleichstests eingeleiteten empirischen Wende in der Erziehungswissenschaft hat sich die Aufmerksamkeit vom Input schulischen Lehrens und Lernens zunehmend auf die Ergebnisse (Output) bzw. Wirkungen (Outcomes) verlagert. Die Kernfrage lautet nun: Was kommt am Ende in der Schule bzw. im Unterricht eigentlich heraus? Grundlegende Voraussetzung ergebnisorienterter Steuerung schulischen Unterrichts ist die Formulierung von Bildungsstandards. Wie Bildungsstandards mit Kompetenzmodellen und konkreten Aufgabenstellungen im Unterricht des Faches "Politik & Wirtschaft" verknüpft werden können, wird in diesem Beitrag einer genaueren Analyse unterzogen. Vor dem Hintergrund bildungstheoretischer Vorstellungen im Anschluss an Immanuel Kant kommen dabei das Literacy-Konzept der Pisa-Studie sowie die "Dokumentarische Methode" nach Karl Mannheim zur Anwendung.

Academic achievement in sciences: the role of preferences and educative assets

This paper provides new evidence on the effect of pupil’s self-motivation and academic assets allocation on the academic achievement in sciences across countries. By using the Programme for International Student Assessment 2006 (PISA 2006) test we find that both explanatory variables have a positive effect on student’s performance. Self-motivation is measured through an instrument that allows us to avoid possible endogeneity problems. Quantile regression is used for analyzing the existence of different estimated coefficients over the distribution. It is found that both variables have different effect on academic performance depending on the pupil’s score. These findings support the importance of designing focalized programs for different populations, especially in terms of access to information and communication technologies such as internet.

El programa pisa : un instrumento para la mejora del proceso de enseñanza-aprendizaje.

Resumen tomado de la publicación

Evaluar la alfabetización científica en el programa de la OECD para la evaluación internacional de estudiantes (PISA).

Resumen tomado de la revista