Evaluating the properties of a stage-specific self-efficacy scale for physical activity using classical test theory, confirmatory factor analysis and item response modeling

The purpose of this paper was to evaluate the psychometric properties of a stage-specific selfefficacy scale for physical activity with classical test theory (CTT), confirmatory factor analysis (CFA) and item response modeling (IRM). Women who enrolled in the Women On The Move study completed a 20-item stage-specific self-efficacy scale developed for this study [n = 226, 51.1% African-American and 48.9% Hispanic women, mean age = 49.2 (67.0) years, mean body mass index = 29.7 (66.4)]. Three analyses were conducted: (i) a CTT item analysis, (ii) a CFA to validate the factor structure and (iii) an IRM analysis. The CTT item analysis and the CFA results showed that the scale had high internal consistency (ranging from 0.76 to 0.93) and a strong factor structure. Results also showed that the scale could be improved by modifying or eliminating some of the existing items without significantly altering the content of the scale. The IRM results also showed that the scale had few items that targeted high self-efficacy and the stage-specific assumption underlying the scale was rejected. In addition, the IRM analyses found that the five-point response format functioned more like a four-point response format. Overall, employing multiple methods to assess the psychometric properties of the stage-specific self-efficacy scale demonstrated the complimentary nature of these methods and it highlighted the strengths and weaknesses of this scale.

Towards a new test of time dilation: Laser spectroscopy on lithium ions stored at a velocity of 33.8 % of the speed of light

The subject of the presented thesis is the accurate measurement of time dilation, aiming at a quantitative test of special relativity. By means of laser spectroscopy, the relativistic Doppler shifts of a clock transition in the metastable triplet spectrum of ^7Li^+ are simultaneously measured with and against the direction of motion of the ions. By employing saturation or optical double resonance spectroscopy, the Doppler broadening as caused by the ions' velocity distribution is eliminated. From these shifts both time dilation as well as the ion velocity can be extracted with high accuracy allowing for a test of the predictions of special relativity. A diode laser and a frequency-doubled titanium sapphire laser were set up for antiparallel and parallel excitation of the ions, respectively. To achieve a robust control of the laser frequencies required for the beam times, a redundant system of frequency standards consisting of a rubidium spectrometer, an iodine spectrometer, and a frequency comb was developed. At the experimental section of the ESR, an automated laser beam guiding system for exact control of polarisation, beam profile, and overlap with the ion beam, as well as a fluorescence detection system were built up. During the first experiments, the production, acceleration and lifetime of the metastable ions at the GSI heavy ion facility were investigated for the first time. The characterisation of the ion beam allowed for the first time to measure its velocity directly via the Doppler effect, which resulted in a new improved calibration of the electron cooler. In the following step the first sub-Doppler spectroscopy signals from an ion beam at 33.8 %c could be recorded. The unprecedented accuracy in such experiments allowed to derive a new upper bound for possible higher-order deviations from special relativity. Moreover future measurements with the experimental setup developed in this thesis have the potential to improve the sensitivity to low-order deviations by at least one order of magnitude compared to previous experiments; and will thus lead to a further contribution to the test of the standard model.

Test der Speziellen Relativitätstheorie mittels Laserspektroskopie an relativistischen 7 Li +-Ionen am ESR

Die Invarianz physikalischer Gesetze unter Lorentztransformationen ist eines der fundamentalen Postulate der modernen Physik und alle Theorien der grundlegenden Wechselwirkungen sind in kovarianter Form formuliert. Obwohl die Spezielle Relativitätstheorie (SRT) in einer Vielzahl von Experimenten mit hoher Genauigkeit überprüft und bestätigt wurde, sind aufgrund der weitreichenden Bedeutung dieses Postulats weitere verbesserte Tests von grundsätzlichem Interesse. Darüber hinaus weisen moderne Ansätze zur Vereinheitlichung der Gravitation mit den anderen Wechselwirkungen auf eine mögliche Verletzung der Lorentzinvarianz hin. In diesem Zusammenhang spielen Ives-Stilwell Experimente zum Test der Zeitdilatation in der SRT eine bedeutende Rolle. Dabei wird die hochauflösende Laserspektroskopie eingesetzt, um die Gültigkeit der relativistischen Dopplerformel – und damit des Zeitdilatationsfaktors γ – an relativistischen Teilchenstrahlen zu untersuchen. Im Rahmen dieser Arbeit wurde ein Ives-Stilwell Experiment an 7Li+-Ionen, die bei einer Geschwindigkeit von 34 % der Lichtgeschwindigkeit im Experimentierspeicherring (ESR) des GSI Helmholtzzentrums für Schwerionenforschung gespeichert waren, durchgeführt. Unter Verwendung des 1s2s3S1→ 1s2p3P2-Übergangs wurde sowohl Λ-Spektroskopie als auch Sättigungsspektroskopie betrieben. Durch die computergestützte Analyse des Fluoreszenznachweises und unter Verwendung optimierter Kantenfilter für den Nachweis konnte das Signal zu Rauschverhältnis entscheidend verbessert und unter Einsatz eines zusätzlichen Pumplasers erstmals ein Sättigungssignal beobachtet werden. Die Frequenzstabilität der beiden verwendeten Lasersysteme wurde mit Hilfe eines Frequenzkamms spezifiziert, um eine möglichst hohe Genauigkeit zu erreichen. Die aus den Strahlzeiten gewonnen Daten wurden im Rahmen der Robertson-Mansouri-Sexl-Testtheorie (RMS) und der Standard Model Extension (SME) interpretiert und entsprechende Obergrenzen für die relevanten Testparameter der jeweiligen Theorie bestimmt. Die Obergrenze für den Testparameter α der RMS-Theorie konnte gegenüber den früheren Messungen bei 6,4 % der Lichtgeschwindigkeit am Testspeicherring (TSR) des Max-Planck-Instituts für Kernphysik in Heidelberg um einen Faktor 4 verbessert werden.

The position effect in a Rasch-homogenous test: A fixed-links modeling approach.

The position effect describes the influence of just-completed items in a psychological scale on subsequent items. This effect has been repeatedly reported for psychometric reasoning scales and is assumed to reflect implicit learning during testing. One way to identify the position effect is fixed-links modeling. With this approach, two latent variables are derived from the test items. Factor loadings of one latent variable are fixed to 1 for all items to represent ability-related variance. Factor loadings on the second latent variable increase from the first to the last item describing the position effect. Previous studies using fixed-links modeling on the position effect investigated reasoning scales constructed in accordance with classical test theory (e.g., Raven’s Progressive Matrices) but, to the best of our knowledge, no Rasch-scaled tests. These tests, however, meet stronger requirements on item homogeneity. In the present study, therefore, we will analyze data from 239 participants who have completed the Rasch-scaled Viennese Matrices Test (VMT). Applying a fixed-links modeling approach, we will test whether a position effect can be depicted as a latent variable and separated from a latent variable representing basic reasoning ability. The results have implications for the assumption of homogeneity in Rasch-homogeneous tests.

Validity of using item response theory to analyze data from the Work Limitations Questionnaire

The Work Limitations Questionnaire (WLQ) is used to determine the amount of work loss and productivity which stem from certain health conditions, including rheumatoid arthritis and cancer. The questionnaire is currently scored using methodology from Classical Test Theory. Item Response Theory, on the other hand, is a theory based on analyzing item responses. This study wanted to determine the validity of using Item Response Theory (IRT), to analyze data from the WLQ. Item responses from 572 employed adults with dysthymia, major depressive disorder (MDD), double depressive disorder (both dysthymia and MDD), rheumatoid arthritis and healthy individuals were used to determine the validity of IRT (Adler et al., 2006).^ PARSCALE, which is IRT software from Scientific Software International, Inc., was used to calculate estimates of the work limitations based on item responses from the WLQ. These estimates, also known as ability estimates, were then correlated with the raw score estimates calculated from the sum of all the items responses. Concurrent validity, which claims a measurement is valid if the correlation between the new measurement and the valid measurement is greater or equal to .90, was used to determine the validity of IRT methodology for the WLQ. Ability estimates from IRT were found to be somewhat highly correlated with the raw scores from the WLQ (above .80). However, the only subscale which had a high enough correlation for IRT to be considered valid was the time management subscale (r = .90). All other subscales, mental/interpersonal, physical, and output, did not produce valid IRT ability estimates.^ An explanation for these lower than expected correlations can be explained by the outliers found in the sample. Also, acquiescent responding (AR) bias, which is caused by the tendency for people to respond the same way to every question on a questionnaire, and the multidimensionality of the questionnaire (the WLQ is composed of four dimensions and thus four different latent variables) probably had a major impact on the IRT estimates. Furthermore, it is possible that the mental/interpersonal dimension violated the monotonocity assumption of IRT causing PARSCALE to fail to run for these estimates. The monotonicity assumption needs to be checked for the mental/interpersonal dimension. Furthermore, the use of multidimensional IRT methods would most likely remove the AR bias and increase the validity of using IRT to analyze data from the WLQ.^

Methodology for Creating of Objective and Balanced Linear Tests Based on the Item Response Theory

Report published in the Proceedings of the National Conference on "Education and Research in the Information Society", Plovdiv, May, 2014

Measuring individuals' response quality in self-administered psychological tests : an introduction to Gendre's functional method

The functional method is a new test theory using a new scoring method that assumes complexity in test structure, and thus takes into account every correlation between factors and items. The main specificity of the functional method is to model test scores by multiple regression instead of estimating them by using simplistic sums of points. In order to proceed, the functional method requires the creation of hyperspherical measurement space, in which item responses are expressed by their correlation with orthogonal factors. This method has three main qualities. First, measures are expressed in the absolute metric of correlations; therefore, items, scales and persons are expressed in the same measurement space using the same single metric. Second, factors are systematically orthogonal and without errors, which is optimal in order to predict other outcomes. Such predictions can be performed to estimate how one would answer to other tests, or even to model one's response strategy if it was perfectly coherent. Third, the functional method provides measures of individuals' response validity (i.e., control indices). Herein, we propose a standard procedure in order to identify whether test results are interpretable and to exclude invalid results caused by various response biases based on control indices.

Logique et tests d'hypotheses: reflexions sur les problemes mal poses en econometrie

Dans ce texte, nous analysons les développements récents de l’économétrie à la lumière de la théorie des tests statistiques. Nous revoyons d’abord quelques principes fondamentaux de philosophie des sciences et de théorie statistique, en mettant l’accent sur la parcimonie et la falsifiabilité comme critères d’évaluation des modèles, sur le rôle de la théorie des tests comme formalisation du principe de falsification de modèles probabilistes, ainsi que sur la justification logique des notions de base de la théorie des tests (tel le niveau d’un test). Nous montrons ensuite que certaines des méthodes statistiques et économétriques les plus utilisées sont fondamentalement inappropriées pour les problèmes et modèles considérés, tandis que de nombreuses hypothèses, pour lesquelles des procédures de test sont communément proposées, ne sont en fait pas du tout testables. De telles situations conduisent à des problèmes statistiques mal posés. Nous analysons quelques cas particuliers de tels problèmes : (1) la construction d’intervalles de confiance dans le cadre de modèles structurels qui posent des problèmes d’identification; (2) la construction de tests pour des hypothèses non paramétriques, incluant la construction de procédures robustes à l’hétéroscédasticité, à la non-normalité ou à la spécification dynamique. Nous indiquons que ces difficultés proviennent souvent de l’ambition d’affaiblir les conditions de régularité nécessaires à toute analyse statistique ainsi que d’une utilisation inappropriée de résultats de théorie distributionnelle asymptotique. Enfin, nous soulignons l’importance de formuler des hypothèses et modèles testables, et de proposer des techniques économétriques dont les propriétés sont démontrables dans les échantillons finis.

L’engagement professionnel chez les nouveaux enseignants et la satisfaction des gestionnaires d’école à l’égard du travail effectué par les enseignants novices

Le monde actuel, marqué par une augmentation incessante des exigences professionnelles, requiert des enseignants une adaptation constante aux changements sociaux, culturels et économiques. Si, pour les enseignants expérimentés, l’accommodation à ces transformations est accompagnée de plusieurs défis, pour les nouveaux enseignants qui ne maîtrisent pas complètement tous les aspects de la profession, l’intégration au milieu scolaire peut être extrêmement difficile ou même insupportable, au point où certains quittent le métier. Néanmoins, à force de persévérance, un certain nombre des nouveaux enseignants franchissent les obstacles imposés par la profession. Dans leur cas, la satisfaction et l’engagement professionnel peuvent être des caractéristiques importantes qui les incitent à continuer à exercer leurs activités d’enseignement. Dans ce contexte, l’étude vise l’analyse des éléments liés à la construction de l’identité professionnelle des enseignants lors de leur insertion dans le métier, à partir des perceptions des nouveaux enseignants et de celles des gestionnaires des écoles primaires et secondaires. L’harmonie entre la perception de ces deux groupes d’acteurs scolaires peut constituer un important facteur du rendement des professionnels dans leur métier et de l’efficacité des institutions d’enseignement. Ainsi, du côté des nouveaux enseignants, l’étude examine les variables qui peuvent être liées à leur engagement professionnel et de celui des gestionnaires, elle vise à analyser les éléments qui peuvent être liés à leur satisfaction sur le travail effectué par les nouveaux enseignants. La présente étude, de type quantitatif, est constituée des analyses secondaires des données issues des enquêtes pancanadiennes auprès des directions et des enseignants d’écoles primaires et secondaires du Canada, menées en 2005 et 2006 par une équipe de professeurs de différentes universités canadiennes. Les analyses statistiques sont basées sur deux modèles théoriques : (1) l’engagement professionnel des nouveaux enseignants et (2) la satisfaction des gestionnaires sur le travail effectué par les nouveaux enseignants. Ces modèles sont examinés en suivant la théorie classique des tests (TCT) et celle des réponses aux items (TRI) afin de profiter des avantages de chacune des méthodes. Du côté de la TCT, des analyses de cheminement et des modélisations aux équations structurelles ont été effectuées pour examiner les modèles théoriques. Du côté de la TRI, des modélisations de Rasch ont été utilisées pour examiner les propriétés psychométriques des échelles utilisées par la recherche afin de vérifier si les données sont bien ajustées aux modèles et si les items se regroupent de façon logique pour expliquer les traits latents à l’étude. Les résultats mettent en évidence le rapport humain qui définit la profession enseignante. Autrement dit, pour les nouveaux enseignants, les émotions en classe, conséquence du processus d’interaction avec leurs élèves, sont le facteur majeur lié à l’engagement professionnel. Dans le même sens, la relation des nouveaux enseignants avec les divers membres de la communauté scolaire (parents des élèves, gestionnaires, personnel de l’école et autres enseignants) est un facteur-clé de la satisfaction des gestionnaires quant au travail des nouveaux enseignants. Les analyses indiquent également l’importance de la satisfaction au travail dans le modèle des nouveaux enseignants. Cette variable est un important déterminant de l’engagement professionnel et peut être associée à tous les autres éléments du modèle des nouveaux enseignants. Finalement, les résultats indiquent le besoin de construction des variables latentes avec un plus grand nombre d’items pour mieux positionner les personnes dans l’échelle de mesure. Ce résultat est plutôt important pour le modèle des gestionnaires qui indique de mauvais ajustements items-personnes.

Mesures subjectives et épidémiologie : problèmes méthodologiques liés à l'utilisation des techniques psychométriques

L’utilisation des mesures subjectives en épidémiologie s’est intensifiée récemment, notamment avec la volonté de plus en plus affirmée d’intégrer la perception qu’ont les sujets de leur santé dans l’étude des maladies et l’évaluation des interventions. La psychométrie regroupe les méthodes statistiques utilisées pour la construction des questionnaires et l’analyse des données qui en sont issues. Ce travail de thèse avait pour but d’explorer différents problèmes méthodologiques soulevés par l’utilisation des techniques psychométriques en épidémiologie. Trois études empiriques sont présentées et concernent 1/ la phase de validation de l’instrument : l’objectif était de développer, à l’aide de données simulées, un outil de calcul de la taille d’échantillon pour la validation d’échelle en psychiatrie ; 2/ les propriétés mathématiques de la mesure obtenue : l’objectif était de comparer les performances de la différence minimale cliniquement pertinente d’un questionnaire calculée sur des données de cohorte, soit dans le cadre de la théorie classique des tests (CTT), soit dans celui de la théorie de réponse à l’item (IRT) ; 3/ son utilisation dans un schéma longitudinal : l’objectif était de comparer, à l’aide de données simulées, les performances d’une méthode statistique d’analyse de l’évolution longitudinale d’un phénomène subjectif mesuré à l’aide de la CTT ou de l’IRT, en particulier lorsque certains items disponibles pour la mesure différaient à chaque temps. Enfin, l’utilisation de graphes orientés acycliques a permis de discuter, à l’aide des résultats de ces trois études, la notion de biais d’information lors de l’utilisation des mesures subjectives en épidémiologie.

Normalization procedure for the Baptista Depression Scale - Adult Version (EBADEP-A): transferring of norms

Regarding the standardization of psychological assessment instruments, that is, the construction of referential interpretations of a test, we can find different procedures performed both by Classical Test Theory (CTT) and the Theory of Item Response (IRT). Especially in this case (IRT), we can admit one test as a default, so to use its standardization and transfer the cut-off point to another instrument. Based on this information, the present study aimed to provide a cutoff score for the Baptista Depression Scale - Adult Version (EBADEP-A) through procedures of norms-transfer based on the Center for Epidemiologic Studies – Depression Scale (CES-D). The EBADEP-A presented good distribution and ability to discriminate depressive symptoms, and the sample, consisting of Brazilian College students, received a cutoff score of 32 points. It is emphasized that this is an exploratory and preliminary study, and it is suggested further analyzes to be performed with clinical samples for which results can be corroborated or confronted.

Self-, parent-report and interview measures of obsessive-compulsive disorder in children and adolescents

Self-report measures of obsessive-compulsive disorder (OCD) in children and adolescents are needed for practical evaluation of severity and treatment response. We compared the self- and parent-report Obsessional Compulsive Inventory Revised (CHOCI-R) to the interview-based Child Yale-Brown Obsessive-Compulsive Scale (CY-BOCS) in a clinical sample of 285 children and adolescents with OCD. Classical test theory and item-response theory were applied to compare the instruments. The self- and parent-report CHOCI-R had good internal consistency and were strongly related to each other. The self- and parent-report CHOCI-R severity scores correlated with the CY-BOCS (Pearson's r 0.55 and 0.45 respectively). The CY-BOCS discriminated better at the severe end of the spectrum. The CHOCI-R provided better discrimination in the mild to moderate range. The time-efficient self- and parent-report alternatives will enable routine measurement of OCD severity in clinical practice. Estimates of equivalent summed scores are provided to facilitate comparison. (c) 2007 Elsevier Ltd. All rights reserved.

Essays on consumer brand engagement

Apesar do crescente interesse no conceito de engajamento da marca ainda existe discordância quanto aos seus conceitos fundamentais. Esta tese de doutorado explora a natureza da construção engajamento da marca do consumidor (EMC). No primeiro artigo, EMC é avaliada no âmbito da Teoria da Expectância para explicar e esclarecer como a antecipação de possíveis resultados de se envolver com uma marca, sendo tais resultados classificados como “primeiro nível” (resultante do esforço pessoal alocado para interagir com uma marca) e “segundo nível” (ou nível final, representando a consequência dos resultados de primeiro nível) e uma nova definição de EMC é formulada. Um arcabouço teórico abrangente é proposto para engajamento da marca, usando o Teoria Organizacional de Marketing para Expansão de Fronteiras (TOMEF) como referência para os pontos de contato entre o consumidor e a marca. A partir dos fundamentos teóricos das dimensões cognitivas, emocionais e comportamentais do EMC, quinze proposições teóricas são desenvolvidas para incorporar uma perspectiva multilateral às doutrinas teóricas do construto. No segundo artigo, quatro estudos são usados para desenvolver uma escala de engajamento da marca do consumidor. O Estudo 1 (n = 11) utiliza revisão da literatura e entrevistas em profundidade com os consumidores para gerar os itens da escala. No Estudo 2, oito especialistas avaliam 144 itens quanto a validade de face e validade de conteúdo. No Estudo 3 dados coletados com alunos de graduação (n = 172) é submetida à análise fatorial exploratória (AFE) e confirmatória (AFC) para redução adicional de itens. Trezentos e oitenta e nove respostas de um painel de consumidores são usados no Estudo 4 para avaliar o ajuste do modelo, usando a análise fatorial confirmatória (AFC) e Modelagem por Equações Estruturais (MEE). A escala proposta possui excelentes níveis de validade e confiabilidade. Finalmente, no terceiro papel, uma escala de engajamento do consumidor de Vivek et al. (2014) é replicada (n = 598) junto à consumidores em uma feira automotiva, para estender o debate sobre formas de medição do constructo usando a perspectiva da Teoria de Resposta ao Item (TRI). Embora o modelo desenvolvido com base na teoria clássica de teste (TCT) usando AFC, um modelo de resposta gradual (MRG) identifica cinco itens que têm baixos níveis de poder discriminante e com baixos níveis de informação. A abordagem usando TRI indica um possível caminho para melhorias metodológicas futuras para as escalas desenvolvidas na área de marketing em geral, e para a escala engajamento do consumidor, em particular.

L'impiego del modello di Rash per la valutazione della soddisfazione del paziente nell'ambito delle strutture sanitarie di ricovero

Hospitals and health service providers are use to collect data about patient’s opinion to improve patient health status and communication with them and to upgrade the management and the organization of the health service provided. A lot of survey are carry out for this purpose and several questionnaire are built to measure patient satisfaction. In particular patient satisfaction is a way to describe and assess the level of hospital service from the patient’s point of view. It is a cognitive and an emotional response to the hospital experience. Methodologically patient satisfaction is defined as a multidimensional latent variable. To assess patient satisfaction Item Response Theory has greater advantages compared to Classical Test Theory. Rasch model is a one-parameter model which belongs to Item Response Theory. Rasch model yield objective measure of the construct that are independent of the set of people interviewed and of set of items used. Rasch estimates are continuous and can be useful to “calibrate” the scale of the latent trait. This research attempt to investigate the questionnaire currently adopted to measure patient satisfaction in an Italian hospital, completed by a large sample of 3390 patients. We verify the multidimensional nature of the variable, the properties of the instrument and the level of satisfaction in the hospital. Successively we used Rasch estimates to describe the most satisfied and the less satisfied patients.