Development and interrater reliability testing of a telephone interview training programme for Australian nurse interviewers

Summary Background The final phase of a three phase study analysing the implementation and impact of the nurse practitioner role in Australia (the Australian Nurse Practitioner Project or AUSPRAC) was undertaken in 2009, requiring nurse telephone interviewers to gather information about health outcomes directly from patients and their treating nurse practitioners. A team of several registered nurses was recruited and trained as telephone interviewers. The aim of this paper is to report on development and evaluation of the training process for telephone interviewers. Methods The training process involved planning the content and methods to be used in the training session; delivering the session; testing skills and understanding of interviewers post-training; collecting and analysing data to determine the degree to which the training process was successful in meeting objectives and post-training follow-up. All aspects of the training process were informed by established educational principles. Results Interrater reliability between interviewers was high for well-validated sections of the survey instrument resulting in 100% agreement between interviewers. Other sections with unvalidated questions showed lower agreement (between 75% and 90%). Overall the agreement between interviewers was 92%. Each interviewer was also measured against a specifically developed master script or gold standard and for this each interviewer achieved a percentage of correct answers of 94.7% or better. This equated to a Kappa value of 0.92 or better. Conclusion The telephone interviewer training process was very effective and achieved high interrater reliability. We argue that the high reliability was due to the use of well validated instruments and the carefully planned programme based on established educational principles. There is limited published literature on how to successfully operationalise educational principles and tailor them for specific research studies; this report addresses this knowledge gap.

Multidisciplinary design and flight testing of a remote gas/particle airborne sensor system

The main objective of this paper is to describe the development of a remote sensing airborne air sampling system for Unmanned Aerial Systems (UAS) and provide the capability for the detection of particle and gas concentrations in real time over remote locations. The design of the air sampling methodology started by defining system architecture, and then by selecting and integrating each subsystem. A multifunctional air sampling instrument, with capability for simultaneous measurement of particle and gas concentrations was modified and integrated with ARCAA’s Flamingo UAS platform and communications protocols. As result of the integration process, a system capable of both real time geo-location monitoring and indexed-link sampling was obtained. Wind tunnel tests were conducted in order to evaluate the performance of the air sampling instrument in controlled nonstationary conditions at the typical operational velocities of the UAS platform. Once the remote fully operative air sampling system was obtained, the problem of mission design was analyzed through the simulation of different scenarios. Furthermore, flight tests of the complete air sampling system were then conducted to check the dynamic characteristics of the UAS with the air sampling system and to prove its capability to perform an air sampling mission following a specific flight path.

Validation of an instrument to measure governance and performance on collaborative infrastructure projects

Collaborative infrastructure projects use hybrid formal and informal governance structures to manage transactions. Based on previous desk-top research, the authors identified the key mechanisms underlying project governance, and posited the performance implications of the governance (Chen et al. 2012). The current paper extends that qualitative research by testing the veracity of those findings using data from 320 Australian construction organisations. The results provide, for the first time, reliable and valid scales to measure governance and performance of collaborative projects, and the relationship between them. The results confirm seven of seven hypothesised governance mechanisms; 30 of 43 hypothesised underlying actions; eight of eight hypothesised key performance indicators; and the dual importance of formal and informal governance. A startling finding of the study was that the implementation intensity of informal mechanisms (non-contractual conditions) is a greater predictor of project performance variance than that of formal mechanisms (contractual conditions). Further, contractual conditions do not directly impact project performance; instead their impact is mediated by the non-contractual features of a project. Obligations established under the contract are not sufficient to optimise project performance.

The development of an instrument for assessing cognitive ability and screening for the cognitive decline associated with dementia in people with moderate to profound intellectual disability

Individuals with intellectual disability have a greater risk of developing dementia.The diagnosis of dementia relies on accurate testing of cognitive function however existing tests have limited utility in people whose intellectual disability is moderate or greater. A new test was developed and underwent preliminary testing to determine use across a wider ability spectrum. The Cognitive Baseline & Screener for People with Intellectual Disability (CBS-ID) was administered to a sample of 17 dyads (n=34) (people with intellectual disability (who completed CBS-ID) and caregivers (who provided an independent rating of function)).The CBS-ID performed well on several usability metrics across all intellectual disability level and was highly correlated with existing measures of cognitive function to which it was compared.Further research with a larger sample is needed to assess the test's ability to detect change in cognition over time & determine if it aids the process of diagnosing dementia.

Testing of the Factor Structure of the Nursing Work Index-Revised

Background: Recent research has questioned the reliability and validity of the Nursing Work Index-Revised (NWI-R) instrument, raising the possibility that managers reconfiguring hospitals in line with the factors derived from the NWI-R may be misdirecting resources.

A mechanical design approach to testing fluid turbulence over a rough surface

Senior thesis written for Oceanography 444

Impact of Syncope on Quality of Life: Validation of a Measure in Patients Undergoing Tilt Testing

INTRODUCTION AND OBJECTIVES: Recurrent syncope has a significant impact on quality of life. The development of measurement scales to assess this impact that are easy to use in clinical settings is crucial. The objective of the present study is a preliminary validation of the Impact of Syncope on Quality of Life questionnaire for the Portuguese population. METHODS: The instrument underwent a process of translation, validation, analysis of cultural appropriateness and cognitive debriefing. A population of 39 patients with a history of recurrent syncope (>1 year) who underwent tilt testing, aged 52.1 ± 16.4 years (21-83), 43.5% male, most in active employment (n=18) or retired (n=13), constituted a convenience sample. The resulting Portuguese version is similar to the original, with 12 items in a single aggregate score, and underwent statistical validation, with assessment of reliability, validity and stability over time. RESULTS: With regard to reliability, the internal consistency of the scale is 0.9. Assessment of convergent and discriminant validity showed statistically significant results (p<0.01). Regarding stability over time, a test-retest of this instrument at six months after tilt testing with 22 patients of the sample who had not undergone any clinical intervention found no statistically significant changes in quality of life. CONCLUSIONS: The results indicate that this instrument is of value for assessing quality of life in patients with recurrent syncope in Portugal.

Exogeneity, weak identification and instrument selection in econometrics

La dernière décennie a connu un intérêt croissant pour les problèmes posés par les variables instrumentales faibles dans la littérature économétrique, c’est-à-dire les situations où les variables instrumentales sont faiblement corrélées avec la variable à instrumenter. En effet, il est bien connu que lorsque les instruments sont faibles, les distributions des statistiques de Student, de Wald, du ratio de vraisemblance et du multiplicateur de Lagrange ne sont plus standard et dépendent souvent de paramètres de nuisance. Plusieurs études empiriques portant notamment sur les modèles de rendements à l’éducation [Angrist et Krueger (1991, 1995), Angrist et al. (1999), Bound et al. (1995), Dufour et Taamouti (2007)] et d’évaluation des actifs financiers (C-CAPM) [Hansen et Singleton (1982,1983), Stock et Wright (2000)], où les variables instrumentales sont faiblement corrélées avec la variable à instrumenter, ont montré que l’utilisation de ces statistiques conduit souvent à des résultats peu fiables. Un remède à ce problème est l’utilisation de tests robustes à l’identification [Anderson et Rubin (1949), Moreira (2002), Kleibergen (2003), Dufour et Taamouti (2007)]. Cependant, il n’existe aucune littérature économétrique sur la qualité des procédures robustes à l’identification lorsque les instruments disponibles sont endogènes ou à la fois endogènes et faibles. Cela soulève la question de savoir ce qui arrive aux procédures d’inférence robustes à l’identification lorsque certaines variables instrumentales supposées exogènes ne le sont pas effectivement. Plus précisément, qu’arrive-t-il si une variable instrumentale invalide est ajoutée à un ensemble d’instruments valides? Ces procédures se comportent-elles différemment? Et si l’endogénéité des variables instrumentales pose des difficultés majeures à l’inférence statistique, peut-on proposer des procédures de tests qui sélectionnent les instruments lorsqu’ils sont à la fois forts et valides? Est-il possible de proposer les proédures de sélection d’instruments qui demeurent valides même en présence d’identification faible? Cette thèse se focalise sur les modèles structurels (modèles à équations simultanées) et apporte des réponses à ces questions à travers quatre essais. Le premier essai est publié dans Journal of Statistical Planning and Inference 138 (2008) 2649 – 2661. Dans cet essai, nous analysons les effets de l’endogénéité des instruments sur deux statistiques de test robustes à l’identification: la statistique d’Anderson et Rubin (AR, 1949) et la statistique de Kleibergen (K, 2003), avec ou sans instruments faibles. D’abord, lorsque le paramètre qui contrôle l’endogénéité des instruments est fixe (ne dépend pas de la taille de l’échantillon), nous montrons que toutes ces procédures sont en général convergentes contre la présence d’instruments invalides (c’est-à-dire détectent la présence d’instruments invalides) indépendamment de leur qualité (forts ou faibles). Nous décrivons aussi des cas où cette convergence peut ne pas tenir, mais la distribution asymptotique est modifiée d’une manière qui pourrait conduire à des distorsions de niveau même pour de grands échantillons. Ceci inclut, en particulier, les cas où l’estimateur des double moindres carrés demeure convergent, mais les tests sont asymptotiquement invalides. Ensuite, lorsque les instruments sont localement exogènes (c’est-à-dire le paramètre d’endogénéité converge vers zéro lorsque la taille de l’échantillon augmente), nous montrons que ces tests convergent vers des distributions chi-carré non centrées, que les instruments soient forts ou faibles. Nous caractérisons aussi les situations où le paramètre de non centralité est nul et la distribution asymptotique des statistiques demeure la même que dans le cas des instruments valides (malgré la présence des instruments invalides). Le deuxième essai étudie l’impact des instruments faibles sur les tests de spécification du type Durbin-Wu-Hausman (DWH) ainsi que le test de Revankar et Hartley (1973). Nous proposons une analyse en petit et grand échantillon de la distribution de ces tests sous l’hypothèse nulle (niveau) et l’alternative (puissance), incluant les cas où l’identification est déficiente ou faible (instruments faibles). Notre analyse en petit échantillon founit plusieurs perspectives ainsi que des extensions des précédentes procédures. En effet, la caractérisation de la distribution de ces statistiques en petit échantillon permet la construction des tests de Monte Carlo exacts pour l’exogénéité même avec les erreurs non Gaussiens. Nous montrons que ces tests sont typiquement robustes aux intruments faibles (le niveau est contrôlé). De plus, nous fournissons une caractérisation de la puissance des tests, qui exhibe clairement les facteurs qui déterminent la puissance. Nous montrons que les tests n’ont pas de puissance lorsque tous les instruments sont faibles [similaire à Guggenberger(2008)]. Cependant, la puissance existe tant qu’au moins un seul instruments est fort. La conclusion de Guggenberger (2008) concerne le cas où tous les instruments sont faibles (un cas d’intérêt mineur en pratique). Notre théorie asymptotique sous les hypothèses affaiblies confirme la théorie en échantillon fini. Par ailleurs, nous présentons une analyse de Monte Carlo indiquant que: (1) l’estimateur des moindres carrés ordinaires est plus efficace que celui des doubles moindres carrés lorsque les instruments sont faibles et l’endogenéité modérée [conclusion similaire à celle de Kiviet and Niemczyk (2007)]; (2) les estimateurs pré-test basés sur les tests d’exogenété ont une excellente performance par rapport aux doubles moindres carrés. Ceci suggère que la méthode des variables instrumentales ne devrait être appliquée que si l’on a la certitude d’avoir des instruments forts. Donc, les conclusions de Guggenberger (2008) sont mitigées et pourraient être trompeuses. Nous illustrons nos résultats théoriques à travers des expériences de simulation et deux applications empiriques: la relation entre le taux d’ouverture et la croissance économique et le problème bien connu du rendement à l’éducation. Le troisième essai étend le test d’exogénéité du type Wald proposé par Dufour (1987) aux cas où les erreurs de la régression ont une distribution non-normale. Nous proposons une nouvelle version du précédent test qui est valide même en présence d’erreurs non-Gaussiens. Contrairement aux procédures de test d’exogénéité usuelles (tests de Durbin-Wu-Hausman et de Rvankar- Hartley), le test de Wald permet de résoudre un problème courant dans les travaux empiriques qui consiste à tester l’exogénéité partielle d’un sous ensemble de variables. Nous proposons deux nouveaux estimateurs pré-test basés sur le test de Wald qui performent mieux (en terme d’erreur quadratique moyenne) que l’estimateur IV usuel lorsque les variables instrumentales sont faibles et l’endogénéité modérée. Nous montrons également que ce test peut servir de procédure de sélection de variables instrumentales. Nous illustrons les résultats théoriques par deux applications empiriques: le modèle bien connu d’équation du salaire [Angist et Krueger (1991, 1999)] et les rendements d’échelle [Nerlove (1963)]. Nos résultats suggèrent que l’éducation de la mère expliquerait le décrochage de son fils, que l’output est une variable endogène dans l’estimation du coût de la firme et que le prix du fuel en est un instrument valide pour l’output. Le quatrième essai résout deux problèmes très importants dans la littérature économétrique. D’abord, bien que le test de Wald initial ou étendu permette de construire les régions de confiance et de tester les restrictions linéaires sur les covariances, il suppose que les paramètres du modèle sont identifiés. Lorsque l’identification est faible (instruments faiblement corrélés avec la variable à instrumenter), ce test n’est en général plus valide. Cet essai développe une procédure d’inférence robuste à l’identification (instruments faibles) qui permet de construire des régions de confiance pour la matrices de covariances entre les erreurs de la régression et les variables explicatives (possiblement endogènes). Nous fournissons les expressions analytiques des régions de confiance et caractérisons les conditions nécessaires et suffisantes sous lesquelles ils sont bornés. La procédure proposée demeure valide même pour de petits échantillons et elle est aussi asymptotiquement robuste à l’hétéroscédasticité et l’autocorrélation des erreurs. Ensuite, les résultats sont utilisés pour développer les tests d’exogénéité partielle robustes à l’identification. Les simulations Monte Carlo indiquent que ces tests contrôlent le niveau et ont de la puissance même si les instruments sont faibles. Ceci nous permet de proposer une procédure valide de sélection de variables instrumentales même s’il y a un problème d’identification. La procédure de sélection des instruments est basée sur deux nouveaux estimateurs pré-test qui combinent l’estimateur IV usuel et les estimateurs IV partiels. Nos simulations montrent que: (1) tout comme l’estimateur des moindres carrés ordinaires, les estimateurs IV partiels sont plus efficaces que l’estimateur IV usuel lorsque les instruments sont faibles et l’endogénéité modérée; (2) les estimateurs pré-test ont globalement une excellente performance comparés à l’estimateur IV usuel. Nous illustrons nos résultats théoriques par deux applications empiriques: la relation entre le taux d’ouverture et la croissance économique et le modèle de rendements à l’éducation. Dans la première application, les études antérieures ont conclu que les instruments n’étaient pas trop faibles [Dufour et Taamouti (2007)] alors qu’ils le sont fortement dans la seconde [Bound (1995), Doko et Dufour (2009)]. Conformément à nos résultats théoriques, nous trouvons les régions de confiance non bornées pour la covariance dans le cas où les instruments sont assez faibles.

Attitudes stigmatisantes envers les personnes vivant avec le VIH : développement et validation d’un instrument de mesure intégrant un dispositif participatif

Contexte : De manière générale, on considère que le processus de validation d’un instrument de mesure porte sur la validité et la fiabilité. Or, la nature dynamique et évolutive de certaines problématiques, comme la stigmatisation des personnes vivant avec le VIH (PVVIH), laisse croire qu’il est particulièrement important de réinvestir rapidement dans la pratique, les résultats produits par les mesures ainsi validées. Objectifs : La présente thèse vise à développer et valider une échelle de mesure des attitudes stigmatisantes envers les PVVIH en intégrant un dispositif participatif. La thèse utilise en partie les données d’une enquête de surveillance des attitudes envers les PVVIH au Québec, elle comporte trois études qui répondent aux trois objectifs spécifiques suivants : (1) valider la version révisée d’un instrument de mesure des attitudes favorables à la stigmatisation dans la population générale du Québec envers les PVVIH; (2) analyser la relation entre la mesure des attitudes favorables à la stigmatisation et le recours au dépistage du VIH dans la population générale du Québec; (3) décrire et analyser les processus de circulation et d’utilisation des connaissances produites par l’instrument de mesure dans les réseaux professionnels des membres d’un comité consultatif. Méthodes : Un comité consultatif réunissant plusieurs partenaires issus de différents milieux a été constitué dès l’obtention de la subvention. Il a été consulté et informé avant, pendant et après l’enquête téléphonique populationnelle (n=1500) ayant permis de colliger les données. L’Échelle des Attitudes Stigmatisantes envers les Personnes Vivant avec le VIH (EASE-PVVIH) a été validée au moyen de plusieurs analyses psychométriques : analyses factorielles exploratoires et confirmatives, corrélations, régression linéaire multiple, test-t, tests d’hypothèses d’invariance de la structure factorielle et alphas de Cronbach (objectif 1). L’association entre les attitudes favorables à la stigmatisation et le recours au dépistage du VIH a été testée à l’aide de régressions logistiques hiérarchiques (objectif 2). Quant aux processus de circulation et d’utilisation des connaissances dans les réseaux professionnels, ils ont été analysés au moyen d’une étude de cas rétrospective (objectif 3). Résultats : Les analyses ont révélé trois résultats importants. Premièrement, d’un point de vue psychométrique, l’EASE-PVVIH est un outil fiable et valide pour mesurer les attitudes stigmatisantes envers les personnes vivant avec le VIH. Deuxièmement, sous une certaine forme caractérisée par l’inquiétude éprouvée lors de rencontres occasionnelles, les attitudes stigmatisantes par rapport aux personnes vivant avec le VIH semblent nuire au recours au test de dépistage dans la population générale au Québec. Troisièmement, un dispositif participatif en particulier, soit un comité consultatif, semble être un moyen pour favoriser le réinvestissement rapide et étendre la portée des résultats produits par la recherche dans des actions concrètes de santé publique. Conclusion : Ces résultats mettent en lumière la portée d’un dispositif participatif pour la validation d’instrument de mesure. L’arrimage entre les préoccupations scientifiques et pratiques apparaît être une avenue prometteuse pour améliorer la qualité et la pertinence sociale des données produites par les mesures.

Utilizing hearing assistive technology (HAT) to assess speech recognition: Comparison of word recognition scores obtained by hearing instrument users

The ability for individuals with hearing loss to accurately recognize correct versus incorrect verbal responses during traditional word recognition testing across four different listening conditions was assessed.

Cooled infrared filters and dichroics for the James Webb Space Telescope Mid-Infrared Instrument

The cooled infrared filters and dichroic beam splitters manufactured for the Mid-Infrared Instrument are key optical components for the selection and isolation of wavelengths in the study of astrophysical properties of stars, galaxies, and other planetary objects. We describe the spectral design and manufacture of the precision cooled filter coatings for the spectrometer (7 K) and imager (9 K). Details of the design methods used to achieve the spectral requirements, selection of thin film materials, deposition technique, and testing are presented together with the optical layout of the instrument. (C) 2008 Optical Society of America.

The manufacture and spectral assessment of the filters and antireflection coatings for use in the HIRDLS instrument

This paper describes the design and manufacture of the filters and antireflection coatings used in the HIRDLS instrument. The multilayer design of the filters and coatings, choice of layer materials, and the deposition techniques adopted to ensure adequate layer thickness control is discussed. The spectral assessment of the filters and coatings is carried out using a FTIR spectrometer; some measurement results are presented together with discussion of measurement accuracy and the identification and avoidance of measurement artifacts. The post-deposition processing of the filters by sawing to size, writing of an identification code onto the coatings and the environmental testing of the finished filters are also described.

Swedish translation and psychometric testing of the safety attitudes questionnaire (operating room version)

Background: Tens of millions of patients worldwide suffer from avoidable disabling injuries and death every year. Measuring the safety climate in health care is an important step in improving patient safety. The most commonly used instrument to measure safety climate is the Safety Attitudes Questionnaire (SAQ). The aim of the present study was to establish the validity and reliability of the translated version of the SAQ. Methods: The SAQ was translated and adapted to the Swedish context. The survey was then carried out with 374 respondents in the operating room (OR) setting. Data was received from three hospitals, a total of 237 responses. Cronbach's alpha and confirmatory factor analysis (CFA) was used to evaluate the reliability and validity of the instrument. Results: The Cronbach's alpha values for each of the factors of the SAQ ranged between 0.59 and 0.83. The CFA and its goodness-of-fit indices (SRMR 0.055, RMSEA 0.043, CFI 0.98) showed good model fit. Intercorrelations between the factors safety climate, teamwork climate, job satisfaction, perceptions of management, and working conditions showed moderate to high correlation with each other. The factor stress recognition had no significant correlation with teamwork climate, perception of management, or job satisfaction. Conclusions: Therefore, the Swedish translation and psychometric testing of the SAQ (OR version) has good construct validity. However, the reliability analysis suggested that some of the items need further refinement to establish sound internal consistency. As suggested by previous research, the SAQ is potentially a useful tool for evaluating safety climate. However, further psychometric testing is required with larger samples to establish the psychometric properties of the instrument for use in Sweden.

Translating and testing the Alberta Context Tool for use among nurses in Swedish elder care

Background. There is emerging evidence that context is important for successful transfer of research knowledge into health care practice. The Alberta Context Tool (ACT) is a Canadian developed research-based instrument that assesses 10 modifiable concepts of organizational context considered important for health care professionals’ use of evidence. Swedish and Canadian health care have similarities in terms of organisational and professional aspects, suggesting that the ACT could be used for measuring context in Sweden. This paper reports on the translation of the ACT to Swedish and a testing of preliminary aspects of its validity, acceptability and reliability in Swedish elder care. Methods. The ACT was translated into Swedish and back-translated into English before being pilot tested in ten elder care facilities for response processes validity, acceptability and reliability (Cronbach’s alpha). Subsequently, further modification was performed. Results. In the pilot test, the nurses found the questions easy to respond to (52%) and relevant (65%), yet the questions’ clarity were mainly considered ‘neither clear nor unclear’ (52%). Missing data varied between 0 (0%) and 19 (12%) per item, the most common being 1 missing case per item (15 items). Internal consistency (Cronbach’s Alpha > .70) was reached for 5 out of 8 contextual concepts. Translation and back translation identified 21 linguistic- and semantic related issues and 3 context related deviations, resolved by developers and translators. Conclusion. Modifying an instrument is a detailed process, requiring time and consideration of the linguistic and semantic aspects of the instrument, and understanding of the context where the instrument was developed and where it is to be applied. A team, including the instrument’s developers, translators, and researchers is necessary to ensure a valid translation. This study suggests preliminary validity, reliability and acceptability evidence for the ACT when used with nurses in Swedish elder care.

Inferior Alveolar Nerve Function After Sagittal Split Osteotomy by Reciprocating Saw or Piezosurgery Instrument: Prospective Double-Blinded Study

Purpose: The aim of this prospective study was to objectively evaluate inferior alveolar nerve (IAN) sensory disturbances in patients who underwent sagittal split ramus osteotomy (SSRO) by comparing 1 side treated with a reciprocating saw with the other side treated with a piezosurgery device.Materials and Methods: Clinical evaluation of IAN sensory disturbance was undertaken preoperatively and at 1 week, 4 weeks, 2 months, and 6 months postoperatively in 20 patients who underwent SSROat the Division of Oral and Maxillofacial Surgery, Araraquara Dental School, Sao Paulo State University. The 20 patients were examined at all periods for IAN functionality by Semmes-Weinstein testing; neither the patients nor the examiner knew which side was treated using piezosurgery or a reciprocating saw.Results: The mean age of the patients was 28.4 years (range, 20 to 48 yr). Before surgery, no patient had impaired function of the IAN in any of the 8 zones in the mental and inferior lip areas. All patients reported feeling the first monofilament at the time of the preoperative test. Seven days postoperatively, all patients reported some kind of altered sensitivity in at least 1 zone evaluated.Conclusions: The results of this study suggest there was no statistically significant difference in the sensitivity of the labiomental area regarding the instrument used to perform the osteotomy. Future studies will focus on enlarging the sample and evaluating the results. (C) 2014 American Association of Oral and Maxillofacial Surgeons