A medida e as escalas de avaliação da saúde das populações neonatais e pediátricas : estudo de simulação de Monte Carlo com variáveis ordinais

A investigação na área da saúde e a utilização dos seus resultados tem funcionado como base para a melhoria da qualidade de cuidados, exigindo dos profissionais de saúde conhecimentos na área específica onde desempenham funções, conhecimentos em metodologia de investigação que incluam as técnicas de observação, técnicas de recolha e análise de dados, para mais facilmente serem leitores capacitados dos resultados da investigação. Os profissionais de saúde são observadores privilegiados das respostas humanas à saúde e à doença, podendo contribuir para o desenvolvimento e bem-estar dos indivíduos muitas vezes em situações de grande vulnerabilidade. Em saúde infantil e pediatria o enfoque está nos cuidados centrados na família privilegiando-se o desenvolvimento harmonioso da criança e jovem, valorizando os resultados mensuráveis em saúde que permitam determinar a eficácia das intervenções e a qualidade de saúde e de vida. No contexto pediátrico realçamos as práticas baseadas na evidência, a importância atribuída à pesquisa e à aplicação dos resultados da investigação nas práticas clínicas, assim como o desenvolvimento de instrumentos de mensuração padronizados, nomeadamente as escalas de avaliação, de ampla utilização clínica, que facilitam a apreciação e avaliação do desenvolvimento e da saúde das crianças e jovens e resultem em ganhos em saúde. A observação de forma sistematizada das populações neonatais e pediátricas com escalas de avaliação tem vindo a aumentar, o que tem permitido um maior equilíbrio na avaliação das crianças e também uma observação baseada na teoria e nos resultados da investigação. Alguns destes aspetos serviram de base ao desenvolvimento deste trabalho que pretende dar resposta a 3 objetivos fundamentais. Para dar resposta ao primeiro objetivo, “Identificar na literatura científica, os testes estatísticos mais frequentemente utilizados pelos investigadores da área da saúde infantil e pediatria quando usam escalas de avaliação” foi feita uma revisão sistemática da literatura, que tinha como objetivo analisar artigos científicos cujos instrumentos de recolha de dados fossem escalas de avaliação, na área da saúde da criança e jovem, desenvolvidas com variáveis ordinais, e identificar os testes estatísticos aplicados com estas variáveis. A análise exploratória dos artigos permitiu-nos verificar que os investigadores utilizam diferentes instrumentos com diferentes formatos de medida ordinal (com 3, 4, 5, 7, 10 pontos) e tanto aplicam testes paramétricos como não paramétricos, ou os dois em simultâneo, com este tipo de variáveis, seja qual for a dimensão da amostra. A descrição da metodologia nem sempre explicita se são cumpridas as assunções dos testes. Os artigos consultados nem sempre fazem referência à distribuição de frequência das variáveis (simetria/assimetria) nem à magnitude das correlações entre os itens. A leitura desta bibliografia serviu de suporte à elaboração de dois artigos, um de revisão sistemática da literatura e outro de reflexão teórica. Apesar de terem sido encontradas algumas respostas às dúvidas com que os investigadores e os profissionais, que trabalham com estes instrumentos, se deparam, verifica-se a necessidade de desenvolver estudos de simulação que confirmem algumas situações reais e alguma teoria já existente, e trabalhem outros aspetos nos quais se possam enquadrar os cenários reais de forma a facilitar a tomada de decisão dos investigadores e clínicos que utilizam escalas de avaliação. Para dar resposta ao segundo objetivo “Comparar a performance, em termos de potência e probabilidade de erro de tipo I, das 4 estatísticas da MANOVA paramétrica com 2 estatísticas da MANOVA não paramétrica quando se utilizam variáveis ordinais correlacionadas, geradas aleatoriamente”, desenvolvemos um estudo de simulação, através do Método de Monte Carlo, efetuado no Software R. O delineamento do estudo de simulação incluiu um vetor com 3 variáveis dependentes, uma variável independente (fator com três grupos), escalas de avaliação com um formato de medida com 3, 4, 5, e 7 pontos, diferentes probabilidades marginais (p1 para distribuição simétrica, p2 para distribuição assimétrica positiva, p3 para distribuição assimétrica negativa e p4 para distribuição uniforme) em cada um dos três grupos, correlações de baixa, média e elevada magnitude (r=0.10, r=0.40, r=0.70, respetivamente), e seis dimensões de amostras (n=30, 60, 90, 120, 240, 300). A análise dos resultados permitiu dizer que a maior raiz de Roy foi a estatística que apresentou estimativas de probabilidade de erro de tipo I e de potência de teste mais elevadas. A potência dos testes apresenta comportamentos diferentes, dependendo da distribuição de frequência da resposta aos itens, da magnitude das correlações entre itens, da dimensão da amostra e do formato de medida da escala. Tendo por base a distribuição de frequência, considerámos três situações distintas: a primeira (com probabilidades marginais p1,p1,p4 e p4,p4,p1) em que as estimativas da potência eram muito baixas, nos diferentes cenários; a segunda situação (com probabilidades marginais p2,p3,p4; p1,p2,p3 e p2,p2,p3) em que a magnitude das potências é elevada, nas amostras com dimensão superior ou igual a 60 observações e nas escalas com 3, 4,5 pontos e potências de magnitude menos elevada nas escalas com 7 pontos, mas com a mesma ma magnitude nas amostras com dimensão igual a 120 observações, seja qual for o cenário; a terceira situação (com probabilidades marginais p1,p1,p2; p1,p2,p4; p2,p2,p1; p4,p4,p2 e p2,p2,p4) em que quanto maiores, a intensidade das correlações entre itens e o número de pontos da escala, e menor a dimensão das amostras, menor a potência dos testes, sendo o lambda de Wilks aplicado às ordens mais potente do que todas as outra s estatísticas da MANOVA, com valores imediatamente a seguir à maior raiz de Roy. No entanto, a magnitude das potências dos testes paramétricos e não paramétricos assemelha-se nas amostras com dimensão superior a 90 observações (com correlações de baixa e média magnitude), entre as variáveis dependentes nas escalas com 3, 4 e 5 pontos; e superiores a 240 observações, para correlações de baixa intensidade, nas escalas com 7 pontos. No estudo de simulação e tendo por base a distribuição de frequência, concluímos que na primeira situação de simulação e para os diferentes cenários, as potências são de baixa magnitude devido ao facto de a MANOVA não detetar diferenças entre grupos pela sua similaridade. Na segunda situação de simulação e para os diferentes cenários, a magnitude das potências é elevada em todos os cenários cuja dimensão da amostra seja superior a 60 observações, pelo que é possível aplicar testes paramétricos. Na terceira situação de simulação, e para os diferentes cenários quanto menor a dimensão da amostra e mais elevada a intensidade das correlações e o número de pontos da escala, menor a potência dos testes, sendo a magnitude das potências mais elevadas no teste de Wilks aplicado às ordens, seguido do traço de Pillai aplicado às ordens. No entanto, a magnitude das potências dos testes paramétricos e não paramétricos assemelha-se nas amostras com maior dimensão e correlações de baixa e média magnitude. Para dar resposta ao terceiro objetivo “Enquadrar os resultados da aplicação da MANOVA paramétrica e da MANOVA não paramétrica a dados reais provenientes de escalas de avaliação com um formato de medida com 3, 4, 5 e 7 pontos, nos resultados do estudo de simulação estatística” utilizaram-se dados reais que emergiram da observação de recém-nascidos com a escala de avaliação das competências para a alimentação oral, Early Feeding Skills (EFS), o risco de lesões da pele, com a Neonatal Skin Risk Assessment Scale (NSRAS), e a avaliação da independência funcional em crianças e jovens com espinha bífida, com a Functional Independence Measure (FIM). Para fazer a análise destas escalas foram realizadas 4 aplicações práticas que se enquadrassem nos cenários do estudo de simulação. A idade, o peso, e o nível de lesão medular foram as variáveis independentes escolhidas para selecionar os grupos, sendo os recém-nascidos agrupados por “classes de idade gestacional” e por “classes de peso” as crianças e jovens com espinha bífida por “classes etárias” e “níveis de lesão medular”. Verificou-se um bom enquadramento dos resultados com dados reais no estudo de simulação.

Research in the healthcare area has worked as a basis for the improvement of caregiving quality, demanding from healthcare professionals more specific knowledge in the area in which they perform their functions, including knowledge in research methodology which involves observation, data collection and analysis, so that they can become competent readers of research outcomes. Healthcare professionals are privileged observers of human responses to health and sickness, and can therefore contribute for the development and well-being of individuals often in situations of great vulnerability. In infant and paediatric health, the focus is on family care, highlighting the harmonious development of the infant and young child, valuing the measurable results in health which allow for the determination of intervention efficiency and quality of health and life. In the paediatric context we enhance the evidence based practices, the importance of research and the application of results in clinical practice research, as well as the development of standard measurement instruments, including assessment scales, wide clinical use, which can facilitate the observation and evaluation of the development and health of infants and young children and result in health gains. The systematic observation of neonatal and paediatric populations with assessment scales has been rising, which has allowed for a higher balance in children assessment and also for observation based on theory and on research results. Some of these aspects were the basis for the development of this work that aims to respond to three fundamental objectives. In order to provide an answer to the first objective of this research, “Identifying in scientific literature the most frequent statistical tests used by researchers in the area of paediatrics and infant health whenever evaluation scales are used”, and a systematic review of the literature was first made. It aimed at analysing scientific articles whose data gathering instruments were assessment scales, in the area of paediatric and infant health, developed with ordinal variables, as well as identifying the statistical tests applied to those variables. The exploratory analysis of the articles allowed us to verify that researchers use different instruments with different formats of ordinal measure (3, 4, 5, 6, 7, 9, 10 points) and that they either use parametric or non-parametric tests or even both simultaneously with the ordinal data, regardless of the sample dimension. The description of the methodology is not always explicit as to whether the test assumptions are met or not. In many reviewed articles the points of scales, the skew, and the magnitude of correlations between items were not mentioned. The reading of this bibliography served as support to the elaboration of two articles, i) a systematic review of literature and ii) a reflection on theoretical concepts. Although some answers to questions that researchers and professionals face were found, there still is the need to develop more simulation studies in order to confirm some real situations and some of the already existing theory as well as to work on other aspects in which we can frame real scenarios so that the decision making process of researchers and practitioners who use these instruments can be facilitated. In order to provide an answer to the second objective “Comparing the performance, in terms of power and type I error, of the 4 parametric MANOVA tests (Pillai’s trace, Wilks’ lambda, Hotelling’s trace, and Roy’s largest root) and 2 non-parametric tests (Pillai’s Trace and Wilks’ Lambda applied to the rank transformed data), using correlated ordinal variables randomly generated”. A Monte Carlo resampling simulation (1000 replications) was carried out to estimate the power and type I error rate from the proportion of rejected null hypothesis at a 5% significance level of parametric and non-parametric one-way MANOVA, with ordinal data. In the data generation process, scales with three, four, five and seven points were considered and a vector with three dependent variables, one independent variable with three levels (groups), different marginal distributions in groups (symmetric, p1; positive skew, p2; negative skew, p3; and uniform, p4); different correlation structures (low, r=0.10; average, r=0.40 and high, r=0.70), and different sample sizes were accounted for (n=30, 60, 90, 120, 240, 300). The analysis of the simulation results allows us to conclude that Roy’s largest root was the statistic that presented the highest values of the probability of type I error, and was also one of the statistics with the biggest statistical power rate. The power presents different behaviours, depending on the distribution, the magnitude of correlation between independent variables (items), the sample size, and the points of the scale. Based on the frequency distribution, the data analysis of the power results allows us to identify three distinct situations. In the first, for the different scenarios (with marginal probabilities p1,p1,p4 e p4,p4,p1) the power is of low magnitude due to the fact that MANOVA does not detect differences between groups due to their similarity. In the second situation (with marginal probabilities p2,p3,p4; p1,p2,p3 e p2,p2,p3), the magnitude of the power rate of MANOVA depends on a combination of the correlation between dependent variables the sample size, and the number of scale points, and in different scenarios, the power has a higher magnitude if the sample size, is larger (dimension greater or equal to sixty observation, and scales with 3, 4, 5 points and with 120 observations for scales with 7 points). In the third situation (with marginal probabilities p1,p1,p2; p1,p2,p4; p2,p2,p1; p4,p4,p2 e p2,p2,p4), the magnitude of the power rate of MANOVA depends on a combination of the correlation between dependent variables, the sample size, and the number of scale points. As the correlations and number of scale points increased and the sample size decreased, the power rate of MANOVA decreased, and Wilks’ lambda applied to the rank transformed data had a higher power rate than the other statistics. If the samples size increased (with 90, 120 and 240 observations), and the magnitude decreased (with low, average and high magnitude correlations) between the dependent variables for scales with 3, 4, and 5 points, and for scales with 7 points (samples with 240 observations and average correlations), the magnitude of the power rate of MANOVA is similar in all statistics, parametric and non-parametric. The data analysis of the power results allows us to conclude that in the first situation, the power is of low magnitude due to the fact that MANOVA does not detect differences between groups. In the second situation, the power has higher magnitude if the sample size is larger; the magnitude of the power rate of MANOVA is similar in all statistics, parametric and non-parametric. In the third situation, as the magnitude of correlations and number of scale points increased and the sample size decrease, the power rate of MANOVA decreased, and the Wilks’s Lambda applied to the ranks’ transformed data have higher power rate than the other statistics. But the power magnitude is similar in all statistics, parametric and non-parametric if the sample size is larger and the magnitude correlation decreased to low and average magnitude). To address the third objective “Framing the results of the application of the parametric MANOVA and the non-parametric MANOVA to real data, from assessment scales with three, four, five, and seven points, in the results of the statistical simulation study”, real data was used which emerged from the observation of new-borns with the “Early Feeding Skills Assessment Scale”, the “Neonatal Skin Risk Assessment Scale” and the “Functional Independence Measure” in children and youth with spine bifida. In order to carry out the analysis of these scales, three practical applications that fitted the study simulation scenarios are presented. Weight and level of spinal cord injuries were the independent variables chosen for the selection of groups, whereas new-borns were grouped by “weight classes” and children and young people with spina bifida were grouped by “level of spinal cord injuries” and age group. There was a good framework of the results of practical applications in the simulation study.