Impact of inter-judge agreement on perceptual judgment of nasality

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

To investigate the effect of perceptual inter-judge agreement of hypernasality on velopharyngeal (VP) closure prediction. Two logistic regression models were developed aiming to verify the possibility of predicting the VP closure using the following characteristics: rating of VP closure (adequate, borderline, inadequate), determined by the pressure-flow technique, degree of hypernasality (absent, mild, moderate, severe), and the presence/absence of nasal air emission and nasal rustle determined perceptually by three experienced speech language pathologists. In the first model, 100 speech samples with a moderate agreement rate of hypernasality (kappa coefficient: 0.41) were used. In the second model, 43 speech samples with a perfect agreement among judges were included. The χ²-test was used to compare the models (p≤0.05). In the first model, 65 of the 100 samples were rated in the correct VP closure category, with 42 adequate and 23 inadequate. The borderline VP closure was not predicted. The second model rated 31 of the 43 samples in the correct category, with 21 adequate VP closure, 5 in the borderline VP closure, and 5 inadequate. There was no difference (p=0.526) between the two models. However, the second model showed a higher proportion of accuracy (7%) than the first one, and it has also predicted the borderline VP closure. These results showed the importance of high index of inter-judge agreement when using subjective parameters of speech evaluation, especially when compared to an instrumental evaluation. This suggests the need for strategies for training and calibration of judges in the perceptual judgment to improve the reliability of auditory-perceptual assessment.

Objetivo: Investigar o efeito da concordância entre diferentes avaliadores no julgamento perceptivo da hipernasalidade na previsão do fechamento velofaríngeo (FVF). Métodos: Dois modelos de regressão logística foram desenvolvidos com o objetivo de se prever o FVF utilizando as seguintes características: FVF (adequado, marginal e inadequado), determinado pela técnica fluxo-pressão, grau da hipernasalidade (ausente, leve, moderado, grave) e a presença/ausência de emissão de ar nasal e ronco nasal, determinados perceptivamente por três fonoaudiólogas experientes. O primeiro modelo foi composto de 100 amostras de fala com índice de concordância moderado para a hipernasalidade (coeficiente kappa: 0,41) e o segundo, de 43 amostras com concordância total entre os avaliadores. O teste do χ2 foi utilizado para comparar os modelos (p≤0,05). Resultados: No primeiro modelo, 65 das 100 amostras foram classificadas na categoria correta de FVF, sendo 42 adequado e 23 inadequado. O FVF marginal não foi previsto. O segundo modelo classificou 31 das 43 amostras na categoria correta, sendo 21 FVF adequado, 5 marginal e 5 inadequado. Não houve diferença (p=0,526) entre os dois modelos. No entanto, o segundo mostrou proporção de acerto mais alta (7%) do que o primeiro modelo, além de ter conseguido prever o FVF marginal. Conclusão: Esses resultados mostram a importância da concordância total entre diferentes avaliadores quando se utilizam parâmetros subjetivos de avaliação da fala, especialmente quando comparados com a avaliação instrumental, e sugerem a necessidade de estratégias para o treinamento e calibração de avaliadores no julgamento perceptivo a fim de aumentar a confiabilidade da avaliação perceptivo-auditiva da fala.