Skip to main content
Cognition-Emotions

Does Thirty-Minute Standardised Training Improve the Inter-Observer Reliability of the Horse Grimace Scale (HGS)? A Case Study

By April 30, 2020May 25th, 2020No Comments

Document type: online pre-publication of scientific article for Animals

Authors: Francesca Dai, Mattew Leach, Amelia Mari MacRae, Michela Minero, Emanuela Dalla Costa

Résumé en français (traduction) : L’échelle Horse Grimace Scale (HGS) est un système de codage de la douleur basé sur l’expression faciale qui permet d’identifier efficacement une série d’affections douloureuses aiguës chez les chevaux. L’utilisation de méthodes d’évaluation valables pour identifier la douleur chez les chevaux est d’une importance évidente ; cependant, la fiabilité de l’évaluation dépend fortement de la capacité des évaluateurs à l’utiliser. La formation des nouveaux évaluateurs joue un rôle essentiel dans le renforcement de la fiabilité. L’objectif de l’étude était d’évaluer si un programme de formation standardisé de 30 minutes sur le HGS est efficace pour améliorer l’accord entre les observateurs sans expérience des chevaux et un expert du HGS. Deux cent six étudiants de premier cycle sans expérience des chevaux ont été recrutés. Avant toute formation, les observateurs ont été invités à noter 10 photos de têtes de chevaux en utilisant les six unités d’action faciale (FAU) du HGS. Ensuite, un expert du HGS a organisé une session de formation en présentiel de 30 minutes, comprenant des descriptions détaillées et des exemples de photos de chaque unité d’action faciale. Après la formation, les observateurs ont noté 10 photos différentes. Le coefficient k de Cohen a été utilisé pour déterminer la fiabilité inter-observateurs entre chaque observateur et l’expert ; un test t à échantillons appariés a été effectué pour déterminer les différences de concordance avant et après la formation. Avant l’entraînement, le coefficient k de Cohen variait de 0,20 pour la tension au-dessus de la zone des yeux à 0,68 pour les oreilles raides en arrière. Après l’entraînement, la fiabilité pour les oreilles fortement en arrière et le resserrement orbital a augmenté de manière significative, atteignant les valeurs k de Cohen de 0,90 et 0,91 respectivement (test t de l’échantillon apparié ; p < 0,001). Les résultats suggèrent que cette séance d’entraînement en présentiel de 30 minutes n’était pas suffisante pour permettre aux observateurs sans expérience des chevaux d’appliquer efficacement le HGS. Cependant, ce programme de formation standardisé pourrait représenter un point de départ pour un programme de formation plus complet pour ceux qui n’ont pas d’expérience avec les chevaux afin d’augmenter leur fiabilité dans l’application du HGS.

Résumé en anglais (original) : The Horse Grimace Scale (HGS) is a facial-expression-based pain coding system that enables a range of acute painful conditions in horses to be effectively identified. Using valid assessment methods to identify pain in horses is of a clear importance; however, the reliability of the assessment is highly dependent on the assessors’ ability to use it. Training of new assessors plays a critical role in underpinning reliability. The aim of the study was to evaluate whether a 30-minute standardised training program on HGS is effective at improving the agreement between observers with no horse experience and when compared to an HGS expert. Two hundred and six undergraduate students with no horse experience were recruited. Prior to any training, observers were asked to score 10 pictures of horse faces using the six Facial Action Units (FAUs) of the HGS. Then, an HGS expert provided a 30-minute face-to-face training session, including detailed descriptions and example pictures of each FAU. After training, observers scored 10 different pictures. Cohen’s k coefficient was used to determine inter-observer reliability between each observer and the expert; a paired-sample t-test was conducted to determine differences in agreement pre- and post-training. Pre-training, Cohen’s k ranged from 0.20 for tension above the eye area to 0.68 for stiffly backwards ears. Post-training, the reliability for stiffly backwards ears and orbital tightening significantly increased, reaching Cohen’s k values of 0.90 and 0.91 respectively (paired-sample t-test; p < 0.001). The results suggest that this 30-minute face-to-face training session was not sufficient to allow observers without horse experience to effectively apply HGS. However, this standardised training program could represent a starting point for a more comprehensive training program for those without horse experience in order to increase their reliably in applying HGS.

Animals magazine logo
From Animals website