Automated detection of facial expressions of pain and stress in horses using computer vision

Recognition of pain and stress in animals is important to protect the well-being of animals. Existing work show that pain and stress in horses may be recognised from the co-occurrence of certain facial activities, coded as Action Units (AU) in a facial action coding system, EquiFACS. However, until now we have manually labelled and interpreted AUs. The automated recognition of pain or stress expressions in horses from video has not been successful. Based on existing datasets, we will apply computer vision methods to detect AUs which discriminate best between stress and pain. ML methods will then be applied to develop a classifier able to detect and distinguish pain and stress. We will develop a head pose detector for videos of horses moving freely in a box stable, such that we are able identify the video segments with a near-frontal view of the head. This will allow us to validate the automated pain and stress classification algorithm on videos of horses under free-living conditions.

Smerte og stress hos dyr kompromitterer fundamentalt dyrevelfærd. Dyr kan ikke kommunikere deres oplevelser verbalt og derfor bliver disse problemer ofte overset eller blandet sammen. Gennem tidligere forskning er det fundet at heste kan kommunikere både stress og smerte, men da hesten er et byttedyr, prøver de så vidt muligt at gemme disse tegn. Ansigtsudtryk, som er mere subtile end kropsudtryk, gemmes ikke lige så let, men det kræver eksperter, som skal nærstudere en video i slowmotion for at finde de kortvarige ansigtstræk som udtrykker smerte og/eller stress. Målet for dette projekt er at udvikle en metode til automatisk at finde og klassificere de kombinationer af muskelbevægelser i ansigtet som viser smerte og/eller stress. Vi har allerede store datasæt hvor hver enkelt bevægelse er beskrevet. Ud fra disse datasæt vil vi med Computer Vision og maskinlæring/AI udvikle algoritmer, som kan finde de tydeligste forskelle mellem smerte og stress, hvilke er frekvensen og type af blink med øjet samt visse ørebevægelse. Ud fra disse tegn skal det automatisk klassificeres når hesten udviser tegn på smerte og/eller stress. Vi vil starte med videodata fra kontrollerede eksperimentelle forsøg og senere udvide algoritmen til at kunne håndtere video af heste som bevæger sig frit i en boks. Det forventes at dette projekt kan danne grundlag for en automatiseret metode til at opdage tegn på smerte og stress for ikke kun heste, men også andre landbrugsdyr, som f.eks. køer, får og grise.