Type de document : article scientifique publié dans le Journal of Field Robotics
Auteurs : Edoardo Fazzari, Donato Romano, Fabrizio Falchi, Cesare Stefanini
Résumé en français (traduction) : Reconnaissance du comportement en temps réel à l’aide d’un robot à pattes pour l’interaction animal-robot
L’interaction entre les animaux et les robots est un domaine interdisciplinaire émergent qui explore la dynamique entre les animaux et les systèmes robotiques, ainsi que les principes de conception pour une interaction efficace. Si les approches précédentes ont étudié les réponses des animaux aux stimuli robotiques, elles n’ont pas encore intégré l’intelligence artificielle (IA) pour l’analyse comportementale en temps réel pendant l’interaction. Cet article comble cette lacune en présentant un cadre basé sur l’IA qui permet à un chien robotisé de surveiller et d’analyser de manière autonome le comportement du bétail, en particulier des vaches et des poulets. Notre système traite les observations de la caméra en temps réel à l’aide de modèles d’apprentissage profond afin de détecter la présence d’animaux et de reconnaître leurs actions. Il intègre trois réseaux neuronaux : YOLO-Chicken et YOLO-Cows, pour une détection précise des poulets et des vaches, respectivement, et DARTEMIS, une nouvelle variante unimodale distillée d’un modèle de pointe de reconnaissance des actions animales. Les réseaux communiquent efficacement via Redis de manière légère, tout le traitement étant effectué à bord du robot. Nous avons entraîné YOLO-Cow et YOLO-Chicken sur un sous-ensemble de l’ensemble de données COCO pour les vaches et un ensemble de données public pour les poulets, obtenant des scores mAP@50-95 de 0,67 et 0,56, respectivement. DARTEMIS, entraîné sur l’ensemble de données Animal Kingdom comme ARTEMIS, a atteint un mAP de 77,3. À l’aide de ces modèles, nous avons testé notre système dans des conditions réelles lors d’essais sur le terrain, afin d’évaluer sa capacité à détecter avec précision les animaux et à classer leurs comportements. Cette étude présente la première intégration réussie de modèles d’apprentissage profond efficaces dans une plateforme robotique pour l’analyse en temps réel du comportement animal. Le cadre proposé ouvre la voie à une surveillance automatisée continue du bétail, avec des applications potentielles dans l’amélioration du bien-être animal et la gestion des exploitations agricoles. La mise en œuvre complète est accessible au public et conçue pour s’adapter à diverses plateformes robotiques et aux défis associés.
Résumé en anglais (original) : Animal–robot interaction is an emerging interdisciplinary field that explores the dynamics between animals and robotic systems, as well as the design principles for effective engagement. While previous approaches have investigated animal responses to robotic stimuli, they have yet to integrate artificial intelligence (AI) for real-time behavioral analysis during the interaction. This paper addresses this gap by introducing an AI-driven framework that enables a robotic dog to autonomously monitor and analyze livestock behavior, specifically in cows and chickens. Our system processes real-time camera observations using deep-learning models to detect animal presence and recognize actions. It integrates three neural networks: YOLO-Chicken and YOLO-Cows, for accurate detection of chickens and cows, respectively, and DARTEMIS, a novel, distilled unimodal variant of a state-of-the-art Animal Action Recognition model. The networks communicate efficiently via Redis in a lightweight manner, with all processing conducted onboard the robot. We trained YOLO-Cow and YOLO-Chicken on a subset of the COCO data set for cows and a public data set for chickens, achieving mAP@50-95 scores of 0.67 and 0.56, respectively. DARTEMIS, trained on the Animal Kingdom data set like ARTEMIS, reached an mAP of 77.3. With these models, we tested our system in real-world conditions through field trials, evaluating its ability to accurately detect animals and classify their behaviors. This study presents the first successful integration of efficient deep- learning models into a robotic platform for real-time animal behavior analysis. The proposed framework paves the way for continuous automated livestock monitoring, with potential applications in improving animal welfare and farm management. The full implementation is publicly available and designed to be adaptable to various robotic platforms and related challenges.
