La fusion de données dans l’apprentissage automatique devrait renforcer le pouvoir prédictif pour la prise de décision, conduisant à des résultats plus fiables dans des conditions de validité médiocres. En outre, le nombre d’images disponibles pour la gonarthrose (GA) par jeu de données à une période donnée est limité par rapport à d’autres jeux de données utilisés pour des scènes naturelles comme ImageNet. L’apprentissage par transfert (AT) est utilisé lorsque les caractéristiques apprises dans un domaine peuvent être efficacement appliquées à un autre domaine avec un ensemble d’images limité. Ce travail vise à améliorer la prédiction de la progression de la GA grâce aux contributions suivantes : évaluation de l’efficacité de la combinaison des informations IRM, radiographiques (Rx) et radio-cliniques à l’aide de méthodes de fusion intermédiaire, et évaluation d’un processus d’AT en deux étapes utilisant les ensembles de données OAI, MOST et ImageNet.

Nous présentons nos résultats en utilisant les patients des cohortes OAI (973) et MOST (561) ayant des données IRM, radiographiques et cliniques disponibles. Les images IRM structurelles de la séquence DESS pour l’OAI et les images IRM de la séquence coronale STIR pour MOST ont été sélectionnées. La progression Rx était définie par une variation du rétrécissement de l’interligne articulaire médial sur quatre ans (OAI) et cinq ans (MOST). Nous avons développé des modèles d’apprentissage profond pour la progression de la GA en utilisant des approches unimodales, bimodales et multimodales. Les modèles unimodaux utilisaient soit des images IRM, soit des images Rx. Les modèles multimodaux fusionnaient les données IRM, radiographiques et cliniques. Les encodeurs ResNet-34 et DenseNet-201 ont été évalués en 3D ou en 2D en fonction du type d’image. Les caractéristiques extraites des techniques d’imagerie médicale correspondantes à partir des encodeurs sélectionnés ont été concaténées et l’information radio-clinique traitée via un perceptron multicouche a été intégrée pour prédire la progression radiographique (Fig. 1). L’AT en deux étapes a impliqué un préentraînement des modèles sur ImageNet pour les encodeurs de radiographies, un ajustement fin sur les ensembles de données OAI ou MOST, et un transfert des pondérations pour un second ajustement fin sur l’ensemble de données du test final. Les modèles ont été entraînés en utilisant une validation croisée à 5 volets pour 100 époques.

Les modèles utilisant l’AT pour la modalité Rx surpassaient ceux entraînés à partir de zéro. En uni-modalité, l’AUC avec la modalité Rx surpassait la modalité IRM (Tableau 1, Tableau 2). Le double transfert d’apprentissage utilisant l’apprentissage sur MOST produisait les meilleures performances pour les données OAI pour la bimodalité Rx et IRM. Dans la base MOST, le double transfert d’apprentissage n’apportait pas d’amélioration significative. Les performances des modèles sont significativement plus élevées dans MOST vs OAI : AUC>0,9 vs AUC>0,7.

À cette étape, nous n’avons pas encore utilisé les données d’IRM compositionnelle ni testé les performances sur divers phénotypes de GA.

Cette étude apporte des nouvelles perspectives sur l’imagerie multimodale de la GA et souligne que la modalité Rx avec AT est sensiblement aussi performante que la fusion des données Rx, IRM structurelles et cliniques.