Medico-administrative data are promising to automate the calculation of Healthcare Quality and Safety Indicators. Nevertheless, not all relevant indicators can be calculated with this data alone. Our feasibility study objective is to analyze 1) the availability of data sources; 2) the availability of each indicator elementary variables, and 3) to apply natural language processing to automatically retrieve such information.

We performed a multicenter cross-sectional observational feasibility study on the clinical data warehouse of Assistance Publique – Hôpitaux de Paris (AP-HP). We studied the management of breast cancer patients treated at AP-HP between January 2019 and June 2021, and the quality indicators published by the European Society of Breast Cancer Specialist, using claims data from the Programme de Médicalisation du Système d'Information (PMSI) and pathology reports. For each indicator, we calculated the number (%) of patients for whom all necessary data sources were available, and the number (%) of patients for whom all elementary variables were available in the sources, and for whom the related HQSI was computable. To extract useful data from the free text reports, we developed and validated dedicated rule-based algorithms, whose performance metrics were assessed with recall, precision, and f1-score.

Out of 5785 female patients diagnosed with a breast cancer (60.9 years, IQR [50.0–71.9]), 5,147 (89.0%) had procedures related to breast cancer recorded in the PMSI, and 3732 (72.5%) had at least one surgery. Out of the 34 key indicators, 9 could be calculated with the PMSI alone, and 6 others became so using the data from pathology reports. Ten elementary variables were needed to calculate the 6 indicators combining the PMSI and pathology reports. The necessary sources were available for 58.8% to 94.6% of patients, depending on the indicators.

The extraction algorithms developed had an average accuracy of 76.5% (min-max [32.7%–93.3%]), an average precision of 77.7% [10.0%–97.4%] and an average sensitivity of 71.6% [2.8% to 100.0%]. Once these algorithms applied, the variables needed to calculate the indicators were extracted for 2% to 88% of patients, depending on the indicators.

The availability of medical reports in the electronic health records, of the elementary variables within the reports, and the performance of the extraction algorithms limit the population for which the indicators can be calculated.

The automated calculation of quality indicators from electronic health records is a prospect that comes up against many practical obstacles.

Les données médico-administratives ne suffisent pas à automatiser le calcul des indicateurs de qualité et de sécurité des soins (IQSS). L'objectif de notre étude de faisabilité est d'analyser. 1) la disponibilité des sources de données ; 2) la disponibilité de chaque variable élémentaire par indicateur, et 3) d'appliquer des algorithmes de traitement du langage naturel pour extraire automatiquement ces informations.

Nous avons réalisé une étude de faisabilité observationnelle transversale multicentrique sur l'entrepôt de données cliniques de l'Assistance Publique – Hôpitaux de Paris (AP-HP). Nous avons étudié la prise en charge des patients atteints de cancer du sein traités à l'AP-HP entre janvier 2016 et juin 2021, et les indicateurs publiés par l'European Society of Breast Cancer Specialist, à partir des données administratives du Programme de Médicalisation du Système d'Information (PMSI) et des comptes-rendus d'anatomopathologie. Pour chaque indicateur, nous avons calculé le nombre (%) de patients pour lesquels toutes les sources de données nécessaires étaient disponibles, et le nombre (%) de patients pour lesquels toutes les variables élémentaires étaient disponibles dans les sources, et pour lesquels l'IQSS associé était calculable. Pour extraire des données utiles des comptes rendus textuels, nous avons développé et validé des algorithmes dédiés basés sur des règles, dont les mesures de performance ont été évaluées par rappel, précision et score f1.

Des 5785 patientes diagnostiquées d'un cancer du sein (60,9 ans, IQR [50,0–71,9]), 5147 (89,0 %) avaient des actes liés au cancer enregistrés dans le PMSI, et 3 732 (72,5 %) avaient au moins une chirurgie. Des 34 indicateurs cibles, 9 étaient calculables avec le PMSI seul, et 6 autres le devenaient en utilisant les données présentes dans les comptes-rendus d'anatomopathologie. Dix variables élémentaires étaient nécessaires au calcul des 6 indicateurs combinant Programme de Médicalisation du Système d'Information et comptes-rendus d'anatomopathologie. Les comptes-rendus nécessaires étaient disponibles pour 58,8 % à 94,6 % des patients, suivant les indicateurs.

Les algorithmes d'extraction textuelle avaient une exactitude moyenne de 76,5 % (min-max [32,7 %–93,3 %]), une précision moyenne de 77,7 % [10,0 %–97,4 %] et une sensibilité moyenne de 71,6 % [2,8 % à 100,0 %]. Une fois ces algorithmes appliqués, les variables nécessaires au calcul des indicateurs étaient possibles à extraire pour 2 % à 88 % des patients, suivant les indicateurs.

La disponibilité des comptes-rendus dans l'entrepôt de données, celle des variables élémentaires au sein des comptes rendus, et la performance des algorithmes d'extraction limite la population pour laquelle les indicateurs sont calculables.

Le calcul automatisé d'indicateurs qualité à partir des dossiers patients informatisés est une perspective qui se heurte à de nombreux freins pratiques.