Production of patient-facing information and evaluation by surgeons and non-medical participants.

The advent of artificial intelligence technologies, such as ChatGPT and Gemini, presents new opportunities to enhance physician-patient communication through tailored patient-facing medical information (PFI). Effective postoperative care is critical to successful patient outcomes in hand surgery, making it essential to deliver information in a clear, comprehensible, and accurate manner. This study aims to evaluate the ability of ChatGPT to generate accessible PFI to enhance patient understanding in hand surgery.

A cross-sectional study was conducted involving five French hand surgeons and 28 non-medical individuals. Participants blindly evaluated PFI containing text and images generated by ChatGPT and Gemini compared to those provided by established organizations (EOs). The evaluations focused on three common hand surgeries: carpal tunnel syndrome, Dupuytren's disease, and synovial cyst. Hand surgeons evaluated PFI based on accuracy, clarity, comprehensiveness, and overall preference. Non-medical participants evaluated PFI based on clarity and overall preference. Surveys were used to capture these evaluations, allowing for a systematic and effective comparison between both sources. Readability was analyzed using six readability formulas, and Likert scale responses were statistically analyzed using paired t-tests.

No significant difference was found in terms of accuracy between ChatGPT-generated text responses and EO-provided text responses. However, text responses provided by EOs were rated significantly higher in terms of comprehensiveness and clarity by hand surgeons. Interestingly, non-medical participants rated the clarity and overall preference of ChatGPT-generated text responses higher than those from EOs. EO-provided images were also significantly favored in terms of comprehensiveness and clarity by hand surgeons. Notably, 65% of non-medical participants preferred EO-provided images over AI-generated ones. Both sources, however, produced information that exceeded the recommended readability levels for patient comprehension.

This study underscores the potential of AI-generated medical information to enhance patient understanding, particularly through the comprehensive nature of materials created by tools like ChatGPT. The divergence in preferences between hand surgeons and patients highlights the need to refine the accuracy, clarity, and relevance of AI-generated content to align with the standards upheld by healthcare professionals. Continued exploration in this area is crucial for optimizing patient education and communication, particularly in the context of postoperative care.

L’émergence des technologies d’intelligence artificielle, telles que ChatGPT et Gemini, offre de nouvelles opportunités permettant d’améliorer la communication entre le médecin et le patient en fournissant des informations médicales adaptées à la compréhension de chacun. En chirurgie de la main, la bonne réalisation des soins postopératoires conditionnent l’obtention de bons résultats et il est donc crucial de fournir aux patients des informations claires, compréhensibles et précises. Cette étude a pour objectif d’évaluer la capacité de ChatGPT à générer des informations médicales permettant d’améliorer la compréhension des patients en chirurgie de la main.

Une étude transversale a été réalisée avec cinq chirurgiens de la main français et 28 participants n’ayant pas fait d’études médicales. L’ensemble des participants à l’étude ont évalué, en aveugle de la source, des informations médicales (texte et images) générées par ChatGPT et Gemini, et celles fournies par des organisations établies (OE). Les évaluations ont porté sur trois interventions chirurgicales courantes en chirurgie de la main : le syndrome du canal carpien, la maladie de Dupuytren et le kyste synovial. Les chirurgiens de la main ont évalué ces informations médicales en termes d’exactitude, de clarté, d’exhaustivité et de préférence générale en utilisant une échelle de Likert. Les participants n’ayant pas fait d’études médicales ont évalué ces informations en termes de clarté et de préférence générale. Des questionnaires ont été utilisés pour recueillir ces réponses, et l’analyse statistique a été réalisée à l’aide de tests t appariés. La lisibilité a été également analysée à l’aide de six formules de lisibilité.

Aucune différence significative n’a été trouvée en termes d’exactitude entre les réponses textuelles générées par ChatGPT et celles fournies par les OE. Cependant, les réponses textuelles fournies par les OE ont été notées de manière significativement plus élevée en termes d’exhaustivité et de clarté par les chirurgiens de la main. Fait intéressant, les participants n’ayant pas fait d’études médicales ont évalué la clarté et la préférence générale des réponses textuelles générées par ChatGPT plus favorablement que celles des OE. Les images fournies par les OE ont également été préférées de manière significative en termes d’exhaustivité et de clarté par les chirurgiens de la main. De plus, 65 % des participants n’ayant pas fait d’études médicales ont également préféré les images fournies par les OE à celles générées par l’IA. Les deux sources ont cependant produit des informations qui dépassaient les niveaux de lisibilité recommandés pour la compréhension des patients.

Cette étude met en évidence le potentiel des informations médicales générées par l’IA afin d’améliorer la compréhension des patients, notamment grâce à la capacité des outils tels que ChatGPT à personnaliser les contenus en fonction des besoins individuels des patients. La divergence des préférences entre les chirurgiens de la main et les patients souligne la nécessité d’affiner la clarté et la pertinence du contenu généré par l’IA afin de l’aligner avec les normes établies par les professionnels de la santé. Une exploration continue dans ce domaine est essentielle pour optimiser l’éducation des patients et la communication, en particulier dans le contexte des soins postopératoires.