Using artificial intelligence to enhance comprehension of medical reports: a comparative readability análisis
DOI:
https://doi.org/10.1590/1678-460x202541368342Keywords:
artificial intelligence, ChatGPT, discharge report, medical language, readabilityAbstract
Communication remains one of the key challenges in the doctor-patient relationship, as patients' difficulty in understanding medical reports directly impacts their ability to make informed decisions. The aim of this study is to analyze ChatGPT's ability to generate simplified versions of hospital discharge reports and evaluate both their comprehensibility and technical accuracy. Using four readability formulas (Fernández-Huerta readability index (IL), Szigriszt-Pazos perspicuity index (IP), Inflesz scale (EI), and μ readability index (Iμ)) and a non-parametric comparative statistical analysis, the findings showed that ChatGPT-adapted reports improved comprehensibility by 27% compared to the original texts, significantly reducing their level of difficulty. Medical language accuracy (errors per 1,000 words) was evaluated by a panel of medical experts and linguists. The main sources of inaccuracy were identified as: terminology (2.1‰), medication (1.6‰), abbreviations (0.92‰), and chatbot hallucinations (0.18‰). Despite the low error rate, it remains an important limitation.
References
Abdelhafiz, A. S., Ali, A., Maaly, A. M., Ziady, H. H., Sultan, E. A., & Mahgoub, M. A. (2024). Knowledge, perceptions and attitude of researchers towards using ChatGPT in research. Journal of Medical Systems , 481 (26). https://doi.org/10.1007/s10916-024-02044-4. » https://doi.org/https://doi.org/10.1007/s10916-024-02044-4
Barrio Cantalejo, I. M., & Simón Lorda, P. (2003). ¿Pueden leer los pacientes lo que pretendemos que lean? Un análisis de la legibilidad de materiales escritos de educación para la salud. Atención Primaria , 31 (7), 409-414. https://doi.org/10.1016/s0212-6567(03)79199-9. » https://doi.org/https://doi.org/10.1016/s0212-6567(03)79199-9
Barrio-Cantalejo, I. M., Simón-Lorda, P., Melguizo, M., Escalona, I., Marijuán, M. I., & Hernando, P. (2008). Validación de la escala INFLESZ para evaluar la legibilidad de textos dirigidos al paciente. Anales del Sistema Sanitario de Navarra , 31 (2), 135-152. https://doi.org/10.4321/s1137-66272008000300004. » https://doi.org/https://doi.org/10.4321/s1137-66272008000300004
Blanco Pérez, A., & Gutiérrez Couto, U. (2002). Legibilidad de las páginas web de salud para pacientes y lectores de la población general. Revista Española de Salud Pública , 76 (4), 321-331.
Estopà, R., & Domènech-Bagaria, O. (2019). Diagnóstico del nivel de comprensión de informes médicos dirigidos a pacientes y familias afectados por una enfermedad rara. E-Aesla , 5, 109-118.
Estopà, R., López-Fuentes, A., & Porras-Garzón, J. M. (2020). Terminology in written medical reports: A proposal of text enrichment to favour its comprehension by the patient. En B. Daille, K. Kageura, & Rigouts Terryn, A. (Eds), Proceedings of the 6th International Workshop on Computational Terminology (pp. 43-49). European Language Resources Association.
Fernández Huerta, J. (1959). Medidas sencillas de lecturabilidad. Consigna , 2(14), 29-32.
Gómez-González, E., Priego Álvarez, H. R., & García, C. de la C. (2023). Empoderamiento y adherencia terapéutica en el adulto mayor: una revisión sistemática. Enfoque , 33 (29), 46-63.
Muñoz Fernández, A. (2018). Analizador de legibilidad de texto https://legible.es/ » https://legible.es/
Muñoz, B., y Muñoz, U. (2019). Legibilidad Mu [Disponible en http://www.legibilidadmu.cl]. Viña del Mar, Chile. » http://www.legibilidadmu.cl
Pelicano-Piris, N. (2022). Análisis de la legibilidad de la información sanitaria dirigida a la población vulnerable. Revista ProPulsión , 5(2), 140-171. https://doi.org/10.53645/revprop.v5i2.95. » https://doi.org/https://doi.org/10.53645/revprop.v5i2.95
Porras-Garzón, J. M., y Estopà, R. (2020). Escalas de legibilidad aplicadas a informes médicos: límites de un análisis cuantitativo formal. Círculo de Lingüística Aplicada a la Comunicación , 83 , 205-216. https://doi.org/10.5209/clac.70574. » https://doi.org/https://doi.org/10.5209/clac.70574
Ramírez-Puerta, M. R., Fernández-Fernández, R., Frías-Pareja, J. C., Yuste-Ossorio, M. E., Narbona-Galdo, S., y Peñas-Maldonado, L. (2013). Análisis de la legibilidad del consentimiento informado en cuidados intensivos. Medicina Intensiva , 37 (8), 503-509. https://doi.org/10.1016/j.medin.2012.08.013. » https://doi.org/https://doi.org/10.1016/j.medin.2012.08.013
Rubiera, G., Arbizu, R., Alzueta, A., Agúndez, J. J., & Riera, J. R. (2004). Legibilidad de los documentos de consentimiento informado utilizados en los hospitales de Asturias. Gaceta Sanitaria , 18 (2), 153-158. https://doi.org/10.1016/s0213-9111(04)71822-1. » https://doi.org/https://doi.org/10.1016/s0213-9111(04)71822-1
Sallam, M. (2023). ChatGPT utility in healthcare education, research, and practice: Systematic review on the promising perspectives and valid concerns. Healthcare , 11 (6), 887. https://doi.org/10.3390/healthcare11060887. » https://doi.org/https://doi.org/10.3390/healthcare11060887
San Norberto, E. M., Revilla, A., Brizuela, J. A., & Taylor, J. H. (2024). Quality and readability of Spanish-language online information for aortic aneurysm and its endovascular treatment. Vascular and Endovascular Surgery , 58 (2), 158-165. https://doi.org/10.1177/15385744231196644. » https://doi.org/https://doi.org/10.1177/15385744231196644
Simón Lorda, P., Barrio Cantalejo, I. M., y Concheiro Carro, L. (1996). Legibilidad de los formularios escritos de consentimiento informado. Medicina Clínica , 107 (14), 524-529.
Szigriszt Pazos, F. (1993). Sistemas predictivos de legibilidad del mensaje escrito: fórmula de perspicuidad (tesis doctoral). Universidad Complutense de Madrid.
