Mohammed Oussama BENYAHIA
Spécialité : Sciences pour l’ingénieur
Laboratoire : L2TI
Directeur de thèse : Aladine Chetouani
Co-encadrant : Zuheng Ming
Titre de la thèse : Modèles Vision-Langage guidés par le regard des experts pour des rapports radiologiques automatisés fiables
La radiologie moderne repose sur l’analyse conjointe d’images médicales (IRM, scanners, radiographies) et des observations cliniques exprimées par les médecins. Cependant, les systèmes d’intelligence artificielle actuels peinent encore à générer automatiquement des rapports fiables, car ils se focalisent parfois sur des zones non pertinentes des images ou produisent des descriptions erronées. Mon projet de thèse vise à développer une architecture multimodale innovante, guidée par le regard des radiologues, pour améliorer la génération automatique de rapports radiologiques. L’idée est d’exploiter simultanément les images médicales, le langage, et les données issues de l’eye-tracking afin d’aligner l’attention du modèle sur les zones réellement observées par l’expert. Ce guidage permet d’accroître la précision des descriptions, de réduire les erreurs cliniques et de renforcer la transparence du raisonnement de l’IA. À terme, ce travail pourrait contribuer à créer des systèmes d’aide au diagnostic plus fiables, capables de soutenir le travail des radiologues et d’améliorer la qualité des soins aux patients.
Thesis title : Expert-Gaze-Guided Vision-Language Models for Reliable Automated Radiology Reports
Modern radiology relies on the combined analysis of medical images (MRI, CT scans, X-rays) and clinicians’ observations. However, current artificial intelligence systems still struggle to automatically generate reliable reports, as they often focus on irrelevant image regions or produce inaccurate descriptions. My PhD project aims to develop a novel multimodal architecture, guided by radiologists’ gaze, to enhance automatic radiology report generation. The approach leverages medical images, clinical language, and eye-tracking data to align the model’s attention with the areas examined by experts. This alignment improves the accuracy of the generated reports, reduces clinical errors, and increases transparency by bringing the AI’s reasoning closer to that of human radiologists. Ultimately, this research could contribute to building more trustworthy decision-support systems, capable of assisting radiologists in their daily practice and improving the overall quality of patient care.
Contactez-nous !
Campus de Villetaneuse
@univ_SPN