Tian FANG
Spécialité : Informatique
Laboratoire : LIPN
Directeur de thèse : Davide Buscaldi
Co-encadrant : Gaël Guibon
Titre de la thèse : Personnalisation de retours d’information émotionnelle par recommandation d’émotions
Cette thèse vise à concevoir un modèle conversationnel multimodal capable de générer des retours émotionnels adaptatifs et personnalisés, en combinant recommandation d’émotions, personnalisation par affinement interactif (human-in-the-loop, personas dynamiques) et synthèse visuelle d’expressions faciales. Nous explorons des approches hybrides entre modèles de langage profonds et modèles vision-langage pour permettre une adaptation continue du comportement émotionnel du modèle par l’utilisateur, dans une perspective de contrôle, de transparence et de co-construction homme-machine.
La méthodologie adoptée sera itérative et s’articulera en trois étapes. Tout d’abord, nous développerons un système de recommandation de retours émotionnels, ensuite, nous introduirons la personnalisation via des personas dynamiques. Enfin, nous ajouterons une composante multimodale en exploitant les Vision-Language Models (VLM) pour générer automatiquement des expressions faciales. Cette approche intégrée ambitionnera de construire un agent empathique contrôlable, explicable et centré sur l’utilisateur.
Thesis title : Personalization of emotional feedback through emotion recommendation
This thesis aims to design a multimodal conversational model capable of generating adaptive and personalized emotional feedback, by combining emotion recommendation, personalization through interactive fine-tuning (human-in-the-loop, dynamic personas), and visual synthesis of facial expressions. We explore hybrid approaches between deep language models and vision-language models to enable continuous adaptation of the model’s emotional behavior by the user, with a focus on control, transparency, and human–machine co-construction.
The adopted methodology will be iterative and structured in three stages. First, we will develop a system for recommending emotional feedback. Next, we will introduce personalization through dynamic personas. Finally, we will add a multimodal component by leveraging Vision-Language Models (VLM) to automatically generate facial expressions. This integrated approach will aim to build an empathic conversational agent that is controllable, explainable, and user-centered.
Contactez-nous !
Campus de Villetaneuse
@univ_SPN