Soutenances de thèse

Au cours de la dernière décennie, l’apprentissage profond s’est imposé comme un outil puissant et important dans plusieurs domaines grâce à son développement significatif. En particulier, l’intérêt croissant pour les modèles pré-entraînés, qui exploitent les connaissances pour obtenir des performances supérieures. Cependant, en raison de la complexité et de la taille croissantes de ces modèles, leur déploiement dans des domaines où les données sont limitées peut entraîner une perte d’efficacité. Les modèles pré-entraînés actuels contiennent des millions de paramètres et nécessitent des calculs qui requièrent des GPU haut de gamme. Le coût de calcul et l’empreinte mémoire rendent leur déploiement dans des appareils plus petits et des environnements aux ressources limitées plus difficile. Si des avancées récentes ont été étudiées en matière de compression de modèles pour les images médicales 2D, les progrès pour les images 3D restent limités. Dans cette thèse, nous proposons d’étudier des méthodes permettant de compresser et de réduire la taille des réseaux neuronaux pré-entraînés, ainsi que d’accélérer leur temps d’inférence. L’objectif est de fournir une approche plus rentable et plus durable sur le plan environnemental pour le déploiement des réseaux neuronaux. Tout d’abord, nous étudions quelles couches doivent être réentraînées afin d’adapter les modèles pré-entraînés à une nouvelle tâche tout en minimisant la perte d’informations. Nos travaux étudient le degré de transfert des caractéristiques de chaque couche d’une tâche à une autre, dans le but d’obtenir un compromis optimal entre la représentation générale du modèle pré-entraîné et les caractéristiques spécifiques au modèle cible. Nos recherches confirment que la sélection stratégique des couches peut améliorer les bases de référence standard du réglage fin et permet d’atteindre la précision des méthodes de sélection des couches tout en réduisant les calculs. Nous introduisons également une méthode d’élagage qui supprime les neurones les moins pertinents dans un modèle afin de l’optimiser pour les structures 2D et 3D. Nous considérons que l’importance des neurones est influencée par ceux des couches suivantes. Par conséquent, l’importance des neurones est calculée et propagée à travers le réseau. De plus, nous avons introduit une approche de compression pour les modèles pré- entraînés combinant la décomposition tensorielle et l’élagage structuré. Cette stratégie réduit la complexité du modèle et le coût de calcul de . Par conséquent, elle permet d’adapter efficacement les réseaux neuronaux profonds aux applications médicales 3D dans des environnements aux ressources limitées.