Ingénieur∙e de recherche et développement en Intelligence Artificielle et Interprétabilité Mécanistique - CDD 9 mois

1- ENVIRONNEMENT DU POSTE

Grande école d’ingénieur généraliste de l’IMT-Institut Mines-Télécom, premier groupe d’écoles d’ingénieurs de France, IMT Atlantique a pour ambition d’accompagner les transitions, de former des ingénieurs responsables et mettre l'excellence scientifique et technique au service de l'enseignement, de la recherche et de l'innovation.

BRAIn est une équipe de recherche du Lab-STICC (CNRS UMR 6285) faisant partie du département Mathematical and Electrical Engineering (MEE) à IMT Atlantique. L'objectif de BRAIN est d'explorer des questions clés à l'intersection de l'Intelligence Artificielle, de l'Apprentissage Profond et du Traitement du Signal, avec des applications utilisant des images, des sons, des textes et des domaines plus complexes, y compris les données de neuroimagerie.

Résumé du projet

La chaire GRASP (« GRAph Signal Processing for Interpreting and Steering Multimodal LLMs »), financée par le cluster SEQUOIA, propose d’utiliser le traitement du signal sur graphes (Graph Signal Processing, GSP) comme cadre mathématique pour l’interprétabilité mécanistique des grands modèles de langage (LLM) et de leurs déclinaisons multimodales (MLLM). L’idée centrale consiste à représenter une architecture profonde (Transformer, modèle à espace d’états) comme un graphe de communication, et ses activations comme des signaux définis sur ce graphe. Les outils de la littérature du GSP permettent alors de décomposer le calcul interne en composantes interprétables et de quantifier le couplage structure-fonction, un concept issu des neurosciences cognitives. Appliqué aux modèles multimodaux, ce cadre vise à diagnostiquer le « découplage perceptuel », c’est-à-dire la tendance de ces modèles à privilégier leurs a priori linguistiques au détriment des données sensorielles (audio, image, EEG, IRMf), puis à le corriger par une approche de « steering as filtering » qui filtre spectralement les activations sans réentraînement du modèle. Les méthodes sont validées sur des applications scientifiques exigeantes, en éco-acoustique et en neuroimagerie.

Le poste s’inscrit dans la phase d’amorçage de la chaire : il s’agit de construire les briques méthodologiques et logicielles du cadre GSP, de les valider sur des LLM ouverts usuels en interprétabilité, puis de les étendre aux modèles de langage multimodaux.

2- MISSIONS

Sous la responsabilité de Nicolas Farrugia (Professeur, titulaire de la chaire GRASP), en collaboration avec les doctorantes et doctorants de la chaire ainsi qu’avec les membres de l’équipe BRAIn (Lab-STICC, UMR CNRS 6285).

• Concevoir et implémenter des méthodes de traitement du signal sur graphes pour l’analyse des activations internes des modèles de langage.
• Valider expérimentalement ces méthodes sur des LLM de référence, puis les étendre aux modèles de langage multimodaux.
• Assurer la qualité logicielle, la reproductibilité et la valorisation scientifique des travaux.

3- ACTIVITÉS

• Concevoir et implémenter des méthodes de traitement du signal sur graphes pour l’analyse des activations internes des modèles de langage.
• Formalise les architectures modernes (Transformers, modèles à espace d’états) sous forme de graphes de communication exploitables dans le cadre GSP, et implémente les opérateurs spectraux fondamentaux
• Situe le cadre GSP par rapport à l’état de l’art de l’interprétabilité mécanistique et des approches de modélisation parcimonieuse (autoencodeurs parcimonieux, apprentissage de dictionnaires, factorisation matricielle non négative).
• Développe des outils réutilisables en Python (NumPy/SciPy, PyTorch), documentés et couverts par des tests.

1. Valider expérimentalement ces méthodes sur des LLM de référence, puis les étendre aux modèles de langage multimodaux.

• Met en place les protocoles d’extraction et de stockage des activations sur des LLM ouverts couramment utilisés en interprétabilité (ex. familles Pythia, modèles à base de concepts, etc.).
• Conduit les premières validations des méthodes proposées et comparaison aux méthodes existantes (sondes linéaires, activation patching, autoencodeurs parcimonieux).
• Étend ensuite l’analyse aux modèles multimodaux (audio-texte, vision-texte)
• Réalise les expériences à grande échelle sur les infrastructures de calcul GPU (Jean Zay / GENCI et moyens locaux) et assure le suivi rigoureux des expériences.

1. Assurer la qualité logicielle, la reproductibilité et la valorisation scientifique des travaux.

• Rédige et maintient la documentation, les notebooks de démonstration et les scripts de reproduction des résultats.
• Contribue à la rédaction de publications scientifiques et de communications en conférence.
• Participe à l’animation scientifique de la chaire (réunions, séminaires, appui technique ponctuel aux doctorants et stagiaires).
• Contribue à la diffusion open source des outils développés et aux échanges avec les partenaires académiques et industriels de la chaire.