Projet de Maîtrise

Contexte du Projet :

Les réseaux de neurones profonds (IA) ont révolutionné de nombreux domaines, mais leur déploiement est souvent freiné par une consommation énergétique massive : une étude de 2019 estimait qu'entraîner un seul grand modèle pouvait émettre autant de CO2 que six voitures sur toute leur durée de vie. Ce projet, mené à l'Institut Interdisciplinaire d'Innovation Technologique (3iT) sous la direction du professeur Julien Sylvestre, explore une alternative radicale : et si, au lieu de simuler des neurones sur un ordinateur, nous utilisions directement les lois de la physique pour calculer ?

Objectif Scientifique :

L'objectif était de développer des méthodes d'entraînement efficaces pour des réseaux de neurones physiques profonds (DPNN) implémentés sur des microsystèmes électromécaniques (MEMS). Le but est de créer des systèmes intelligents qui soient à la fois ultra-rapides, extrêmement économes en énergie et capables d'apprendre de leur environnement.

Approche Technologique et Méthodologie :

Le composant physique choisi est un filtre à ondes acoustiques de surface (SAW), un MEMS déjà présent dans la plupart des téléphones et objets connectés :

• Un calculateur gravable : La surface du filtre est recouverte d'un matériau "à changement de phase", comme celui d'un CD-ROM, qu'on peut graver et regraver au laser. Le motif gravé modifie la propagation de l'onde acoustique et donc la façon dont le signal électrique de sortie dépend du signal d'entrée — l'équivalent physique d'une convolution, l'opération de base des réseaux de neurones convolutionnels.
• Un entraînement inspiré du Physical Aware Training (PAT) : La rétropropagation classique du gradient ne s'applique pas telle quelle à ce système physique opaque. J'ai donc construit un modèle numérique du filtre servant de banc d'essai, couplé à deux réseaux de neurones auxiliaires : un imitateur, qui reproduit fidèlement le comportement du filtre, et un convertisseur, qui traduit les poids de cet imitateur en un motif de gravure physiquement réalisable.

Mes Contributions Clés :

• Modélisation Physique : J'ai construit un modèle numérique et mathématique du filtre SAW à partir de la physique des ondes acoustiques dans un substrat piézoélectrique, utilisé comme banc d'essai avant tout passage au dispositif réel.
• Architecture d'Entraînement à Deux Réseaux : J'ai conçu et implémenté le duo imitateur / convertisseur permettant d'estimer un gradient malgré l'opacité du système physique, une boucle d'entraînement à deux niveaux (paramètres du réseau ↔ paramètres physiques du filtre).
• Adaptation du Physical Aware Training : J'ai adapté cette méthode, jusque-là utilisée sur des systèmes aux propriétés physiques fixes, à un dispositif dont la surface change réellement au cours de l'entraînement.
• Protocole de Validation : J'ai défini le protocole de validation visé, sur la tâche de classification d'images CIFAR-10, avec comparaison au temps de calcul et à la consommation énergétique des réseaux conventionnels.

Impact et Portée :

Ce projet ouvre la voie à une nouvelle génération de "matière intelligente". En intégrant l'IA directement au niveau matériel, nous pouvons concevoir des capteurs capables d'analyser des signaux complexes en temps réel avec une consommation d'énergie quasi nulle. Les applications vont des systèmes embarqués pour la robotique autonome aux dispositifs biomédicaux intelligents, en passant par les télécommunications à très haute vitesse.