Le choix d'architecture est la première décision
Je cherche d'abord à faire correspondre le modèle à la structure de la donnée et aux contraintes métier : latence, volume de données et matériel disponible. Une règle simple oriente 90 % des cas :
- donnée séquentielle où l'ordre compte : texte, séries temporelles, signaux capteurs → famille récurrente (RNN, LSTM, GRU) ;
- donnée en grille où comptent les motifs locaux : images, spectrogrammes, cartes → famille convolutive (CNN).
Cette lecture permet déjà d'écarter un modèle trop coûteux ou mal adapté, avant même de lancer l'entraînement.
Les RNN : la mémoire séquentielle
Un réseau de neurones récurrent (Recurrent Neural Network) est construit à partir de neurones, ces nœuds de traitement qui collaborent pour résoudre une tâche. Ils s'organisent en couches : une couche d'entrée qui reçoit l'information, une couche de sortie qui livre le résultat, et entre les deux une ou plusieurs couches cachées où se déroulent l'analyse et la prévision.
La particularité du RNN tient dans sa couche cachée : elle traite la séquence pas de temps après pas de temps, et surtout elle mémorise. À chaque étape, l'état caché combine l'entrée du moment et le souvenir des entrées précédentes pour prédire la suite. Formellement, l'état caché se met à jour ainsi :
hₜ = f( W·xₜ + U·hₜ₋₁ + b ) : l'état du moment dépend de l'entrée actuelle et de l'état précédent.
C'est ce report de hₜ₋₁ dans le calcul de hₜ (la récurrence) qui donne au réseau une mémoire à court terme. Pour prédire le mot suivant d'une phrase, un RNN combine ainsi le mot courant avec les mots déjà vus, stockés dans cet état caché.
h (la mémoire) d'un pas au suivant.Le point faible : une mémoire qui s'évanouit
Si la séquence est trop longue, le RNN se perd : son souvenir s'estompe à chaque nouvelle étape. Ce n'est pas qu'une intuition. À l'entraînement, l'erreur est rétro-propagée à travers le temps (Backpropagation Through Time), et le gradient est multiplié à chaque pas. S'il est inférieur à 1, il décroît exponentiellement et finit par s'annuler : c'est le problème du gradient qui s'évanouit (et son symétrique, le gradient qui explose). Conséquence : le réseau apprend très mal les dépendances longues : relier un mot à un autre situé loin en amont devient hors de portée.
LSTM & GRU : réparer la mémoire longue
Les LSTM (Long Short-Term Memory) règlent ce défaut en ajoutant un état de cellule, une sorte de tapis roulant qui traverse toute la séquence avec très peu de transformations, laissant l'information circuler intacte sur de longues distances. Trois portes (de petits réseaux à sortie entre 0 et 1, via une sigmoïde σ) décident, à chaque pas, quoi faire de cette mémoire :
- porte d'oubli : quelle part de la mémoire effacer ;
- porte d'entrée : quelle nouvelle information écrire ;
- porte de sortie : quelle part de la mémoire exposer comme état caché
hₜ.
C circule en haut, presque sans entrave ; les portes décident à chaque pas quoi oublier, écrire et exposer. Le GRU est une variante allégée à deux portes, moins de paramètres et souvent aussi efficace.Grâce à cet état de cellule protégé, les LSTM (et leurs cousins GRU) apprennent des dépendances bien plus longues que les RNN simples. Ils ont longtemps été l'outil de référence pour la traduction, la reconnaissance vocale, l'analyse de séries temporelles et tout signal de capteur, avant l'arrivée des Transformers.
CNN : détecter des motifs locaux
Les réseaux convolutifs (CNN) répondent à une tout autre structure de donnée : la grille. Plutôt qu'un poids par pixel, un CNN fait glisser de petits filtres (noyaux) sur l'image. Chaque filtre apprend à repérer un motif : un bord, une texture, puis des formes de plus en plus complexes en profondeur. Deux idées clés en font la force : le partage des poids (le même filtre balaie toute l'image, d'où peu de paramètres) et l'invariance par translation (un motif est reconnu où qu'il se trouve). Les couches de pooling réduisent ensuite la résolution pour gagner en robustesse et en efficacité.
Les CNN dominent la vision par ordinateur (classification, détection, segmentation) mais s'appliquent aussi très bien aux signaux 1D (séries temporelles, audio via spectrogrammes), partout où ce sont des motifs locaux, et non l'ordre global, qui portent l'information.
Et les Transformers ?
Les Transformers, fondés sur le mécanisme d'attention, ont largement remplacé les RNN et LSTM en traitement du langage. Ils traitent une séquence en parallèle et capturent les dépendances longues sans souffrir du gradient évanescent. Cela ne rend pas les autres architectures inutiles. Les RNN, LSTM et CNN gardent leur intérêt avec peu de données, sur du matériel embarqué/edge, lorsque la latence est contrainte ou pour des séries simples.
Quel modèle pour quel besoin ?
| Architecture | Donnée idéale | Points forts | Limites | Cas d'usage |
|---|---|---|---|---|
| RNN | Séquences courtes | Simple, léger, notion d'ordre | Mémoire courte (gradient évanescent) | Séries simples, prototypage |
| LSTM / GRU | Séquences longues | Dépendances longues, mémoire stable | Plus lourd, séquentiel (peu parallélisable) | Séries temporelles, capteurs, voix |
| CNN | Grilles, signaux locaux | Peu de paramètres, invariance, rapide | Ignore l'ordre global d'une séquence | Images, audio, vision embarquée |
| Transformer | Séquences, gros volumes | Parallèle, dépendances très longues | Gourmand en données et en calcul | NLP, multimodal, modèles de fondation |
Ce que j'en retiens
Je ne choisis donc pas une architecture pour sa sophistication. Sur mon projet de prédiction de consommation électrique, j'ai comparé sept approches. XGBoost s'est montré plus performant et plus économe qu'un réseau récurrent. Ce résultat résume bien ma conclusion : comprendre le Deep Learning sert aussi à repérer les cas où il n'est pas nécessaire.