Prédire la suite d’une séquence numérique avec Keras et SimpleRNN

Implémenter un réseau de neurones reccurrents (RNN)

Comme on l'a vu dans le leçon précédente, les réseaux récurrents (RNN) permettent de traiter des données séquentielles en tenant compte du contexte des éléments précédents. Après avoir étudié leur fonctionnement théorique, il est essentiel de passer à une mise en pratique pour consolider la compréhension.

Dans cette leçon, nous utilisons Keras et la couche SimpleRNN pour construire un modèle capable de prédire le prochain élément d’une suite numérique. L’objectif est de montrer comment un réseau récurrent apprend à anticiper la continuité d’une séquence. Donc, nous allons créer un dataset fictif constitué simplement d’une suite numérique allant de 0 à 99 afin de disposer d’un exemple clair et minimaliste pour entraîner notre modèle.

Cette fois, je vais vous montrer le code complet, puis détailler pas à pas chacun des blocs pour en expliquer le rôle:

Explication du code pas-à-pas avec la logique de la fenêtre glissante

On commence par importer les modules nécessaires à notre projet:
La couche SimpleRNN est un module de Keras/TensorFlow situé dans keras.layers. Elle implémente un réseau récurrent simple entièrement connecté où la sortie à chaque timestep est réinjectée comme entrée au timestep suivant.

Ensuite, on génère un dataset fictif constitué d’une suite numérique allant de 0 à 99, puis nous réorganisons ces données afin qu’elles reflètent la notion de séquence grâce à l’application d’une fenêtre glissante.
On définit la taille de la fenêtre (seq_length=5), c’est-à-dire le nombre de timesteps que le modèle va utiliser comme contexte pour prédire la suite.

Le code précédent met en œuvre la logique de la fenêtre glissante, une technique essentielle pour transformer une suite continue en données exploitables par un RNN.

L’idée derrière la fenêtre glissatne consiste à prendre, à chaque itération, une sous-séquence de longueur fixe (seq_length = 5) comme entrée (X) et d’associer à cette fenêtre le nombre qui la suit immédiatement comme cible (y). Ainsi, [0,1,2,3,4] → 5, puis [1,2,3,4,5] → 6, etc.

La prochaine étape consiste à adapter la forme des données pour qu’elles soient compatibles avec l’entrée attendue par un RNN dans Keras.
Initialement, chaque séquence est un tableau 2D (nombre d’exemples × longueur de la séquence), mais un RNN exige une structure en trois dimensions: (samples, timesteps, features).

Ici, X.shape[0] correspond au nombre total d’exemples, X.shape[1] au nombre de timesteps (longueur de la fenêtre glissante), et 1 indique qu’à chaque timestep on fournit une seule caractéristique (feature).
Cette transformation est donc indispensable car elle permet au réseau de traiter chaque fenêtre glissante comme une séquence temporelle où chaque pas (timestep) contient une donnée élémentaire.

Maintenant, on définit l'architecture de notre modèle:
Ce code définit un modèle séquentiel composé d’une couche d’entrée qui précise la forme des données (seq_length timesteps avec une seule feature par timestep), suivie d’une couche SimpleRNN de 50 unités utilisant l’activation tanh pour capturer les dépendances temporelles, puis d’une couche Dense finale qui produit la prédiction du prochain élément de la séquence.

Dans la compilation du modèle, on indique que l’on prépare ce dernier pour une tâche de régression. En effet, la fonction de perte mse (Mean Squared Error) mesure l’écart entre les valeurs prédites et les valeurs réelles. Comme notre objectif est de prédire un nombre (le prochain élément d’une séquence) plutôt qu’une classe, on utilise une fonction de perte adaptée à la régression, ce qui permet au RNN d’apprendre à minimiser les erreurs numériques dans ses prédictions.

On entraine notre modèle:
Le modèle est entrainé sur les données X et y pendant 200 époques. Le paramètre verbose=0 signifie que l’entraînement se fait en silence, sans affichage des détails à chaque époque. Le nombre d’époques est ajustable. Donc, on peut l’augmenter ou le réduire selon la complexité du problème et la vitesse de convergence.
La dernière étape consiste à tester notre modèle:
Ce bloc de code illustre la phase de test du modèle où on construit une séquence fictive [10,11,12,13,14] et on la redimensionne en (1, seq_length, 1) pour respecter le format attendu par le RNN (une seule séquence, composée de 5 timesteps, chacun avec une seule feature). On passe ensuite cette séquence au modèle via la méthode predict qui génère une estimation du prochain nombre.

Après exécution, on obtient ce résultat:
La suite logique de la séquence [10,11,12,13,14] correspond bien à 15, et le modèle a prédit une valeur très proche qui est 14.96. Cela montre que le réseau a effectivement appris à prolonger la suite numérique. En effet, grâce à la fenêtre glissante, il exploite les timesteps précédents pour anticiper le suivant, et grâce à l’entraînement en régression, il fournit une estimation continue qui s’approche de la valeur attendue.

En conclusion, cet exemple illustre bien la puissance des réseaux récurrents (RNN). Ces réseaux sont capables de capter la dynamique temporelle d’une séquence et de prolonger logiquement une suite numérique grâce à la fenêtre glissante et à l’entraînement en régression.

Toutefois, les RNN classiques restent limités par le problème du vanishing gradient qui rend difficile l’apprentissage de dépendances à long terme. C’est pourquoi, dans les prochaines leçons, nous explorerons des architectures plus avancées comme les LSTM et les GRU, conçues pour surmonter cette difficulté et offrir une meilleure performance sur des séquences plus complexes.