Idée
Faire couler les données de l'entrée jusqu'à la sortie en répétant le même geste à chaque étage.
Pourquoi
Faire couler les données de l'entrée jusqu'à la sortie en répétant le même geste à chaque étage : combiner, seuil doux, transmettre. C'est la phase où le réseau produit sa prédiction, sans encore rien apprendre. Mathématiquement, c'est le déroulement séquentiel d'une composition de fonctions, où la sortie de chaque maillon devient l'entrée du suivant.
Outil
C'est le déroulement séquentiel d'une composition de fonctions, où la sortie de chaque maillon devient l'entrée du suivant.
Formule
Soit un réseau à trois couches de tailles respectives $n_1, n_2, n_3$, prenant en entrée $X \in \mathbb{R}^{n_0 \times m}$ (convention transposée). Écrire la séquence complète des équations forward (de $Z^{[1]}$ à $A^{[3]}$) en notation matricielle.
Piège
Si on appelle forward(X, parametres) avant parametres = initialisation(...), NameError ou utilisation des paramètres précédents (état zombie de la cellule précédente). Discipline notebook : toujours réinitialiser avant un nouvel entraînement, sinon les poids 'continuent' par accident.