Idée
Empiler deux étages : chacun mélange ses entrées par une combinaison linéaire et les passe dans une non-linéarité, le second prenant pour entrées les sorties du premier.
Pourquoi
Empiler deux étages : chacun mélange ses entrées par une combinaison linéaire et les passe dans une non-linéarité, le second prenant pour entrées les sorties du premier. La structure du programme reste celle d'un seul neurone — initialiser, propager, mesurer l'erreur, corriger — mais chaque opération se dédouble en deux temps (couche 1 puis couche 2).
Outil
Composition de deux fonctions affines suivies d'une fonction de saturation — comme f∘g en analyse, sauf qu'ici g est vectorielle et f est appliquée coordonnée par coordonnée.
Formule
Le présentateur donné un chiffre précis. Sans regarder, donner ce pourcentage.
Piège
Vidéo 9 transpose X et Y au début (X = X.T). Si on copie le code vidéo 9 et qu'on le lance sur le X non-transposé de la vidéo 5, dimensions incompatibles à W1 @ X. Le présentateur insiste : '80% du temps les problèmes viennent des dimensions'.