Formule
Pour la couche $\ell$ d'un réseau (avec la convention transposée du cours, où chaque ligne de $W^{[\ell]}$ correspond à un neurone) : $$Z^{[\ell]} = W^{[\ell]} , A^{[\ell-1]} + b^{[\ell]}, \qquad A^{[\ell]} = \sigma!\left(Z^{[\ell]}\right)$$ avec la convention $A^{[0]} = X$ pour la couche d'entrée. La sigmoïde est appliquée terme à terme. $W^{[\ell]}$ a pour dimensions $n_\ell \times n_{\ell-1}$ et $b^{[\ell]}$ a pour dimension $n_\ell \times 1$.