Piège
Tentation : 'plus on met de couches, plus le réseau est puissant — donc empilons à fond' ou 'plus on met de neurones par couche, plus c'est fin'. Le cours dit littéralement les deux mais ajoute la contrepartie : chaque ajout (en profondeur ou en largeur) ralentit l'entraînement. Aucune des deux directions n'est gratuite. Il y à un équilibre à trouver — pas une dimension à maximiser. Conséquence MPSI : ne pas chercher 'la' bonne architecture en première lecture, comprendre que c'est un compromis.