Pilier 2

Opérations `élément-par-élément` vs produit matriciel

Formule

Un produit scalaire $w \cdot x = w_1 x_1 + w_2 x_2 + \ldots + w_n x_n$ est la somme pondérée de toutes les entrées. Géométriquement, il mesure à quel point le vecteur $x$ pointe dans la direction de $w$ : si $w$ et $x$ sont alignés, le produit est grand ; orthogonaux, il vaut 0 ; opposés, négatif. C'est exactement ce dont un neurone a besoin : « Voici un patron $w$ que je cherche dans mes entrées ; à quel point l'entrée actuelle ressemble-t-elle à ce patron ? » Le résultat, un scalaire, est ensuite passé à une activation (seuil ou sigmoïde) pour décider 0 ou 1. Quand on a beaucoup de plantes à classer en parallèle, on ne fait pas $n$ produits scalaires un par un : on les empilé dans une matrice $X$ (une plante par ligne) et on calcule $X w$ d'un seul coup. C'est le produit matriciel — la version en bloc du produit scalaire.