Réseaux feed-forward (FFN)

Statut documentaire : reference — voir Maturité et preuves.

Un réseau feed-forward est une composition différentiable de transformations linéaires et d’activations non linéaires.

Forme de base

entrée
  -> couche linéaire
  -> activation
  -> couches cachées éventuelles
  -> sortie

Pour la classification, un vecteur de scores final peut être associé à un softmax et à une fonction de perte adaptée, telle que l’entropie croisée.

Entrées conceptuelles et denses

Des caractéristiques conceptuelles peuvent être projetées vers des activations denses avant d’entrer dans les noyaux FFN conventionnels. Lorsque l’interprétation est importante, conservez explicitement le mapping entre caractéristiques conceptuelles et colonnes denses.

Apprentissage

Les paramètres entraînables participent au graphe de calcul. Une boucle d’apprentissage évalue le passage avant, calcule la perte, propage les gradients et met à jour les paramètres via le mécanisme d’optimisation sélectionné.

Rôle dans logiCells

Les FFN constituent un mécanisme d’évaluation numérique pouvant être combiné avec la structure conceptuelle explicite, les règles et d’autres architectures neuronales.