Forward Propagation

Die Forward Propagation bildet die Berechnung eines Eingangswerts (Rohdaten) zu einem Ausgangswert ab. Zu diesem Zweck fasst die Forward Propagation die Berechnung aller Neuronen in einem neuronalen Netz zusammen. Dabei hängt die Ausgabe der Neuronen von den Ausgaben der Neuronen vorherigen Layer ab. Diese Beziehung wird über Pfeile zwischen Neuronen aufgezeigt.

Das gezeigte Schaubild gibt einen Überblick über ein neuronales Netz aus zwei Layer. Das erste Layer verfügt über zwei Neuronen. Das zweite Layer über ein Neuron. Die Ausgabe der ersten Neuronen bilden die Eingabewerte des folgenden Neurons. Zur Verdeutlichung aller Abhängigkeiten wurden dreistellige Zahlenwerte eingeführt. Dabei steht die erste Ziffer für das Layer der jeweiligen Komponente. Die zweite Ziffer gibt die Zugehörigkeit zu einem Neuron an. Die dritte Ziffer dient zur Nummerierung mehrerer gleicher Komponenten, die zum selben Neuron gehören. So gehört der Eingabewert $x_{211}$ zum ersten Neuron des zweiten Layers und bildet den ersten aller Eingabewerte ab, die ebenfalls zum ersten Neuron im zweiten Layer gehören. Folgende mathematischen Gleichung fasst die Berechnung aller Neuronen des Netzes zusammen:

$x_{2,1,1} = ȳ_{1,1} = a_{1}(\sum_{i=1}^{1} (x_{1,1,i} * w_{1,1,i}) + b_{1,1})$

$x_{2,1,2} = ȳ_{1,2} = a_{1}(\sum_{i=1}^{1} (x_{1,2,i} * w_{1,2,i}) + b_{1,2})$

$ȳ_{2,1} = a_{2}(\sum_{i=1}^{2} (x_{2,1,i} * w_{2,1,i}) + b_{2,1})$

Die Gleichung zeigt die Berechnung der zwei Neuronen des ersten Layers zu den Ausgabewerten $ȳ_{1,1}$ und $ȳ_{1,2}$, welche anschließend vom darauf folgenden Layer als Eingangswerte interpretiert werden. So wird der Ausgangswert $ȳ_{2,1}$ berechnet, der das Ergebnis des Netzes darstellt.

Ressourcen

http://www.u-helmich.de/bio/neu/1/11/111/seite1111.html

http://www.deeplearningbook.org

https://jeremykun.com/2012/12/09/neural-networks-and-backpropagation/

https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/