Het dominante optimalisatie algoritme in 'deep learning' heet 'gradient descent'.
Gradient descent: in een iteratief proces wordt de kost-functie J geminimaliseerd.
Gradient descent = een fundamenteel algoritme.
In onderstaande grafiek een voorbeeld voor 1 parameter.
Considering a cost function J(.)
with only a single weight coefficient w,
we can illustrate this concept as follows:
BRON
14 dec 2015
Weerom een chinese bron.