Sieci CP str117
117
Rozdział 9. Dynamika procesu uczenia sieci neuronowych
Do tego samego wniosku można dojść także na innej drodze. Rozważmy tak zwany punkt stały równania dynamiki uczenia, to znaczy taką wartość W", dla której rozwiązanie równania
d\V
— = (o I - 0 W WT) X
przestaje się zmieniać, to znaczy dW/dt = 0. Rozważmy ten warunek przy podstawieniu X = X oraz W = W. Wówczas
{cni — 0 W’ W"7') X = 0
Spróbujmy znaleźć rozwiązanie w postaci W* = pX, gdzie p jest poszukiwaną stalą. Po podstawieniu tej „odgadniętej” formuły otrzymuje się równanie
|
0 X - 0pXp(XT X) = 0 | |
|
a z niego |
otX = 0 p' ||X|| X |
|
i dalej |
P VF||X|| |
|
a zatem |
w* _ v |
Przypadek 4. Zagadnienie liczenia jest dwuliniowe, gdyż obie rozważane funkcje są liniowo zależne od y : <f> = ol t/, 7 = 0y. Wówczas
dW
—<*VX—fiyW
albo — uwzględniając równanie opisujące funkcjonowanie neuronu
dW — T
—— = « X XT W - fł W WT X dt
Wprowadzając oznaczenia:
E { X | W } = X
oraz
E{XXr|W}= Cxx
gdzie CXx jest macierzą kowariancji składowych wektora X, otrzymujemy równanie:
<7IV
— = ttcxxw -n (xTw) w
łatwo rozpoznawalne jako równanie Bernouliego drugiego stopnia. Ustalenie zachowania rozwiązań tego równania nie jest tak łatwe, jak w poprzednio rozważanym przypadku: w szczególności poszukiwanie punktu stałego W* za pomocą warunku ~ = 0 prowadzi do trywialnego rozwiązania W’ = 0, całkowicie nieprzydatnego w naszych rozważaniach. Łatwo można jednak wykazać, że rozwiązaniem (określającym punkt stały równania) są
Wyszukiwarka
Podobne podstrony:
img117 117 Rozdział 9. Dynamika procesu uczenia sieci neuronowych Do tego samego wniosku można dojść
img117 117 Rozdział 9. Dynamika procesu uczenia sieci neuronowych Do tego samego wniosku można dojść
Sieci CP str113 113 Rozdział 9. Dynamika procesu uczenia sieci neuronowych Rozwiązanie ma ogólną pos
img113 113 Rozdział 9. Dynamika procesu uczenia sieci neuronowych Rozwiązanie ma ogólną postać W(f)
img115 115 Rozdział 9. Dynamika procesu uczenia sieci neuronowych zjawisko jest znane w biologii pod
img119 119 Rozdział 9. Dynamika procesu uczenia sieci neuronowych albo — uwzględniając równanie opis
img112 Rozdział 9Dynamika procesu uczenia sieci neuronowych W poprzednich rozdziałach prezentowane b
Sieci CP str046 ■i-10. Przyspieszanie procesu uczenia momenł.nm): .(rrOO + l) Z opisywanych w litera
więcej podobnych podstron