img115

Rozdział 9. Dynamika procesu uczenia sieci neuronowych

zjawisko jest znane w biologii pod nazwą „habituacji”¹, a w teorii sieci neuronowych jest znane pod nazwą „wykrywacza nowości” (nordily dełeclor).

Przypadek 3. Tutaj także jedna funkcja jest liniowa, a druga stała, tylko odwrotnie, niż w poprzednio omówionym przypadku: 0 = ot *y = /3 y. Wówczas

dW

— = _aX-f>_v^w

Na pozór równanie to jest bardzo podobne do wyżej omówionego, jednak wsławienie liniowego równania opisującego funkcjonowanie neuronu (y = W^r X) ujawnia natychmiast rzeczywistą złożoność rozważanego tu problemu, ponieważ równanie dynamiki uczenia

dW .    _Tx

—— = (r« / — fl W W^T) X dt

jest w tym wypadku nieliniowo ze względu na W, a więc nie może być w ogólnym przypadku rozwiązane analitycznie. Istotnie, podane wyżej równanie jest szczególną postacią równania Riccatiego, którego całka nie jest znana w postaci analitycznej. Naturalnie w konkretnym przypadku zawsze pozostaje do dyspozycji rozwiązanie numeryczne, jednak jego przydatność jest bardzo ograniczona. Możliwe jest jedynie uzyskanie pewnych ogólnych informacji o wartościach W(J) przy dość oczywistych i możliwych do spełnienia w praktyce założeniach upraszczających. Przykładowo wymuszając obie strony podanego wyżej równania przez 2W^r otrzymujemy równanie

2W^t ^ = 2W^t U I - () W W⁷') X dl

Równanie to jest już równaniem skalarnym (nie wektorowym), a jego jedyną niewiadomą jest kwadrat modułu wektora W. Zapisując to w sposób jawny mamy:

|(l|W|[²)=2tf n ||W||²)

Można udowodnić, że rozwiązanie tego równania ||W||- dla y > 0 jest zbieżne do pewnej ustalonej wartości ||W*J|^a = ro można interpretować w ten sposób, że długość wektora ||W||² nie ulega w trakcie uczenia istotnym zmianom, natomiast istota uczenia polega na tym, że wektor W jest obracany w taki sposób, aby dążył do uzgodnienia swego kierunku z kierunkiem wektora X.

Podane wyżej rozważania wydają się być problematyczne, ponieważ w ogólnym przypadku trudno zagwarantować spełnienie warunku y > 0 dla dowolnego X. Rozwiązaniem może tu być jednak uwzględnienie wpływu nieliniowej funkcji ^(e), charakteryzującej się z reguły „odcinaniem” ujemnych wartości sygnałów y.

Zagadnienie obrotu wektora W w celu uzgodnienia jego położenia z kierunkiem wektora X (a dokładniej — z kierunkiem oczekiwanego (średniego) położenia wektora X) rozważymy jako problem statystyczny. Wprowadźmy pojęcie warunkowej wartości oczekiwanej:

_ E{- |W}

¹Habituarja jest procesem stopniowego przywyczAjania się .systemu nerwowego do niezmiennego zestawu bodźców zmysłowych. W wyniku habilitacji takie niezmienne bodźce po pewnym czasie przód ają być świadomie dostrzegane.

Wyszukiwarka

Podobne podstrony:
img117 117 Rozdział 9. Dynamika procesu uczenia sieci neuronowych Do tego samego wniosku można dojść
img113 113 Rozdział 9. Dynamika procesu uczenia sieci neuronowych Rozwiązanie ma ogólną postać W(f)
img117 117 Rozdział 9. Dynamika procesu uczenia sieci neuronowych Do tego samego wniosku można dojść
img119 119 Rozdział 9. Dynamika procesu uczenia sieci neuronowych albo — uwzględniając równanie opis
Sieci CP str113 113 Rozdział 9. Dynamika procesu uczenia sieci neuronowych Rozwiązanie ma ogólną pos
Sieci CP str117 117 Rozdział 9. Dynamika procesu uczenia sieci neuronowych Do tego samego wniosku mo
img112 Rozdział 9Dynamika procesu uczenia sieci neuronowych W poprzednich rozdziałach prezentowane b
28959 img162 (8) 156 Formy uczenia sieci neuronowych Rys. 8.23. Pozytywna fala optymizmu Oczywiście

więcej podobnych podstron