img092 (17)

Uczenie prostych liniowych sieci jednowarstwowych

5.3.    Czy neuron może mieć wrodzone zdolności?

Radzę Ci również sprawdzić, jak na efekty uczenia wpływają “wrodzone zdolności” neuronu. W tym celu powinieneś ponowić kilka razy proces uczenia uruchamiając program od początku i obserwując zachodzące zmiany. Losowy proces nadawania wartości początkowych współczynników Wagowych spowoduje, że będziesz obserwował różne tempo uczenia neuronu dla tych samych danych wejściowych - czasem neuron uczy się wręcz błyskawicznie (taki jest od urodzenia uzdolniony!), a czasem wymaga bardzo długiego czasu nauki, w trakcie której zdarzają się nawet okresy pogarszania wyników (błąd rośnie mimo intensywnego uczenia), jeśli neuron musi przezwyciężać w trakcie nauki pewne “wrodzone preferencje”. Ten efekt przypadkowości przebiegu i wyników procesu uczenia bywa zaskakująco duży, co trzeba samemu zobaczyć, żeby w to uwierzyć. Dlatego nie oszczędzaj czasu i przeprowadź kilka doświadczeń z zaproponowanym programem zmieniając w tekście programu zakres, w jakim ustalane są początkowe losowe wartości współczynników wag. Na przykład możesz zamiast instrukcji

wagi(i) = -.1 + .2 * RND zastosować instrukcję

wagi(i) » -.4 + .8 * RND

w wyniku czego początkowe wartości wag będą miały znacznie większy wpływ na przebieg uczenia sieci i na jego wyniki. Uruchamiając kilka razy proces uczenia z tym samym ciągiem uczącym łatwo zaobserwujesz, jak duży może być wpływ przypadkowo rozłożonych początkowych wartości wag. Neuron za każdym razem będzie się uczył zupełnie inaczej! W ten sposób poznasz namacalnie jeszcze jedną, demonizowaną niekiedy (“wolna wola automatu?!”) cechę sieci neuronowych - ich indeterminizm czyli nie-przewidywalność zarówno przebiegu procesu uczenia, jak i jego wyników. W dużej sieci sumowanie się wielu losowych efektów, takich jak przebadane w opisanym programie, może prowadzić do całkiem nieprzewidywalnych zachowań sieci, co niekiedy wprawia w osłupienie “uczonych w piśmie”, przyzwyczajonych do całkowitej i niezawodnej powtarzalności zachowań typowych algorytmów numerycznych.

5.4.    Jak mocno należy neuron uczyć?

Zaproponowany wyżej prosty programik demonstracyjny może być “poligonem doświadczalnym”, na którym powinieneś zbadać jeszcze jeden ważny czynnik, wpływający na przebieg procesu uczenia, a mianowicie wpływ

Wyszukiwarka

Podobne podstrony:
img102 (17) Uczenie prostych liniowych sieci jednowarstwowych Program pozwala rozważać dwa rodzaje s
img098 (18) 92 Uczenie prostych liniowych sieci jedr5.6. Czy sieć może filtrować sygnały? Wyobraź so
img100 (17) 94 Uczenie prostych liniowych sieci jednowarstwowych Proces uczenia przebiega automatycz
img085 (23) 5Uczenie prostych liniowych sieci jednowarstwowych5.1. Jak zbudować ciąg uczący? W tym r
img086 (25) Uczenie prostych liniowych sieci jedn Zanim jednak przeczytasz, wprowadzisz do swojego k
img096 (19) Uczenie prostych liniowych sieci jedr Rys. 5.10. Przebieg egzaminu sieci w programie 04.

więcej podobnych podstron