img053 (34)

oprowadzenie do techniki sie

i wyjściowej. Istota problemu pojawiającego się przy uczeniu neuronów warstwy ukrytej polega na tym, że dla neuronów tych nie da się bezpośrednio wyznaczyć wielkości błędów (delta), ponieważ nauczyciel podaje wzorcowe wartości sygnałów jedynie dla warstwy wyjściowej, natomiast sygnałów wyznaczonych przez neurony warstwy ukrytej (też zapewne na początku uczenia błędnych) nie ma z czym porównać. Pewnym rozwiązaniem dla tego problemu jest metoda tak zwanej wstecznej propagacji błędu (backpropagation), zaproponowana po raz pierwszy przez Paula Werbosa a potem spopularyzowana przez Davida Rumelharta i wiązana zwykle z jego imieniem.

Metoda ta polega na odtwarzaniu przypuszczalnych wartości błędów głębszych (ukrytych) warstw sieci na podstawie rzutowania wstecz błędów wykrytych w warstwie wyjściowej. Z grubsza można powiedzieć (w tej chwili - bo w dalszych rozdziałach książki proces ten poddany będzie bardzo szczegółowej analizie) robi się to w ten sposób, że rozważając każdy kolejny neuron warstwy ukrytej bierze się pod uwagę błędy wszystkich tych neuronów, do których wysyłał on swój sygnał wyjściowy i sumuje się je, 'uwzględniając wielkości współczynników wag połączeń między rozważanym neuronem a neuronami, których błędy są sumowane. W ten sposób “odpowiedzialność” za błędy neuronów warstwy ukrytej obciąża neuron warstwy ukrytej tym silniej, im silniej (bo z większą wagą) wpływał sygnał danego neuronu ukrytego na wypracowanie określonych sygnałów warstwy ukrytej (czyli na powstanie określonych błędów). Dokładniej (matematycznie) algorytm uczenia ukrytych warstw sieci metodą wstecznej propagacji opisany jest w ramce 8.

Postępując konsekwentnie w ten sposób i posuwając się krok po kroku od wyjścia do wejścia sieci można wyznaczyć przypuszczalne błędy wszystkich neuronów, a tym samym uzyskać przesłanki pozwalające określić potrzebne poprawki współczynników Wagowych tych neuronów. Oczywiście opisane postępowanie nie pozwala nigdy wyznaczyć błędów neuronów warstw pośrednich w sposób idealnie dokładny, zatem korekty błędów w trakcie procesu uczenia są mniej trafne i mniej dokładne, niż w przypadku sieci bez warstw ukrytych. Przejawia się to w praktyce znacznie wydłużonym czasem uczenia takich sieci, o czym była wyżej mowa. Biorąc jednak pod uwagę znacznie szerszy zakres możliwości sieci wielowarstwowych uznać trzeba, że warto ponieść koszt zwiększonej złożoności procesu uczenia, nawet jeśli potrzebny wynik (w postaci poprawnie wytrenowanej sieci) uda się osiągnąć dopiero po kilkudziesięciu tysiącach pokazów wszystkich obiektów ciągu uczącego.

Z wielokrotnym prezentowaniem w trakcie uczenia sieci neuronowej wszystkich obiektów ciągu uczącego wiążą się pewne dodatkowe problemy.

Wyszukiwarka

Podobne podstrony:
img137 (11) oprowadzenie do techniki sieci neuronowych Po ustaleniu się sygnałów wyjściowych na obyd
img253 (6) oprowadzenie do techniki sieci neuronowych 247 wartości dodatnie stają się w miarę upływu
img035 (52) oprowadzenie do techniki sieci neuronowych 29 Sieci Hopfielda cechują się natomiast tym,
img073 (30) Elementa oprowadzenie do techniki sieci neuronowych 67 Nie przejmuj się, że program
img221 (8) oprowadzenie do techniki sieci 215 Jeśli się zastanowisz, to zauważysz, że po skończonej
img273 (6) oprowadzenie do techniki sieci neuronowych 267 Aktualnie wprowadzany wzorzec litery E oka

więcej podobnych podstron