img019

Rozdział 2. Historia powstania i kierunki rozwoju sieci neuronowych

Jedną z ważniejszych cech sieci jest ich zdolność do adaptacji i samoorganizacji. Jest to atut wykorzystywany w większości niebanalnych zastosowań. Sieci neuronowe cechuje także zmniejszona wrażliwość na uszkodzenia elementów, co częściowo można wyjaśnić na gruncie teorii przytoczonej w pracy (Zmys71). Wydaje się, że ten aspekt sieci nie został jeszcze w pełni wykorzystany w praktyce. Jednak najistotniejszą zaletą sieci neuronowych jest ich zdolność do równoległej pracy, która warta jest szerszego omówienia.

Systemami technicznymi, z którymi sieci neuronowe najczęściej się porównuje, są systemy współbieżne. Jednak stopień współbieżności obliczeń jest w sieciach neuronowych setki razy większy, niż w najnowocześniejszych systemach wieloprocesorowych. Powoduje to, że sieci neuronowe dają możliwość znacznego przyspieszenia obliczeń w większości zadań, do których są stosowane. Duże zainteresowanie, jakie budzi zagadnienie sprawności przetwarzania informacji w sieciach neuronowych, jest więc w pełni uzasadnione. Dodatkowym atutem sieci jest wygoda ich programowania poprzez uczenie. Zamiast projektować algorytm wymaganego przetwarzania informacji i dzielić go na moduły nadające się do współbieżnego wykonywania — stawia się sieci przykładowe zadania i automatycznie, zgodnie z założoną strategią uczenia modyfikuje się połączenia elementów sieci i ich współczynniki wagowe. W ten sposób sieć programuje się sama, co czasem prowadzi do rozwiązań w bardzo krótkim czasie, a innym razem może wymagać, tysięcy iteracji — ale zawsze przebiega w sposób samoczynny, a więc nie absorbujący dla człowieka poszukującego określonych rozwiązań.

Często spotyka się zresztą prace łączące i w inny sposób problematykę sieci neuronowych z nowoczesnym podejściem do zagadnień automatyzacji projektowania algorytmów. Rozważa się podejścia polegające na stosowaniu tak zwanego programowania logicznego lub (częściej) zasady samoprogramowania znanej pod nazwą programowania genetycznego. Obok zagadnień automatycznego tworzenia algorymów w sieciach neuronowych w toku procesu uczenia, podejmowane są także tematy reprezentacji danych w sieciach neuronowych oraz ogólnych zasad prowadzenia przez te sieci różnych form obliczeń.

Stosunkowo często są podejmowane ostatnio badania dotyczące dynamiki sieci neuronowych. Wynika z nich konkurencyjność podejścia opartego na sieciach neuronowych w stosunku do klasycznych metod realizacji układów sekwencyjnych. Bardzo inspirujące okazały się także prace wiążące tematykę sieci neuronowych z fizyką statystyczną, a procesy uczenia sieci wiążące z bardzo inspirującą analogią procesów krystalizacji i szklą spinowego. Tematyka ta ma bardzo obszerną bibliografię w czasopismach ściśle fizycznych, którą jednak pominięto w tym zestawieniu ze względu na jego techniczny i aplikacyjny charakter. Czytelników zainteresowanych związkami problematyki sieci nauroiiowych z zagadnieniami nowoczesnej fizyki wypada odesłać do periodyków fizycznych, z których na szczególne polecenie zasługują: Physica D, Physicat Revicw i J. Stalisiicai Physics jako pisma, w których problematyka sieci neuronowych gości szczególnie często.

2.5 Narzędzia realizacji sieci neuronowych

2.5.1 Uwagi ogólne

Najczęściej sieci neuronowe są realizowane jako modele matematyczne lub symulacyjne, do czego budowane są niekiedy specjalne komputery (np. procesor DELTA firmy SAIC) albo systemy komputerowe specjalnie dostosowane do wykorzystania w pracach nad sieciami. Badane są także specjalne zasady budowy algorytmów dla sieci neuronowych oraz tworzone jest specjalne oprogramowanie dla potrzeb modelowania sieci, w którym wykorzystuje się