Sieci jednokierunkowe

Najbardziej podstawowym rodzajem sieci neuronowej jest sieć jednokierunkowa. Przepływ danych w tego typu sieciach zawsze przebiega w ściśle określonym kierunku: od warstwy wejściowej do warstwy wyjściowej. Zazwyczaj wszystkie neurony danej warstwy połączone są z każdym neuronem, znajdującym się w kolejnej warstwie.

Przykładem najprostszej sieci jednokierunkowej jest perceptronperceptronperceptron. Do uczenia wielowarstwowych perceptronów często wykorzystuje się algorytmy spadku gradientowegoalgorytm spadku gradientowegoalgorytmy spadku gradientowego. Jednym z nich jest algorytm propagacji wstecznejalgorytm propagacji wstecznejalgorytm propagacji wstecznej.

R1QJijmRcqf53

Ilustracja przedstawia sieć wielowarstwową. Od lewej strony znajdują się dwie strzałki prowadzące w prawą stronę do pierwszego rzędu złożonego z dwóch neuronów. Od każdego z tych neuronów prowadzą w prawo trzy strzałki do drugiego rzędu złożonego z trzech neuronów. Od każdego z neuronów w drugim rzędzie prowadzi w prawo jedna strzałka do trzeciego rzędu, złożonego z jednego neuronu.

W zależności od liczby warstw sieci jednokierunkowe dzielimy na:

• jednowarstwowe – nie mają warstw ukrytychwarstwa ukrytawarstw ukrytych; wejścia są bezpośrednio połączone z neuronami warstwy wyjściowej,

• dwuwarstwowe – mają dokładnie jedną ukrytą warstwę,

• wielowarstwowe – mają przynajmniej jedną ukrytą warstwę.

RLnKCxbbaeJZt

Ilustracja przedstawia sieć jednowarstwową. Składa się ona z trzech neuronów. Do każdego z nich prowadzą od dołu do góry po dwie strzałki. Z kolei od każdego neuronu w górę prowadzi jedna strzałka.

ROEI3M4yoAGUk

Ilustracja przedstawia sieć dwuwarstwową. Składa się ona z dwóch rzędów neuronów. Patrząc od dołu, do każdego z trzech neuronów rzędu pierwszego prowadzą od dołu do góry po dwie strzałki. Z kolei od każdego neuronu w górę, do neuronów drugiego rzędu prowadzi jedna strzałka. Strzałka skrajnie prawa i skrajnie lewa rozchodzi się na trzy kolejne strzałki do neuronów drugiego rzędu. Następnie ponownie od każdego z trzech neuronów prowadzi w górę jedna strzałka.

Sieci jednokierunkowe są dosyć uniwersalne. Wykorzystywane się je m.in. do rozwiązywania problemów klasyfikacji i regresji. Przy bardziej skomplikowanych problemach mogą jednak osiągać zbyt duże rozmiary.

Sieci rekurencyjne

Sieci rekurencyjne charakteryzują się tym, że połączenia między neuronami tworzy graf z cyklami (o grafach przeczytasz m.in. w e‑materiale Wprowadzenie do teorii grafówPiIOvtsALWprowadzenie do teorii grafów. Sygnały z warstwy wyjściowej przekazywane są z powrotem do warstwy wejściowej. Spośród wielu modeli sieci rekurencyjnych warto wyróżnić model Hopfielda oraz model Hamminga.

Sieć Hopfielda

Sieć Hopfielda to zbiór wielu neuronów połączonych każdy z każdym. Nie istnieje podział na warstwy. Sieci te są symetryczne – oznacza to, że waga $w_{ij}$ pomiędzy neuronem $i$ a neuronem $j$ jest taka sama jak waga $w_{ji}$.

Struktura neuronów i połączeń jest analogiczna do pełnego dwukierunkowego grafu ważonego.

Rhqj0LObjodCJ

Ilustracja przedstawia sieć Hopfielda. Są to cztery neurony, do każdego z nich prowadzi jedno połączenie. Z każdego neuronu wychodzą trzy połączenia, które łączą się z pozostałymi neuronami (neurony nie łączą się z samym sobą). Następnie z każdego neuronu wychodzi po jednym połączeniu.

Sieci Hopfielda są często wykorzystywane jako swego rodzaju pamięć skojarzeniowa. Mają one zdolność do prawidłowej interpretacji zniekształconych lub niekompletnych danych. Są także używane do rozwiązywania trudnych problemów optymalizacyjnych, takich jak problem komiwojażeraproblem komiwojażerakomiwojażera – który omówiony został w e‑materiale Problemy i algorytmy grafowePVr402CYKProblemy i algorytmy grafowe.

Sieć Hamminga

Inną siecią, która wykorzystywana jest do rozwiązywania podobnych problemów jak sieć Hopfielda, jest sieć Hamminga.

Sieć Hamminga jest rozwinięciem sieci Hopfielda w postaci dodatkowej warstwy wejściowej oraz wyjściowej. Oznacza to, że struktura warstwowa sieci Hamminga wygląda następująco:

• warstwa pierwsza – jednokierunkowa warstwa neuronów,

• warstwa druga – neurony połączone każdy z każdym, tak jak w sieci Hopfielda,

• warstwa trzecia – jednokierunkowa warstwa neuronów.

R1em56ibu5wNv

Ilustracja przedstawia sieć Hamminga, jest to sieć neuronowa podzielona na trzy warstwy. Warstwa pierwsza, z każdego punktu wejściowego jest połączenie do neuronu, jest tyle połączeń ile neuronów. Następnie neurony z warstwy pierwszej mają po jednym połączeniu do neuronu z warstwy drugiej. W warstwie drugiej neurony połączone są siecią Hopfielda, w której każdy neuron wyprowadza połączenie do każdego kolejnego neuronu w warstwie drugiej oprócz samego siebie. Następnie neurony z warstwy drugiej łączą się do każdego neuronu z warstwy trzeciej. W warstwie trzeciej z każdego neuronu wychodzi po jednym połączeniu.

Sieć Hamminga daje zazwyczaj lepsze rezultaty niż sieć Hopfielda, a jej dodatkową zaletą jest duża oszczędność połączeń między neuronami. Dla sieci o 50 wejściach, kodującej 10 różnych cech, sieć Hopfielda wymaga 2500 połączeń. Natomiast sieć Hamminga wymaga ich jedynie 600, ponieważ potrzeba 500 połączeń pomiędzy warstwą pierwszą i drugą oraz 100 połączeń pomiędzy 10 neuronami w drugiej warstwie.

Słownik