Prawo Hebba a uczenie głębokie

Z biologicznego punktu widzenia, dzięki plastyczności neuronów, jesteśmy w stanie się uczyć i odpowiednio reagować na dane bodźce. Struktura układu i siły synaps w mózgu człowieka podlegają ciągłym zmianom na skutek przeżyć oraz nowych doświadczeń.

Dzięki odkryciu kanadyjskiego psychologa, Donalda Hebba, wiemy, jak struktura połączeń przechowuje informacje. W $1949$ roku opublikował on książkę „Organizacja zachowań”, w której przestawił teorię dotyczącą neuronalnych podstaw uczenia się.

Hebb zaobserwował, że jeżeli pewna para neuronów jest aktywna mniej więcej w tym samym czasie, to następuje wzmocnienie połączenia między nimi. Dziś nazywamy to zjawisko prawem Hebbaprawo Hebbaprawem Hebba. Jest ono wykorzystywane nie tylko do efektywnego utrwalania informacji w ludzkim mózgu, ale także do uczenia sztucznych sieci neuronowych.

Dzięki prawu Hebba wiemy, że podczas nauki sztucznej sieci neuronowej należy modyfikować wagi połączeń między sąsiednimi neuronami. Dzięki temu stają się wzmocnione i są w stanie wzajemnie się aktywować w specyficznych przypadkach. Jednym z modeli wykorzystujących prawo Hebba jest perceptronperceptronperceptron zaproponowany przez Franka Rosenblatta w $1957$ roku. Perceptron uważany jest za jeden z pierwszych modeli sztucznej sieci neuronowej.

Idee Donalda Hebba przyczyniły się do powstania modelu równoległego rozproszonego przetwarzania informacji, czyli tzw. koneksjonimzu, spopularyzowanego w latach 80. przez naukowców Uniwersytetu Stanforda: Jamesa McClellanda i Davida Rumelharta. Sieć Hopfielda jest najlepszym przykładem takiego modelu. Istnieje przekonanie, że właśnie z koneksjonizmu wyewoluowała dziedzina głębokich sieci neuronowych. Do zwolenników tej idei należy m.in. Geoffrey Hinton, absolwent psychologii kognitywnej, uważany za ojca chrzestnego nurtu deep learning.

Metody uczenia sieci neuronowych

Sieci neuronowe mają zdolność uczenia się, czyli modyfikacji i dostosowywania wag swoich połączeń między neuronami. Dzięki temu mają one charakter sztucznej inteligencji, gdyż potrafią same dostosowywać się do przekazywanych danych. Celem uczenia jest taki dobór wag, aby sieć jak najlepiej rozwiązywała zadany problem.

Z punktu widzenia systemu uczącego można wyróżnić następujące metody uczenia:

• uczenie z nadzorem,

  • uczenie stochastyczne,

    • stochastyczny spadek wzdłuż gradientu,

    • wzmacnianie gradientowe,

  • metoda gradientu prostego,

    • metoda najmniejszych kwadratów,

    • propagacja wsteczna,

• uczenie ze wzmocnieniem,

  • proces decyzyjny Markova,

  • metoda różnic tymczasowych,

  • algorytm SARSA,

• uczenie bez nadzoru (samoorganizujące się),

  • reguła Hebba,

  • uczenie z rywalizacją.

Uczenie nienadzorowane

Sieć neuronowa Kohonena to najczęściej stosowana sieć samoucząca się, realizująca zasadę samoorganizacji (SOM). Jest to także najbardziej znany przykład sieci konkurencyjnej, wykorzystującej koncepcję sąsiedztwa. W wyniku uczenia tej sieci powstaje mapa topologiczna, której aprioryczna interpretacja jest niemożliwa (bo sieć uczy się bez nauczyciela i użytkownik nie może kontrolować aktywności sieci). Jednak po procesie nauczenia można zwykle ustalić, jakie znaczenie mają poszczególne rejony tej mapy (tworzonej przez sygnały wyjściowe, pochodzące z warstwy topologicznej) – w tym celu analizuje się konkretne przykłady danych wejściowych.

Sieci Kohonena cechują się tym, że działają w wielowymiarowych przestrzeniach danych wejściowych, w związku z czym warstwa wejściowa zawiera bardzo wiele neuronów (skojarzonych z wieloma sygnałami wejściowymi). Podobnie typowa warstwa topologiczna sieci Kohonena zawiera bardzo wiele neuronów, dzięki czemu sieć – po nauczeniu – może prezentować bardzo subtelne rozróżnienia i klasyfikacje danych wejściowych. Nazwa pochodzi od nazwiska fińskiego uczonego, Teuvo KohonenaTeuvo Kalevi KohonenTeuvo Kohonena.

R1IBIXHPfNjot

Ilustracja przedstawia sieć Kohonena. Po lewej stronie schematu jest wektor wejściowy. Ma postać szarej kropki. Jedna kropka jest niżej, druga wyżej i nieco w prawo. Od kropek odchodzą cienkie szare linie. Prowadzą do niebieskich kulek - to neurony. Neurony tworzą sieć czterech rzędów po cztery niebieskie kulki w jednej płaszczyźnie. Kulki są połączone czarnymi liniami.

Słownik