Przeczytaj
Prawo Hebba a uczenie głębokie
Z biologicznego punktu widzenia, dzięki plastyczności neuronów, jesteśmy w stanie się uczyć i odpowiednio reagować na dane bodźce. Struktura układu i siły synaps w mózgu człowieka podlegają ciągłym zmianom na skutek przeżyć oraz nowych doświadczeń.
Dzięki odkryciu kanadyjskiego psychologa, Donalda Hebba, wiemy, jak struktura połączeń przechowuje informacje. W roku opublikował on książkę „Organizacja zachowań”, w której przestawił teorię dotyczącą neuronalnych podstaw uczenia się.
Hebb zaobserwował, że jeżeli pewna para neuronów jest aktywna mniej więcej w tym samym czasie, to następuje wzmocnienie połączenia między nimi. Dziś nazywamy to zjawisko prawem Hebbaprawem Hebba. Jest ono wykorzystywane nie tylko do efektywnego utrwalania informacji w ludzkim mózgu, ale także do uczenia sztucznych sieci neuronowych.
Organizacja zachowańWspółczesna psychologia uważa za całkowicie uzasadnione, że zachowanie się koreluje doskonale z funkcją nerwową, że wiąże je ścisły determinizm. Nie istnieje żadna oddzielna dusza czy siła życiowa ingerująca w działanie mózgu i aktywizująca jego komórki do specyficznej czynności, do której bez tego nie byłoby zdolne. (...) Urągałoby to logice być deterministą w fizyce, chemii i biologii, a mistykiem w psychologii.
Źródło: Organizacja zachowań, dostępny w internecie: https://encyklopedia.biolog.pl/ [dostęp 29.04.2022].
Dzięki prawu Hebba wiemy, że podczas nauki sztucznej sieci neuronowej należy modyfikować wagi połączeń między sąsiednimi neuronami. Dzięki temu stają się wzmocnione i są w stanie wzajemnie się aktywować w specyficznych przypadkach. Jednym z modeli wykorzystujących prawo Hebba jest perceptronperceptron zaproponowany przez Franka Rosenblatta w roku. Perceptron uważany jest za jeden z pierwszych modeli sztucznej sieci neuronowej.
Idee Donalda Hebba przyczyniły się do powstania modelu równoległego rozproszonego przetwarzania informacji, czyli tzw. koneksjonimzu, spopularyzowanego w latach 80. przez naukowców Uniwersytetu Stanforda: Jamesa McClellanda i Davida Rumelharta. Sieć Hopfielda jest najlepszym przykładem takiego modelu. Istnieje przekonanie, że właśnie z koneksjonizmu wyewoluowała dziedzina głębokich sieci neuronowych. Do zwolenników tej idei należy m.in. Geoffrey Hinton, absolwent psychologii kognitywnej, uważany za ojca chrzestnego nurtu deep learning.
Deep learning, czyli tzw. uczenie głębokie, to podkategoria uczenia maszynowego. Polega na tworzeniu sieci neuronowych, które mają za zadanie udoskonalić technikę rozpoznawania głosu, przetwarzania języka naturalnego. Jest to poddziedzina uczenia maszynowego, a podstawowym czynnikiem wyróżniającym deep learning jest fakt, że proces uczenia nie wymaga kontroli człowieka, czyli zachodzi w sposób nienadzorowany.
Metody uczenia sieci neuronowych
Sieci neuronowe mają zdolność uczenia się, czyli modyfikacji i dostosowywania wag swoich połączeń między neuronami. Dzięki temu mają one charakter sztucznej inteligencji, gdyż potrafią same dostosowywać się do przekazywanych danych. Celem uczenia jest taki dobór wag, aby sieć jak najlepiej rozwiązywała zadany problem.
Z punktu widzenia systemu uczącego można wyróżnić następujące metody uczenia:
uczenie z nadzorem,
uczenie stochastyczne,
stochastyczny spadek wzdłuż gradientu,
wzmacnianie gradientowe,
metoda gradientu prostego,
metoda najmniejszych kwadratów,
propagacja wsteczna,
uczenie ze wzmocnieniem,
proces decyzyjny Markova,
metoda różnic tymczasowych,
algorytm SARSA,
uczenie bez nadzoru (samoorganizujące się),
reguła Hebba,
uczenie z rywalizacją.
Uczenie nienadzorowane
Sieć neuronowa Kohonena to najczęściej stosowana sieć samoucząca się, realizująca zasadę samoorganizacji (SOM). Jest to także najbardziej znany przykład sieci konkurencyjnej, wykorzystującej koncepcję sąsiedztwa. W wyniku uczenia tej sieci powstaje mapa topologiczna, której aprioryczna interpretacja jest niemożliwa (bo sieć uczy się bez nauczyciela i użytkownik nie może kontrolować aktywności sieci). Jednak po procesie nauczenia można zwykle ustalić, jakie znaczenie mają poszczególne rejony tej mapy (tworzonej przez sygnały wyjściowe, pochodzące z warstwy topologicznej) – w tym celu analizuje się konkretne przykłady danych wejściowych.
Sieci Kohonena cechują się tym, że działają w wielowymiarowych przestrzeniach danych wejściowych, w związku z czym warstwa wejściowa zawiera bardzo wiele neuronów (skojarzonych z wieloma sygnałami wejściowymi). Podobnie typowa warstwa topologiczna sieci Kohonena zawiera bardzo wiele neuronów, dzięki czemu sieć – po nauczeniu – może prezentować bardzo subtelne rozróżnienia i klasyfikacje danych wejściowych. Nazwa pochodzi od nazwiska fińskiego uczonego, Teuvo KohonenaTeuvo Kohonena.
![Ilustracja przedstawia sieć Kohonena. Po lewej stronie schematu jest wektor wejściowy. Ma postać szarej kropki. Jedna kropka jest niżej, druga wyżej i nieco w prawo. Od kropek odchodzą cienkie szare linie. Prowadzą do niebieskich kulek - to neurony. Neurony tworzą sieć czterech rzędów po cztery niebieskie kulki w jednej płaszczyźnie. Kulki są połączone czarnymi liniami.](https://static.zpe.gov.pl/portal/f/res-minimized/R1IBIXHPfNjot/1677592208/1BG8EBfUKLOWaiS4LqlyStKsO093Ucae.png)
Słownik
najprostsza sieć neuronowa, składająca się z jednego bądź wielu niezależnych neuronów, implementująca algorytm uczenia nadzorowanego klasyfikatorów binarnych; perceptron jest funkcją, która określa przynależność parametrów wejściowych do jednej z dwóch klas, poprzez wskazanie, czy coś należy czy nie do pierwszej klasy; perceptron może być wykorzystywany tylko do klasyfikowania zbiorów liniowo separowalnych, aby testować przynależność do więcej niż dwóch klas, należy użyć perceptronu z większą liczbą neuronów, w którym klasy zakodowane są jako wyjścia perceptronu (dla danych testowych), w postaci bitów
stwierdzenie, zgodnie z którym połączenia synaptyczne są wzmacniane, gdy dwa lub więcej neuronów aktywuje się w sposób ciągły w czasie i przestrzeni; zachodzą wtedy zmiany strukturalne sprzyjające pojawianiu się złożeń lub sieci neuronowych
wybitny fiński uczony zajmujący się badaniami na tle sieci neuronowych; opublikował kilka książek i ponad 300 artykułów; jest najbardziej znany ze swoich samoorganizujących się map, określanych także jako sieci neuronowe Kohonena