Originalni prosojnici (str. 112–113)
Kratko poglavje brez lastnih izpitnih nalog — a brez modela nevrona ne razumeš poglavij 9 in 10, ki dajeta štiri naloge. Preberi enkrat pozorno in se poigraj z modelom nevrona.
| Računalniki | Možgani | |
|---|---|---|
| 1. Postopek razpoznavanja | se ne učijo, ampak so programirani za razpoznavanje določenih objektov | ljudje razpoznavamo na osnovi izkušenj (poizkušanje, analiziranje napak) |
| 2. Čas za izvrševanje nalog | ekstremno hitri (milijonkrat hitreje preklapljajo kot možgani), a določenih nalog ne morejo izvesti v realnem času | sestojijo iz množice nevronov, s katerimi večino razpoznavanj izvedemo hipoma |
| 3a. Način izračunavanja | informacijo obdelujejo zaporedno | informacijo obdelujejo paralelno |
| 3b. Zgradba | sestojijo iz množice sofisticiranih komponent — če le ena odpove, je celoten sistem praktično neuporaben | sestojijo iz množice identičnih gradnikov (nevronov) — kljub odpovedi mnogih nevronov se obnašanje bistveno ne spremeni |
Druge pomembne prednosti možganov: so adaptivni sistemi; imajo sposobnost posploševanja; informacijo obdelujejo decentralizirano z redundancami; možgani so »narejeni« iz proteinske oz. biotehnologije.
Te tri razlike niso zgodovinska anekdota — so zahtevnik za nevronske mreže. Vsaka lastnost mreže, ki jo srečaš kasneje, je poskus posnemanja ene od njih: učenje namesto programiranja (gradientni sestop), paralelnost (vsi nevroni plasti računajo hkrati), robustnost in posploševanje (mreža vrne smiseln izhod tudi za vhode, ki jih ni videla).
Trije glavni deli nevrona:
| Podatek | Vrednost |
|---|---|
| Število nevronov v človeških možganih | približno $10^{11}$ |
| Teoretično možno število vhodnih povezav na nevron | do 10.000 |
| Frekvenca električnih impulzov | od nekaj do 100 impulzov na sekundo |
Sinapsa je mesto, kjer se akson prejšnjega nevrona in dendrit trenutnega nevrona stikata. Nevroni generirajo električne impulze, ki se prenašajo vzdolž aksona do sinaps drugega nevrona:
| Biološko | Model |
|---|---|
| Vhodna vlakna (dendriti) | vhodi $x_i$ |
| Izhodno vlakno (akson) | izhod $y$ |
| Prenosna učinkovitost sinaps | realno število $w_i$ — utež vhoda |
Vhod $x_i$ modelira prisotnost ter frekvenco vlaka električnih impulzov v vlaknu:
Obtežen vhod v celično telo — seštevek električnih impulzov iz vseh dendritov:
Izhod $y$ je monotono naraščajoča funkcija obteženega vhoda $s$:
Funkcija $f$ je prenosna oz. aktivacijska funkcija nevrona. Najbolj znane so:
V poglavju 9 boš videl zapis $s = w_0 + w_1x_1 + \dots + w_nx_n$ oz. $s(x_i) = \hat{x}\hat{w}$. Trik je v tem, da vpeljemo navidezni vhod $x_0 = 1$; njegova utež $w_0$ je potem prag. Zato govorimo o razširjenem vektorju uteži $\hat{w} = [w_0, w_1, \dots, w_n]$ — in prav ta zapis se pojavi v izpitnih nalogah 22, 23 in 24.
Nevronska mreža (NN) je množica medsebojno povezanih nevronov.
Topologija nevronske mreže je razmestitev oz. organiziranost nevronov v mreži. Osnovna struktura je: vhodna plast → skrita plast → izhodna plast.
Pleada različnih vrst nevronskih mrež: binarni in zvezni perceptroni, Hopfieldove nevronske mreže, nevronske mreže z radialnimi baznimi funkcijami, Elmanove nevronske mreže, samoorganizirajoče se nevronske mreže itd.
Zvezni večplastni perceptron (poglavje 9) je zvezna in statična mreža. SOM (poglavje 10) ima bočne povezave med nevroni, torej je v osnovni obliki dinamična — in prav zato pri njej uvedemo ekvivalentni algoritem, ki rekurzijo nadomesti s preprostim iskanjem najbližjega vektorja uteži.
Sinapsa določa, kako močno se signal iz enega nevrona prenese v drugega, in ali ga vzbuja ali zavira. V modelu je to realno število $w_i$: pozitivna utež = vzbujanje, negativna = zaviranje. Ker se učinkovitost sinaps med delovanjem spreminja, se med učenjem spreminjajo ravno uteži.
Vpeljemo $x_0 = 1$, zato je $w_0 \cdot x_0 = w_0$ del iste vsote. To omogoča, da prag obravnavamo kot navadno utež in ga učimo z isto formulo kot ostale. Vektorju $\hat{w} = [w_0, w_1, \dots, w_n]$ pravimo razširjeni vektor uteži — na izpitu ga vedno dobiš v tej obliki.
Znanje v nevronski mreži ni shranjeno na enem mestu, ampak porazdeljeno po vseh utežeh — nobena posamezna utež ni nujna. To je nasprotje računalnika, kjer je vsaka komponenta sofisticirana in specializirana, zato je odpoved ene usodna. Odgovor c) je res razlika, a govori o hitrosti, ne o robustnosti.