8 bitov → $Q = 2^8 - 1 = 255$. Območje napetosti je $[0,\,2]$ V (nad 2 V se poreže).

$g = \dfrac{U - U_{\min}}{U_{\max} - U_{\min}}\cdot Q = \dfrac{1{,}1 - 0}{2 - 0}\cdot 255 = 0{,}55 \cdot 255 = 140{,}25 \;\to\; \mathbf{140}$

Past: $U_{\max}$ je 2 V (meja poreza), ne 1 V ali 5 V. In množimo z $Q = 255$, ne s 256.

1) Enote v metre: $f = 0{,}020$ m, $P = [4{,}32,\; 2{,}34,\; 6{,}78]$ m.

2) $\alpha = kf = 100 \cdot 0{,}020 = 2$ px, $\beta = lf = 2$ px.

3) $\cot 88° = 0{,}03492$, $\sin 88° = 0{,}99939$.

$u = \dfrac{\alpha x - \alpha\cot\theta\cdot y}{z} + u_0 = \dfrac{2\cdot4{,}32 - 2\cdot0{,}03492\cdot2{,}34}{6{,}78} + 800 = 1{,}274 - 0{,}024 + 800 = 801{,}25 \to \mathbf{801}$

$v = \dfrac{\beta/\sin\theta \cdot y}{z} + v_0 = \dfrac{2{,}0012 \cdot 2{,}34}{6{,}78} + 600 = 0{,}691 + 600 = 600{,}69 \to \mathbf{601}$

Kontrola reda velikosti: ker so $\alpha$ in $\beta$ le 2 px, mora biti rezultat zelo blizu $(u_0, v_0) = (800, 600)$. Odgovori b), c), e) so takoj izločeni.

Homogene koordinate: $P_i = [58, 245, 89, \mathbf{1}]^T$, $u_i = 115$, $v_i = 140$.

Liha vrstica ima obliko $[\,P_i^T \mid 0^T \mid -u_i P_i^T\,]$:

$[58,\,245,\,89,\,1,\;\; 0,\,0,\,0,\,0,\;\; -115\cdot58,\,-115\cdot245,\,-115\cdot89,\,-115]$
$= [58,\,245,\,89,\,1,\;0,\,0,\,0,\,0,\;\mathbf{-6670},\,\mathbf{-28175},\,\mathbf{-10235},\,\mathbf{-115}]$

Kako hitro izločiš napačne: b) uporablja $v_i$ (to je soda vrstica), d) ima le 9 elementov, f) je pozabil pomnožiti z $u_i$, c) je uporabil napačno število.

Histogram (20 pikslov): $h = [2,\,4,\,3,\,2,\,3,\,2,\,3,\,1]$ za sivine 0…7.

$g' = \dfrac{Q}{MN}\displaystyle\sum_{i=0}^{1}h_i = \dfrac{255}{20}(h_0 + h_1) = 12{,}75 \cdot (2+4) = 12{,}75 \cdot 6 = 76{,}5 \to \mathbf{77}$

Pasti: vsota je kumulativna do vključno 1, ne samo $h_1$ (to bi dalo 51). $MN = 20$ je število pikslov cele slike.

Piksel (3, 1) → okolica 3×3 so vrstice 2–4 in stolpci 0–2:

1  102  46
198  66  67
208  204  37

Urejeno: 1, 37, 46, 66, 67, 102, 198, 204, 208 → mediana je 5. vrednost = 67.

Past: mediana ni vrednost sredinskega piksla (66) in ni povprečje (103,2).

Piksel (3, 2) → okolica so vrstice 2–4 in stolpci 1–3:

102  46  148
66  67  140
204  37  37

Vsota $= 102+46+148+66+67+140+204+37+37 = 847$
$I'(3,2) = \dfrac{847}{9} = 94{,}11 \to \mathbf{94}$

94 ni med ponujenimi odgovori → pravilen je »Nič od naštetega«. To je pomembna lekcija: če si postopek naredil pravilno in rezultata ni na seznamu, ne popravljaj postopka na silo. Ta možnost je na obeh izpitih večkrat pravilna.

Okolica piksla (2, 2) — vrstice 1–3, stolpci 1–3:

22  232  222
102  46  148
66  67  140

$Y = I * H_1 = 1\cdot22 + 2\cdot232 + 1\cdot222 - 1\cdot66 - 2\cdot67 - 1\cdot140 = 708 - 340 = \mathbf{368}$

$X = I * H_2 = 22 - 222 + 2\cdot102 - 2\cdot148 + 66 - 140 = \mathbf{-366}$

$\sqrt{X^2+Y^2} = \sqrt{133956 + 135424} = \sqrt{269380} = \mathbf{519{,}0} > 500$ → Da

Opomba: tu bi tudi približek $|X|+|Y| = 734$ dal isti odgovor, a pri drugih številkah se odgovora razlikujeta — zato naloga posebej pove »eksaktna formula«.

Po pragu $I \geq 100$ dobimo binarno sliko:

1 0 1 1
1 0 0 0
0 0 1 1
1 0 1 0
1 0 1 0

Označevanje (8-sosedstvo, levo→desno, navzdol):

• (0,0) = 1, ni pregledanih sosedov → oznaka 1
• (0,2) = 1, sosed (0,1) = 0 → oznaka 2; (0,3) se pridruži oznaki 2
• (1,0) = 1, sosed (0,0) ima oznako 1 → oznaka 1
• (2,2) = 1, vsi pregledani sosedi so 0 → oznaka 3; (2,3) → oznaka 3
• (3,0) = 1, sosedi (2,0) = 0 in (2,1) = 0 → oznaka 4

Ključno: (2,0) ima vrednost 89 < 100, torej je ozadje — zato (3,0) ne more prevzeti oznake 1 in dobi novo.

Histogram (20 pikslov): $h = [3,\,4,\,3,\,4,\,1,\,4,\,1,\,0]$

Kumulative $A_k$ in razmerja $A_k / A_Q$:

Iščemo $T$, kjer je $A_T/A_Q \approx 0{,}5$ → $T = \mathbf{2}$ (razmerje je natanko 0,50). Pogoj $S = 1$ pri $I > T$ tu potrjuje, da je iskani prag res tisti, pri katerem kumulativa doseže polovico.

Smeri: 0 = V, 1 = SV, 2 = S, 3 = SZ, 4 = Z, 5 = JZ, 6 = J, 7 = JV.

Korak 1: prvi piksel ≠ 0 pri pregledu levo→desno navzdol je (1, 1) → $p_0 = (1,1)$, dir = 7.

Korak 2: dir = 7 je liho → začnemo pri smeri $(7+7) \bmod 8 = 6$ (J) in gremo v proti urni smeri.
smer 6 (J) → (2,1) = 0 ✗ · smer 7 (JV) → (2,2) = 1 ✓ → $p_1 = (2,2)$, dir = 7.

Korak 2 ponovno: dir = 7 liho → začnemo pri smeri 6 (J).
smer 6 (J) → (3,2) = 1 ✓ → $p_2 = (3,2)$, dir = 6.

Štetje: $p_0$ je 1. obiskani, $p_1$ 2., $p_2$ 3. → odgovor je (3, 2). Odgovor e) je past za tiste, ki $p_0$ ne štejejo, b) za tiste, ki se ustavijo pri $p_1$.

Te naloge ni treba računati — šablono poiščeš vizualno. Ujema se popolnoma v vrsticah 5–7 in stolpcih 2–6.

Tam je razlika $|I - H| = 0$ v vseh 15 pikslih, torej $C_1 = 1/0 \to \infty$ — daleč nad pragom $T = 10$.

Položaj podamo kot središče šablone. Šablona 3×5 ima središče odmaknjeno za (1, 2) od levega zgornjega kota: $(5+1,\; 2+2) = \mathbf{(6, 4)}$.

Past: odgovor f) (6, 6) bi bil pravilen, če bi bila šablona 3×3 — vedno preveri velikost šablone.

Dogovor predmeta: x je po stolpcu (spreminja se vrstica), y je po vrstici (spreminja se stolpec).

$I_x = I_1(4,2) - I_1(3,2) = 204 - 124 = \mathbf{80}$
$I_y = I_1(3,3) - I_1(3,2) = 202 - 124 = \mathbf{78}$
$I_t = I_2(3,2) - I_1(3,2) = 12 - 124 = \mathbf{-112}$

Enačba $I_x u_x + I_y u_y + I_t = 0$ → $80 u_x + 78 u_y - 112 = 0$

Past: če zamenjaš x in y, dobiš $78 u_x + 80 u_y - 112 = 0$ — in ravno zato je med odgovori več variant z zamenjanimi ali negativnimi koeficienti.

1) Povprečje vseh: $\dfrac{89+80+60+83+78+73+84}{7} = \dfrac{547}{7} = 78{,}14$

2) Izločimo tiste, kjer je $|x - 78{,}14| > 10$:

3) Povprečje preostalih: $\dfrac{80+83+78+73+84}{5} = \dfrac{398}{5} = 79{,}6 \to \mathbf{80}$

Past: odgovor b) 78 dobiš, če uporabiš postopek 1 (povprečje vsega).

1) Protisimetrična matrika:

$[t_\times] = \begin{bmatrix}0 & -73 & 69\\ 73 & 0 & -4\\ -69 & 4 & 0\end{bmatrix}$

2) Osnovna matrika $\mathsf{E} = [t_\times]\mathsf{R}$:

$\mathsf{E} = \begin{bmatrix}398 & -154 & 402\\ 252 & 284 & 183\\ -260 & -260 & -195\end{bmatrix}$

3) $\mathsf{E}\,p' = \mathsf{E}\,[49, 62, 1]^T = [10356,\; 30139,\; -29055] = [a, b, c]$

4) Premica $au + bv + c = 0$ → $v = -\dfrac{a}{b}u - \dfrac{c}{b} = -\dfrac{10356}{30139}u + \dfrac{29055}{30139} = \mathbf{-0{,}34u + 0{,}96}$

Past: odgovor a) ima oba predznaka obrnjena — to dobiš, če pozabiš minus pri $-a/b$ in $-c/b$. Preveri predznake v $[t_\times]$: druga vrstica je $[t_3, 0, -t_1]$.

1) Normalizacija — najprej premik, nato skaliranje:

$u = (272 - 558)\cdot0{,}52 = -148{,}72$    $v = (230 - 163)\cdot0{,}52 = 34{,}84$
$u' = (171 - 666)\cdot0{,}21 = -103{,}95$    $v' = (399 - 443)\cdot0{,}21 = -9{,}24$

2) Vrstica $[uu',\; uv',\; u,\; vu',\; vv',\; v,\; u',\; v']$:

Kako izločiš napačne: f) sploh ni normaliziran (uporablja povprečja kot vrednosti), a) je normaliziran brez skaliranja, c) in e) imata napačen vrstni red operacij.

»Postopek z geometrijsko interpretacijo« = težišče trikotnika. Prva točka ima utež 2, ostali po 1 → delimo s 4.

$x = \dfrac{2\cdot488 + 414 + 446}{4} = \dfrac{1836}{4} = 459$
$y = \dfrac{2\cdot535 + 508 + 567}{4} = \dfrac{2145}{4} = 536{,}25 \to 536$
$z = \dfrac{2\cdot104 + 174 + 170}{4} = \dfrac{552}{4} = 138$

Past: odgovor f) (449, 537, 149) je natanko navadno povprečje treh točk — torej rezultat, če uteži ne upoštevaš.

1) Enote: $B = 0{,}12$ m, $f = 0{,}05$ m.

2) Dispariteta: vrstica je pri obeh 176 (kot mora biti pri vzporednih kamerah), razlikuje se stolpec: $d = |308 - 325| = 17$ px.

3) V metre: $d = \dfrac{17}{1400} = 0{,}012143$ m

4) $z = \dfrac{fB}{d} = \dfrac{0{,}05 \cdot 0{,}12}{0{,}012143} = \dfrac{0{,}006}{0{,}012143} = \mathbf{0{,}494}$ m $\to$ 0,49

Past: odgovor e) 0,03 dobiš, če pozabiš pretvoriti disparieto v metre ($0{,}006/17 = 0{,}00035$… oz. drugačna varianta iste napake). Odgovor a) 494,12 pa je isti rezultat v napačnih enotah — to je znak, da je nekje faktor 1000.

Okolica 1×3 okoli stolpca 5 v levi sliki (stolpci 4–6): [181, 221, 30]

Kandidat 5 (stolpci 4–6 desne): [241, 223, 29]
$d = \sqrt{(181-241)^2 + (221-223)^2 + (30-29)^2} = \sqrt{3600 + 4 + 1} = \sqrt{3605} = \mathbf{60{,}04}$

Kandidat 3 (stolpci 2–4 desne): [2, 176, 241]
$d = \sqrt{(181-2)^2 + (221-176)^2 + (30-241)^2} = \sqrt{32041 + 2025 + 44521} = \sqrt{78587} = \mathbf{280{,}3}$

Manjša razdalja = boljše ujemanje → stolpec 5. Opomba: korenov sploh ni treba računati — dovolj je primerjati 3605 proti 78587.

Stolpec 2: [18, 9, 11, 10, 1, 18, 6], iskana vrednost $x^* = 1$ (vrstica 4).

$\mu = \dfrac{18+9+11+10+1+18+6}{7} = \dfrac{73}{7} = 10{,}4286$

$\sigma^2 = \dfrac{1}{7}\sum(x_i - \mu)^2 = \dfrac{225{,}714}{7} = 32{,}245 \;\Rightarrow\; \sigma = 5{,}6785$

Korak 1: $z = \dfrac{x^* - \mu}{r\sigma} = \dfrac{1 - 10{,}4286}{1 \cdot 5{,}6785} = -1{,}6604$

Korak 2: $x = \dfrac{1}{1 + e^{-z}} = \dfrac{1}{1 + e^{1{,}6604}} = \dfrac{1}{6{,}2611} = \mathbf{0{,}160}$

Pasti: varianca se deli z N = 7, ne z 6. Odgovor d) 0,785 je $1/(1+e^{-1{,}66})$ — torej napačen predznak v eksponentu.

Med $k = 3$ najbližjimi so 2 iz A in 1 iz B. Prag $l = 2$ je dosežen za razred A → vzorec razvrstimo v A.

Prihranek časa: korenov ni treba računati — vrstni red kvadratov razdalj je isti kot vrstni red razdalj.

$\hat{P}_e = \dfrac{1}{4} = \mathbf{25\ \%}$

Ključno: po izpustu vzorca je predstavnik njegovega razreda drugi vzorec (razred ima le dva). Predstavnik drugega razreda ostane povprečje obeh njegovih vzorcev. Če predstavnika ne preračunaš, dobiš 0 % — to je odgovor a).

Ne začni računati — najprej nariši točke:

  x₂
   0 |  A ─────── B
     |  │         │
  −1 |  B ─────── A
     └─────────────── x₁
       −1         0

Razred A zaseda diagonalno nasprotni oglišči (0,0) in (−1,−1), razred B pa drugi dve oglišči (0,−1) in (−1,0). To je natanko problem XOR.

Enonevronski perceptron realizira eno hiperravnino — v 2D eno premico. Z eno premico ni mogoče ločiti diagonalno nasprotnih oglišč kvadrata. Napaka $E$ se med učenjem ustavi pri približno 0,5 in nikoli ne doseže 0.

Vredno zapomniti: ta trik ti prihrani 10 minut računanja. Vedno najprej nariši vzorce in preveri linearno ločljivost. Isto vprašanje z isto rešitvijo se pojavi na 2. kolokviju, naloga 9.

$E = \tfrac{1}{2}(0 + 0 + 0{,}39799 + 0{,}02406) = \tfrac{1}{2}\cdot0{,}42205 = \mathbf{0{,}2110}$

Vrednost 0,211 ni med ponujenimi → pravilen odgovor je »Nič od naštetega«.

Ključno pri dvojnem pragu: vzorca iz A sta že pravilno razvrščena ($y_3 \geq a$), zato ne prispevata k napaki. Če bi ju prišteval po formuli $(t-y)^2$, bi dobil drugačen rezultat — in ravno to so ponujeni napačni odgovori.

1) Razdalja V REŠETKI med nevronoma (3,1) in (1,3):

$d_L^2 = (3-1)^2 + (1-3)^2 = 4 + 4 = \mathbf{8}$

2) Funkcija okolice:

$h = e^{-d_L^2/\sigma^2} = e^{-8/3{,}51^2} = e^{-8/12{,}320} = e^{-0{,}6494} = 0{,}52239$
$g = \epsilon \cdot h = 1 \cdot 0{,}52239 = 0{,}52239$

3) Pravilo Hebba: $w_{\text{nov}} = w + g(x - w)$

$x - w = [0{,}1-1{,}3;\; 0{,}7-1{,}7;\; 0{,}8-0{,}4] = [-1{,}2;\; -1{,}0;\; 0{,}4]$
$g(x-w) = [-0{,}6269;\; -0{,}5224;\; 0{,}2090]$
$w_{\text{nov}} = [1{,}3-0{,}6269;\; 1{,}7-0{,}5224;\; 0{,}4+0{,}2090] = \mathbf{[0{,}673;\; 1{,}178;\; 0{,}609]}$

Pasti: odgovor d) je kar vektor $x$ (to bi dobil pri $g = 1$, torej če bi mislil, da je to zmagovalec). Odgovor c) je nespremenjeni $w$ (če bi mislil, da nezmagovalcev ne ažuriramo). Razdalja se meri v rešetki, ne med vektorjema uteži.

Prenosno funkcijo ignoriraj — v ekvivalentnem algoritmu izhod nevrona nima nobenega pomena. Šteje samo razdalja do vhoda.

Primer izračuna: $d^2(x, w_{10}) = (1{,}7-0{,}7)^2 + (-1{,}8+0{,}1)^2 + (-0{,}8+0{,}6)^2 = 1 + 2{,}89 + 0{,}04 = 3{,}93$ — najmanjša → zmaga (1, 0). Korenov ni treba računati.

$[t_\times] = \begin{bmatrix}0 & -22 & 22\\ 22 & 0 & -37\\ -22 & 37 & 0\end{bmatrix}$

$\mathsf{E} = [t_\times]\mathsf{R} = \begin{bmatrix}66 & -22 & -154\\ -149 & -237 & -52\\ 38 & 274 & 311\end{bmatrix}$

$\mathsf{E}p' = \mathsf{E}[121, 109, 1]^T = [5434,\; -43914,\; 34775]$

$v = -\dfrac{5434}{-43914}u - \dfrac{34775}{-43914} = \mathbf{0{,}124u + 0{,}792}$

Past: odgovor f) ima pravilni naklon, a napačen prosti člen — nastane, če pri $-c/b$ pozabiš na predznak $b$ (ki je tu negativen).

$u = (155 - 756)\cdot0{,}93 = -558{,}93$   $v = (493 - 572)\cdot0{,}93 = -73{,}47$
$u' = (269 - 679)\cdot0{,}73 = -299{,}30$   $v' = (560 - 959)\cdot0{,}73 = -291{,}27$

$[uu',\, uv',\, u,\, vu',\, vv',\, v,\, u',\, v']$
$= [167287{,}7;\; 162799{,}5;\; -558{,}9;\; 21989{,}6;\; 21399{,}6;\; -73{,}5;\; -299{,}3;\; -291{,}3]$

Hitro izločanje: d) ni normaliziran, b) je normaliziran brez skaliranja (opazi $-601 = 155-756$). Preveri tretji člen: mora biti enak $u$ = −558,9.

$x = \dfrac{2\cdot457 + 466 + 414}{4} = \dfrac{1794}{4} = 448{,}5 \to 449$
$y = \dfrac{2\cdot563 + 588 + 507}{4} = \dfrac{2221}{4} = 555{,}25 \to 555$
$z = \dfrac{2\cdot188 + 147 + 171}{4} = \dfrac{694}{4} = 173{,}5 \to 174$

Zaokroževanje glede na 0,5: tako 448,5 kot 173,5 gresta navzgor — to je izrecno v navodilih izpita. Odgovor e) (446, 553, 169) je navadno povprečje treh točk.

$d = |715 - 690| = 25$ px $= \dfrac{25}{1400} = 0{,}017857$ m

$z = \dfrac{0{,}05 \cdot 0{,}12}{0{,}017857} = \dfrac{0{,}006}{0{,}017857} = \mathbf{0{,}336}$ m $\to$ 0,34

Odgovora d) 336,00 in e) 33600,00 sta ista številka z zamaknjeno decimalno vejico — znak za napako pri enotah.

Okolica stolpca 6 v levi sliki (stolpci 5–7): [51, 171, 230]

Kandidat 5 (stolpci 4–6): [71, 136, 146]
$d^2 = (51-71)^2 + (171-136)^2 + (230-146)^2 = 400 + 1225 + 7056 = \mathbf{8681}$ → $d = 93{,}2$

Kandidat 4 (stolpci 3–5): [128, 71, 136]
$d^2 = (51-128)^2 + (171-71)^2 + (230-136)^2 = 5929 + 10000 + 8836 = \mathbf{24765}$ → $d = 157{,}4$

8681 < 24765 → bolje se ujema stolpec 5.

Stolpec 2: [30, 37, 21, 10, 10, 30, 40], iskana vrednost $x^* = 10$.

$\mu = \dfrac{178}{7} = 25{,}4286$    $\sigma^2 = \dfrac{883{,}714}{7} = 126{,}245 \;\Rightarrow\; \sigma = 11{,}2359$

$z = \dfrac{10 - 25{,}4286}{11{,}2359} = -1{,}3732$

$x = \dfrac{1}{1 + e^{1{,}3732}} = \dfrac{1}{4{,}9475} = \mathbf{0{,}202}$

Odgovor f) 0,806 je $1/(1+e^{-1{,}3732})$ — napačen predznak. Opazi, da mora biti rezultat < 0,5, ker je $x^*$ pod povprečjem.

Med $k = 3$ najbližjimi: 2 iz A, 1 iz B → prag $l = 2$ dosežen za A. Zanimivo: najbližji sosed je iz B, a to ni odločilno — pravilo (k, l) gleda večino med k, ne najbližjega.

3 napake od 4 → $\hat{P}_e = \mathbf{75\ \%}$. Razred B ima vzorca zelo narazen ([0,20] in [18,8]), zato je vsak od njiju po izpustu daleč od »predstavnika« svojega razreda — to je razlog za tako visoko napako.

Razred A: (0,0) in (1,1). Razred B: (0,1) in (1,0). Spet XOR — diagonalno nasprotni oglišči v istem razredu.

Enonevronski perceptron da eno premico, ki tega ne more ločiti. Enako kot naloga 22 prvega izpita. Če na izpitu vidiš štiri vzorce v ogliščih kvadrata (ali enote), vedno najprej nariši — v pol minute veš odgovor.

Opazi: $w_{32} = 0$, torej $y_2$ sploh ne vpliva na izhod. $s_3 = 0{,}5 + 0{,}5\,y_1$.

Vsi štirje vzorci so že pravilno razvrščeni → $E = \mathbf{0}$. To je bistvo dvojnega praga: perceptron je »dovolj dobro« naučen in učenje se za te vzorce ustavi. Primerjaj z nalogo 23 prvega izpita, kjer dva vzorca prispevata.

$d_L^2 = (3-1)^2 + (1-3)^2 = 8$  (ista lokacija kot pri T1.24, a drugačen σ)

$h = e^{-8/2{,}18^2} = e^{-8/4{,}7524} = e^{-1{,}6834} = 0{,}18575$,   $g = 0{,}18575$

$x - w = [1{,}0;\; 0{,}4;\; 0{,}4]$  →  $g(x-w) = [0{,}1858;\; 0{,}0743;\; 0{,}0743]$

$w_{\text{nov}} = [-0{,}6+0{,}1858;\; -0{,}3+0{,}0743;\; 0{,}5+0{,}0743] = \mathbf{[-0{,}414;\; -0{,}226;\; 0{,}574}]$

Opazi: pri manjšem σ (2,18 proti 3,51) je $h$ precej manjši (0,186 proti 0,522), zato se uteži premaknejo mnogo manj. Točno to je namen zmanjševanja σ proti koncu učenja.

Prenosna funkcija f(s) = 7s + 2 je popolno zavajanje — v ekvivalentnem algoritmu izhod nevrona nima nikakršnega pomena. Predavanja to izrecno povedo.

$d^2(x, w_{10}) = (-0{,}4+0{,}1)^2 + (0{,}4-0{,}5)^2 + (-2{,}6+1{,}6)^2 = 0{,}09 + 0{,}01 + 1 = 1{,}10$ — najmanjša → zmaga (1, 0).