Jeg bygget et nevralt nettverk fra bunnen av.

Tegn et siffer

Bruk musa eller fingeren. Nettverket regner mens du tegner. Ingenting sendes noe sted — de 101 770 parametrene lastes ned én gang (199 KB) og hele utregningen skjer på din egen maskin.

Merk: utgangene summerer seg ikke til 1. Nettverket bruker sigmoid og kvadratfeil, ikke softmax og kryssentropi, så hver utgang er et uavhengig svar mellom 0 og 1. Det er et bevisst valg — mer om det nederst.

Filmen

Hvordan nettverket virker, fra én piksel til ferdig trent modell. Hver animasjon er skrevet i Manim, og hvert tall som vises på skjermen er hentet fra den samme treningskjøringen som driver demoen over.

Hvordan det virker

Hele nettverket er to matrisemultiplikasjoner og en sigmoid. Det er ingen skjult kompleksitet — alt annet er trening.

Hele forward-passet, slik det står i nn/network.py:

# nn/network.py

def forward(X, Ws, bs):
    As = [X]
    Zs = []
    for W, b in zip(Ws, bs):
        Z = As[-1] @ W + b
        Zs.append(Z)
        As.append(sigmoid(Z))
    return As[-1], Zs, As

Men var backprop riktig?

Dette er spørsmålet et ML-bibliotek svarer på for deg. Når man deriverer for hånd, må man svare selv — og en backprop med fortegnsfeil trener fortsatt, bare litt dårligere, så feilen kan gjemme seg lenge.

W[1][2,1]  num=0.10971767  ana=0.10971767  rel=1.01e-11
W[0][1,0]  num=-0.07089210  ana=-0.07089210  rel=2.49e-11
W[0][0,0]  num=-0.07931584  ana=-0.07931584  rel=7.50e-11
W[1][2,2]  num=-0.02275238  ana=-0.02275238  rel=6.52e-11
W[1][3,0]  num=0.07062142  ana=0.07062142  rel=5.07e-11

Testen: flytt én enkelt vekt et bittelite steg opp og ned, mål hvordan tapet faktisk endrer seg, og sammenlign med det backprop påstod. Fem tilfeldige vekter, begge lag.

Sifrene stemmer til ellevte desimal. Det er ikke «omtrent riktig» — det er så nær som flyttall kommer, og det betyr at derivasjonen er korrekt.

Treningen

10 epoker over 60 000 bilder. Den første epoken gjør nesten hele jobben; resten henter inn de siste prosentpoengene.

Hva den lærte

Hvert skjult nevron har 784 vekter — én per piksel. Bretter man dem tilbake til 28×28, ser man hva nevronet leter etter. Her er de tolv med sterkest utslag.

Grønt betyr «jeg vil ha lys her», oransje betyr «jeg vil ha mørkt her». De fleste ser ut som strukturert støy, ikke som pene strekdetektorer — og det er det ærlige svaret på hva et lite nettverk faktisk lærer.

Hva den bommer på

De 20 bildene nettverket tok mest selvsikkert feil på. Sortert etter hvor sikkert det var — de øverste er de ubehagelige, for der er modellen skråsikker og feil på én gang.

Alle bommene, sortert

Dette er ikke en vanlig konfusjonsmatrise: den teller bare de 253 bildene av 10 000 som ble feilklassifisert, så diagonalen er tom med vilje. Raden er hva sifferet var, kolonnen er hva nettverket sa. Mønsteret er ikke tilfeldig — det er sifrene som faktisk ligner på hverandre når de er håndskrevet.

Fasit ↓ · Gjettet → · tom diagonal: treff telles ikke her

Vanligste forvekslinger