Metabeskrivelse: Hva reddet maskinlæring etter dvalen? Oppdag hvordan backpropagation og flerlagsnettverk løste XOR-problemet og gjenopplivet nevrale nettverk på 1980-tallet.
Gjennom store deler av 1970-tallet var nevrale nettverk et akademisk sidespor ingen seriøse forskere ønsket å sette navnet sitt på. Boken Perceptrons hadde slått fast at enkle nettverk ikke klarte grunnleggende logiske operasjoner som XOR, og ingen visste hvordan man effektivt kunne lære opp et nettverk med flere lag (skjulte lag).
Løsningen krevde verken magi eller biologiske mirakler. Den krevde ren derivasjon og kjerneregelen fra videregående matematikk.
Å sende feilen bakover
Selv om konseptet hadde røtter tilbake til optimaliseringsteori på 1960- og 70-tallet (blant annet via Paul Werbos), kom det store gjennombruddet i 1986. David Rumelhart, Geoffrey Hinton og Ronald Williams publiserte en banebrytende artikkel i Nature: «Learning representations by back-propagating errors».
Algoritmen kalles på godt norsk tilbakeforplantning (backpropagation), og den fungerer gjennom to koordinerte faser:
Foroverpasset (Forward Pass): Data mates inn, sendes gjennom de skjulte lagene og genererer en gjetning. Modellen måler så hvor feil den tok ved hjelp av en tapsfunksjon (loss function).
Bakoverpasset (Backward Pass): Matematikken beregner hvor mye hvert enkelt ledd og hver enkelt vekt bidro til den totale feilen. Signalet sendes bakover gjennom nettverket, og vektene justeres ørsmå hakk i retningen som reduserer feilen (gradientnedstigning).
XOR-spøkelset begraves
Med skjulte lag og tilbakeforplantning var ikke lenger nettverkene begrenset til rette linjer. De kunne bøye, vri og transformere dataene slik at ikke-lineære problemer – inkludert det beryktede XOR-problemet – ble løst uten problemer.
Plutselig kunne nevrale nettverk kjenne igjen håndskrevne sifre, gjenkjenne enkle talemønstre og modellere sammensatte datasett. Optimismen vendte tilbake til universitetene.
Hvorfor stoppet det opp igjen?
Men gleden ble kortvarig. Utover 1980-tallet begynte de samme modellene å stange hodet i veggen på nytt:
Datidens prosessorer brukte dager og uker på å trene selv beskjedne nettverk.
Nettverkene slet med numerisk ustabilitet: Gradientene forsvant enten ut i ingenting (vanishing gradients) eller eksploderte i uendelighet når man la til flere lag.
Samtidig satset næringslivet milliarder på stive, regelbaserte «ekspertsystemer» som kort tid etter kollapset under sin egen kompleksitet.
På slutten av 1980-tallet frøs midlene til igjen i en ny AI-vinter. Men denne gangen var fundamentet støpt: Matematikken for moderne læring var oppfunnet, og den lå klar og ventet på regnekraften som skulle komme.