Metabeskrivelse: Hvordan snudde AlexNet og ImageNet-konkurransen i 2012 hele teknologiverdenen på hodet? Les historien bak det moderne gjennombruddet for dyp læring.
Helt frem til 2010 var den rådende oppfatningen innen bildegjenkjenning at datamaskiner trengte hjelp av menneskelige eksperter. Ingeniører brukte årevis på såkalt feature engineering: nitid koding av regler for å oppdage kanter, hjørner, teksturer og fargenyanser i bilder før en klassisk algoritme (som en SVM) tok den endelige avgjørelsen.
En liten kjerne av forskere, anført av pionerer som Geoffrey Hinton og Yann LeCun, nektet imidlertid å gi opp drømmen om dype nevrale nettverk. De mente at hvis nettverkene bare ble dype nok, ville de lære seg disse mønstrene helt av seg selv.
De manglet bare to ting: gigantiske mengder bilder, og regnekraften til å behandle dem.
ImageNet: Skalaen som endret alt
I 2009 lanserte Fei-Fei Li og hennes team ved Stanford-universitetet ImageNet – en massiv database bestående av over 14 millioner manuelt merkede bilder fordelt på mer enn 20 000 kategorier.
For første gang i historien fantes det et datasett som var stort nok til å mette et dypt nettverk uten at modellen umiddelbart memorerte bildene (overtilpasning). Året etter startet en årlig konkurranse for å se hvilke datasyn-algoritmer som gjorde færrest feil.
2012: Sjokkbølgen AlexNet
I september 2012 ble resultatene fra årets ImageNet-konkurranse offentliggjort. Feltet fikk hakeslepp.
Et team fra University of Toronto – bestående av Alex Krizhevsky, Ilya Sutskever og Geoffrey Hinton – knuste konkurrentene fullstendig med modellen AlexNet. De reduserte feilprosenten fra fjorårets rekord på rundt 26 % ned til oppsiktsvekkende 15,3 %. En slik feilreduksjon i et etablert fagfelt var uhørt.
Skjermkortene som endret spillereglene
Det mest oppsiktsvekkende med AlexNet var ikke bare nettverkets dybde, men hva det kjørte på.
Krizhevsky innså at beregningene som trengs for å trene nevrale nettverk – milliarder av matrisemultiplikasjoner – er identiske med operasjonene grafikkort (GPU-er) utfører for å rendre piksler i 3D-dataspill. I stedet for å bruke kostbare superdatamaskiner, bygde han koden sin på to vanlige forbruker-skjermkort: Nvidia GeForce GTX 580.
Fordi nettverket var for stort til minnet på ett enkelt kort, delte de arkitekturen elegant i to parallelle strømmer (som vist i det berømte diagrammet over).
Dyp læring erobrer verden
AlexNet ble startskuddet for tiåret med dyp læring (Deep Learning).
Over natten skrinla teknologigigantene sine tradisjonelle algoritmer. Google kjøpte opp Hintons oppstartsselskap, Facebook hyret Yann LeCun til å lede sitt AI-laboratorium, og Nvidia transformerte seg fra å være en produsent av spillmaskinvare til å bli verdens viktigste motor for kunstig intelligens.
Tiden der mennesker manuelt måtte definere hva en datamaskin skulle se etter, var ugjenkallelig over.