Tehisintellekt ei järgi teaduse progressi loogikat
Oleme MT-s korduvalt kirjutanud teadlastest ja spetsialistidest, kes kuulutavad masinõppesüsteeme "mustadeks kastideks" (1) isegi nende jaoks, kes neid ehitavad. See muudab tulemuste hindamise ja tekkivate algoritmide taaskasutamise keeruliseks.
Närvivõrgud – tehnika, mis annab meile intelligentsed teisendusrobotid ja geniaalsed tekstigeneraatorid, mis võivad isegi luulet luua – jääb välisvaatlejatele arusaamatuks mõistatuseks.
Need muutuvad suuremaks ja keerukamaks, käitlevad tohutuid andmekogumeid ja kasutavad tohutuid arvutusmassive. See muudab saadud mudelite replikatsiooni ja analüüsi teiste teadlaste jaoks kulukaks ja mõnikord võimatuks, välja arvatud suurte eelarvetega keskuste jaoks.
Paljud teadlased on sellest probleemist hästi teadlikud. Nende hulgas on Joel Pino (2), reprodutseeritavuse peamise konverentsi NeurIPS esimees. Tema juhitud eksperdid tahavad koostada "reprodutseeritavuse kontrollnimekirja".
Pino sõnul on idee julgustada teadlasi pakkuma teistele tegevuskava, et nad saaksid juba tehtud tööd uuesti luua ja kasutada. Võid imestada uue tekstigeneraatori kõneosavuse või videomänguroboti üliinimliku osavuse üle, kuid isegi parimatel asjatundjatel pole õrna aimugi, kuidas need imed toimivad. Seetõttu on tehisintellekti mudelite reprodutseerimine oluline mitte ainult uute eesmärkide ja uurimissuundade väljaselgitamiseks, vaid ka puhtpraktilise kasutusjuhisena.
Teised püüavad seda probleemi lahendada. Google'i teadlased pakkusid "mudelikaarte", et kirjeldada üksikasjalikult, kuidas süsteeme testiti, sealhulgas tulemusi, mis viitavad võimalikele vigadele. Alleni tehisintellekti instituudi (AI2) teadlased on avaldanud artikli, mille eesmärk on laiendada Pinot' reprodutseeritavuse kontrollnimekirja katseprotsessi teistele etappidele. "Näita oma tööd," õhutavad nad.
Mõnikord puudub põhiteave, kuna uurimisprojekt kuulub eelkõige ettevõtte heaks töötavatele laboritele. Sagedamini on see aga märk suutmatusest kirjeldada muutuvaid ja järjest keerukamaid uurimismeetodeid. Närvivõrgud on väga keeruline valdkond. Parimate tulemuste saavutamiseks on sageli vaja tuhandete "nuppude ja nuppude" peenhäälestamist, mida mõned nimetavad "mustaks maagiaks". Optimaalse mudeli valik on sageli seotud suure hulga katsetega. Maagia muutub väga kalliks.
Näiteks kui Facebook üritas korrata DeepMind Alphabeti arendatud süsteemi AlphaGo tööd, osutus ülesanne ülimalt keeruliseks. Facebooki töötajate sõnul muutsid tohutud arvutusnõuded, miljonid katsed tuhandetes seadmetes paljude päevade jooksul koos koodi puudumisega, muutsid süsteemi taasloomise, testimise, täiustamise ja laiendamise väga keeruliseks, kui mitte võimatuks.
Probleem tundub olevat spetsialiseerunud. Kui aga mõelda edasi, siis tulemuste ja funktsioonide reprodutseeritavusega seotud probleemide fenomen ühe ja teise uurimisrühma vahel õõnestab kogu meile teadaoleva teaduse ja uurimisprotsesside toimimise loogikat. Reeglina saab varasemate uuringute tulemusi võtta aluseks edasistele teadusuuringutele, mis stimuleerivad teadmiste, tehnoloogia arengut ja üldist progressi.
