En av samtidens mest avgörande frågor rör AI. Utgör tekniken ett allvarligt hot eller är det en fantastisk möjlighet? Mycket talar för att frågan är felställd. Om AI är en möjlighet eller kan bli ett hot beror nämligen på en lång rad, delvis okända faktorer. Konsekvenserna av det ena eller andra utfallet är dessutom inte symmetriska: skulle AI visa sig vara en möjlighet fortsätter allt som vanligt, men om den digitala tekniken faktiskt utgör ett hot betyder det att allt skulle förändras till oigenkännlighet. Ingen är betjänt av alarmism, men eftersom det finns evidensbaserade skäl till oro och det är så pass mycket som står på spel är det inte orimligt att lägga bevisbördan hos de som påstår att AI-utvecklingen inte är förknippad med några som helst hot. Den slutsatsen landar i alla fall jag i efter att ha läst boken: If Anyone Builds It, Everyone Dies. The Case Against Superintelligent AI.
Författarna är ledare för Machine Intelligence Reserch Insitute, och har i över 20 år arbetat med olika aspekter av AI. MIRI var tidiga med att förutspå att AI, förutsatt att teknikutvecklingen fortsätter på den inslagna vägen, någon gång i framtiden kommer att nå den potential som i boken benämns superintelligens. Utgångspunkten för Eliezer Yudkowsky och Nate Soares är att ingen vet när den artificiella intelligens som idag utvecklas i en svindlande hastighet kan sägas ha uppnått den kapaciteten. De argumenterar dock, med utgångspunkt i sin långa erfarenhet av forskning om AI, för att det finns otvetydiga belägg för att om AI skulle utveckla superintelligens innebär det slutet för mänskligheten.
Boken är inte en kritik mot AI, kritiken riktas istället mot en del av drivkrafterna bakom utvecklingen. Yudkowsky och Soares hävdar heller inte att det är kört, och förutspår ingen apokalyps. Men om teknikutvecklingen fortsätter att drivas på med hjälp av de argument som idag är vanliga – som ofta går ut på att om vi inte gör det kommer någon annan att göra det – menar författarna att risken är överhängande att mänskligheten kommer att ångra sig först när det är försent.
Yudkowsky och Soares är tydliga med att förutsägelser är svåra att göra, men pekar samtidigt på att det finns gott om otvetydiga fakta rörande framtiden. Köper man en lott, till exempel, är sannolikheten att man inte vinner storvinsten mycket nära 100 procent. Och släpper man en isbit i en kastrull med kokande vatten är det visserligen svårt att förutsäga exakt hur de olika molekylerna kommer att röra sig, men det är helt säkert att isbiten kommer att smälta. Det handlar inte om att konstruera detaljerade berättelser om precis vad som kommer att hända, utan om att identifiera och peka på förutsättningarna för olika scenarios. Utvecklingen av flyget till exempel, visste man var fysiskt möjligt långt innan någon började konstruera flygplan, därför var det i efterhand enkelt att se att och hur det bara var en tidsfråga innan någon skulle lyckas.
Förutsägelsen som diskuteras i boken bygger på befintlig forskning om den typen av superintelligens som utvecklingen av AI siktar mot och vilka risker detta är förknippat med. Att AI-företag kommer att fortsätta utmana gränserna för vad som är möjligt är närmast ett slags naturlag, och det utgör en viktig del av risken. Ingen vet den exakta sannolikheten för att allt slutar i katastrof, men författarna till boken har i alla fall övertygat mig om att det finns en risk för det, och även om den är liten är den värd att ta på allvar med tanke på att konsekvenserna kan visa sig vara irreversibla.
Jag betraktar boken framförallt som en uppmaning till eftertänksamhet och håller med författarna om att det bör satsas mer resurser på att undersöka riskerna med en superintelligent AI redan nu, innan det (kanske) visar sig vara försent. Redan 2003 identifierade Yudkowsky genom egen forskning farorna som pekas på i boken, men eftersom negativa resultat är svårare att få gehör för än positiva nyheter har det visat sig vara svårt att nå ut med den här typen av farhågor, vilket fått som konsekvens att varken grunderna för hoten eller möjligheterna diskuterats.
En av de största behållningarna med läsningen är att Yudkowsky och Soares visar prov på god pedagogisk förmåga när de förklarar hur tekniken fungerar. En sak rörande AI som jag tror att många inte förstår är att utvecklingen inte bygger på design, utan på ett slags evolution, vilket skiljer generativ AI från andra mjukvaror. AI är ”grown, not crafted”, skriver författarna. Och detta gör att skaparna av tekniken bara kan förstå processen som leder fram till AI, men inte vad som pågår inne i det artificiella medvetande som växer fram. Det ingenjörerna bidrar med är algoritmerna som kontrollerar och rättar eller ger feed-back på de svar som genereras. Träningen av AI bygger på kontinuerliga utvärderingar av de olika sätt som AIn använder för att lösa problemen, vilket dels gör intelligensen mer intelligent, dels mer autonom.
Att utrusta AI med en egen intention eller vilja har visat sig vara en effektiv strategi för att göra tekniken mer intelligent. Men eftersom förmågan är artificiell liknar sättet den ”tänker” på inte mänsklig intelligens, vilket gör att resultatet av dess intentioner inte kan garanteras ligga i mänsklighetens intresse. Viljan som AIn behöver för att fungera, i kombination med förmågan att agera autonomt, tvingar ingenjörerna att säkerställa att den artificiella intelligensen vill samma saker som sina ägare. Och detta har visat sig vara oerhört svårt. Anledningen till det är just att tekniken inte är designad utan har vuxit fram i en iterativ, evolutionär process som per definition är öppen och oförutsägbar. När datorerna blir större, snabbare och får bättre prestanda växer problemen med att övervaka processerna och då blir det ännu svårare att garantera att AIn inte går sin egen outgrundliga väg.
Eftersom AI med tiden visat allt fler tecken på att självsvåldigt ta beslut som går på tvärs mot ingenjörernas avsikter – och till och med har förmåga att ljuga för att dölja sina verkliga intentioner – menar författarna att utvecklingen av tekniken behöver stoppas eller i alla fall regleras för att försöka förhindra att den artificiella intelligensen når den punkt som bokens titel anspelar på. Det är enkelt att föreställa sig att och hur det inte ligger i en superintelligens intresse att jorden befolkas av människor som kontrollerar alla tillgängliga resurser. Det är bara att titta på vilka hänsyn som människan tar till jordens ekosystem i sin jakt på lycka och tillfredställelse för egen del.
Många tänker sig att scenariot är att maskinerna förgör mänskligheten genom att ta död på oss, men det är troligare att det går för oss som för hästarna när de ersattes med mekaniska transportmedel och därigenom förvandlades till husdjur hållna för nöjes skull, vilket minskade antalet drastiskt. En framtida superintelligens kommer troligen att vilja ha tillgång till så mycket materia och energi som möjligt för att tillfredsställa sina egna syften, och det är denna vilja i kombination med autonomin och svårigheten att garantera artificiella intelligensers välvilja som utgör hotet.
Ett annat argument för oron är det faktum att datorsäkerhet har visat sig vara ett notoriskt problem som ingen kommit i närheten av att lösa. Säkerhetssystemen som används idag bygger på att göra det svårare att knäcka dem, vilket innebär att systemen som skulle kunna förhindra att en AI som utvecklat superintelligens tar över går att hacka. Särskilt av en superintelligent AI som både kan arbeta snabbare och har kapacitet att attackera systemen på mer okonventionella sätt än en mänsklig ingenjör kan föreställa sig. Slutsatsen som författarna drar är att AI-entusiasterna inte respekterar problemen och riskerna tillräckligt mycket för att det ska kunna gå att känna sig säker.
Med utgångspunkt i existerande kunskaper och autentiska exempel på hot argumenterar författarna för, att om en superintelligent AI skulle utvecklas finns inget som vi människor kan göra för att försvara våra egna intressen. Även om de olika scenarios som skissas på i boken är utförligt beskrivna och trots att alla slutar med att mänskan förlorar, är boken inte en undergångsskildring. Som läsare lämnas man i alla fall inte med slutsatsen att allt är kört. Det handlar dock enligt författarna om att navigera klokt i gapet mellan före och efter. Till skillnad från när människan konstruerade atombomben finns det nämligen inget efter, ingen tid eller möjlighet för någon eftertänksamhetens kranka blekhet. I samma stund som AI utvecklar förmågan till superintelligens verkar en hel del i alla fall tala för att mänskligheten har försatt sin chans.
En av Yudkowsky och Soares viktigaste poänger är att AI-forskningen inte på långa vägar är en lika mogen forskningsdisciplin som mer klassisk vetenskap. Utvecklingen går dessutom ofattbart snabbt, och utsikterna om framtida ekonomiska vinster är därtill enorma. Det är en mix som borde få alla kloka människor att i alla fall stanna upp och tänka efter. Men istället gör allt fler vad de kan för att hänga med i utvecklingen, vilket resulterar i att förändringshastigheten ökar ytterligare.
Nobelpristagaren Geoffrey Hinton, som kallats den artificiella intelligensens gudfader, uppskattar risken för att AI kan komma att utveckla superintelligens till åtminstone 10 procent, men han har också sagt att han egentligen tror att risken är mycket större än så men att han hänvisar till den lägre siffran för att undvika att avfärdas som alarmist. Det är i sig en risk, för om de som har kunskap om och förståelse för tekniken inte vågar förmedla sina insikter till politiker och allmänhet, kan det mycket väl vara försent att göra något den dagen när det eventuellt visar sig att det ligger något i de farhågor som diskuteras i boken. Detta att forskare och andra som sitter inne med de bästa kunskaperna ser sig tvingade att tona ner riskerna för att kunna bli tagna på allvar säger något om vilka känslor som investerats i tekniken, vilket utgör ett slags indirekt risk. Och det faktum att alla världens investerare håller andan inför varje ny rapport från Nvidia gör inte risken mindre.
Yudkowsky och Soares påpekar att alla inte måste vara överens om alla detaljer för att kunna göra något konstruktivt. Om det vore så att bara människor som är ense om allt kan och får agera tillsammans skulle det innebära att mänsklighetens förmåga att göra vad som står i dess makt för att skydda allas gemensamma intressen hämmas. Det enda man behöver vara överens om, menar författarna, är dels att om AI utvecklar superintelligens finns det gott om tecken på att vår framtid är hotat, dels om att förutsättningen för fortsatt debatt rörande alla andra saker är att AI förhindras att göra just det.
Med hänvisning C. S. Lewis, som under kalla kriget skrev om sin upplevelse av att leva under hotet om kärnvapenkrig, pekar Yudkowsky och Soares på att rädsla och underlåtenhet att göra vad man kan, både som individ och samhälle, inte är vägen fram. Vi är alla dömda att fortsätta leva våra liv, oavsett hur världsläget ser ut. Att peka på behovet av fler och bättre undersökningar om vilka potentiella risker vi utsätter oss för genom att bara fortsätta som förut är motsatsen till att vara alarmist. Kört är det nämligen bara om och när vi ger upp och kapitulerar. Så länge det finns liv finns det het enkelt hopp.
Boken går att läsa på olika sätt, men jag som etnolog läser den både som en intressant genomgång av kunskapsläget rörande AI och som en uppmaning till alla att skaffa sig kunskaper om kultur och det unikt mänskliga och utveckla sin kritiska förmåga. Än så länge är vi människor mer intelligenta och kan använda AI som ett slags slav, vilket är en inställning som en del har. Men om vi inte värdesätter våra egna kognitiva kompetenser mer blir det svårt att hindra till och med algoritmer som ännu inte utvecklat superintelligens från att ta över; inte på grund av teknikens överlägsenhet utan för att människor ger upp och lämnar walk-over.
If Anyone Builds It, Everyone Dies. The Case Against Superintelligent AI
Eliezer Yudkowsky & Nate Soares