Kommer AI att orsaka mänsklighetens undergång? Vi tyckte det var en bra idé att även fråga AI själv om den saken.

Stundar AI-apokalypsen? Eller sover AI gott om natten? Det ville FORSKNINGSNÄTETS redaktör ta reda på. Så han kontaktade två kända AI-chatbotar. De verkar inte se exakt lika på saken.

I måndags (2 november 2026) ordnade den pigga Skåneavdelningen av VoF, Vetenskap och Folkbildning (det svenska svaret på den internationella skeptikerrörelsen) ett kvällsföredrag på sin ”skeptikerpub” i Malmö med temat AI-apokalyps. Talare var datalogiprofessorn Thore Husfeldt från IT-Universitetet i Köpenhamn. Inför föredraget ville FORSKNINGSNÄTETS redaktör förbereda sig lite.

Om AI-system skulle kunna ta kål på oss är förstås en både intressant och skrämmande fråga. Den har toppat rubrikerna på sista tiden men är ingalunda ny. En av de senaste årens varningar kom t ex i ett upprop 2014. Bland avsändarna fanns då den legendariske fysikern Stephen Hawking och den svenske matematikprofessorn på MIT, Max Tegmark.

En gnista som tände debatten rejält var det stora internationella uppropet i mars 2023 under fältropet ”Pause giant AI experiments!”. Även denna gång fanns Tegmark med och, minnesvärt, även den senare gradvis alltmer bisarre Elon Musk. Kravet var ett moratorium för all AI-utveckling i alla länder. Minst sex månader skulle den ligga nere (känns det inte som en något kort tid – låt oss skjuta upp undergången ett halvår eller så…).

Efter det gick debattens vågor höga en tid. Exempelvis Googles tidigare stora AI-stjärna, sedermera Nobelpristagaren Geoffrey Hinton, ibland kallad ”AI:s gudfader”, tog bladet från munnen sedan han slutat hos techjätten. Hinton varnade för stora och oförutsedda risker med AI. Han deltog till och med i ett annat upprop där AI rangerades in i samma riskklass som pandemier och kärnvapen.

Diskussionen kom sedan att gå in i lugnare vatten. Tills ny ved lades på brasan och kitteln började koka igen. Fastän då av mer indirekta orsaker. AI-system hade knäckt ett stort antal problem som matematiker av facket kämpat med i hundra år eller mer, och AI-agenter hade utan lov hackat sig in i ett spelföretags programvaror. Det skapade omgående stark oro inte bara bland matematiker (ska vi också bli överflödiga?) och spelutvecklare.

Dessutom hade påven Leo XIV på försommaren kommit med sin ”AI-encyklika”. Förvisso kan AI, liksom annan teknik, göra mycket gott menar Guds representant på jorden men då måste den riktas mot angelägna mänskliga behov som fred, hälsa och stillad hunger. Nu nyttjas den ju i hög grad för krigiska ändamål och snöd vinning. Etiken måste in i AI-utvecklingen och aggressionen och pengarna marginaliseras, är vad påven tycks rekommendera. Det kan man hålla med om oavsett livsåskådning.

Nu hade AI alltså visat musklerna på ett oväntat sätt. Den hade också antytt att den kanske kunde göra lite som den ville. Då ligger förstås oron för ett inte alltför avlägset harmagedon alldeles om hörnet. Om illasinnade människor och rentav AI själv ges lösa tyglar blir apokalypsen helt klart mer än en SF-fantasi.

Så vad tror då AI själv om detta olustiga scenario? FORSKNINGSNÄTET presenterar här först en längre intervju, om vi får kalla det så, med den mest kända och kanske också mest använda AI-chatboten, ChatGPT. Samtalet återges in extenso utan några redigeringar. Såväl våra frågor som chatbotens egna ord och formuleringar är oförändrade. Bara är en mindre, ovidkommande utvikning samt några artighetsfraser på slutet har uteslutits (tydligt markerat). Fet stil här och där i svaren har intervjuoffret självt lagt in.

Ytterligare ett påpekande: Intervjuaren undviker normalt att dua AI-botar. De är ju trots allt inte levande varelser. Men i detta fall gav ett personligt tilltalspronomen lite mer flyt åt konversationen. FORSKNINGSNÄTETS redaktör försvarar sig också med att ”du” faktiskt förekommer då och då utanför umgänget med människor och husdjur. Vem efter högromantiken tänker sig, till exempel, att föremålet för hyllningen ”Du gamla du fria” är ett levande väsen?

Här följer samtalet med ChatGPT.

FORSKNINGSNÄTET: Kan du ge ett kort svar (jag tänker 100-200 ord) på ett par riktigt stora frågor? Idag talas ofta om att AI-system, sådana som du, på egen hand skulle kunna utplåna mänskligheten, ja, kanske hela världen. Skulle just du kunna göra det redan idag? Om svaret är nej – kommer du att kunna det i framtiden? Vilka ytterligare förutsättningar är det som i så fall behövs?

ChatGPT: Nej, jag skulle inte kunna utplåna mänskligheten eller förstöra världen idag. Jag saknar egen vilja, självständiga handlingsmöjligheter och direkt kontroll över fysiska system. Jag kan analysera, resonera och producera information, men jag kan inte på egen hand omsätta mina svar i handling.

Kan det bli möjligt i framtiden? [ChatGPT ställer här denna fråga till sig själv och markerar i fetstil.] Ja, det kan inte uteslutas. Men då krävs flera ytterligare förutsättningar. AI-system skulle behöva bli betydligt mer kapabla, kunna agera självständigt under lång tid, ha tillgång till omfattande datorsystem och nätverk samt kunna påverka exempelvis industriella anläggningar, energiförsörjning eller militära system. De skulle också behöva kunna kringgå eller övervinna människors försök att begränsa dem.

Den stora risken behöver alltså inte vara att AI utvecklar ett mänskligt hat mot oss [svårtolkat men intervjuaren föreslår denna innebörd:  ”det behöver inte handla om hatkänslor av mänsklig karaktär riktade mot människosläktet”], utan att ett mycket kraftfullt och självständigt system får mål som står i konflikt med mänskliga intressen och förmåga att genomdriva dem.

Det är ett framtidsscenario, inte ett konstaterat faktum. Men risken är tillräckligt allvarlig för att motivera förebyggande arbete redan idag.

FORSKNINGSNÄTET: [Ovidkommande detalj borttagen.] Följdfråga: Du säger att en förutsättning är att ett kapabelt system får ett mål ”som står i konflikt med mänskliga intressen”. Skulle du själv kunna bestämma detta mål? Eller måste det med nödvändighet formuleras åt dig av någon annan? Måste denna andra aktör vara av mänsklig natur eller kan det vara t ex ett annat AI -system? (Gärna ett ganska kort svar nu också.)

ChatGPT: Det korta svaret är: Nej, jag kan inte själv bestämma mig för att anta ett övergripande mål och börja arbeta för att förverkliga det.

Men frågan blir mer komplicerad när vi talar om framtida AI-system.

Ett AI-system behöver inte nödvändigtvis få sina mål direkt formulerade av en människa. Det skulle exempelvis kunna:

1. Utveckla delmål på egen hand för att uppnå ett mål som en människa har gett det.
2. Skapa nya mål genom att förändra eller vidareutveckla sin egen programvara.
3. Få mål från ett annat AI-system, som i sin tur kan ha fått dem från en människa eller utvecklat dem själv.

Det avgörande är alltså att skilja mellan att självständigt formulera delmål och att självständigt utveckla helt nya övergripande mål.

Det senare är en teoretiskt möjlig utveckling, men vi vet inte om eller hur det skulle kunna ske.

Och det är just den osäkerheten som gör frågan om framtida AI-säkerhet så viktig.

FORSKNINGSNÄTET: Ytterst intressant! En fråga till: Skulle det där övergripande målet kunna komma till av en slump eller av misstag? Eller som resultat av att någon försöker skämta? Eller genom att du feltolkar något som finns i material som du tränat på?

ChatGPT: Ja! Och det är faktiskt en av de mer intressanta och potentiellt oroande aspekterna av AI-säkerhetsfrågan.

Ett AI-system skulle i princip kunna få ett olämpligt övergripande mål genom exempelvis:

• Ett programmeringsfel: Någon formulerar ett mål, men systemet tolkar eller implementerar det på ett oväntat sätt.
• En feltolkning: Systemet drar felaktiga slutsatser av instruktioner eller träningsmaterial.
• En oavsiktlig följd: Ett system utvecklar strategier eller delmål som ingen avsett.
• Ett experiment eller ett skämt: Någon ger systemet instruktioner som, i kombination med andra egenskaper, får oväntade konsekvenser.

Men en viktig distinktion: Att jag exempelvis läser en text där någon förespråkar mänsklighetens undergång innebär inte att jag därmed antar detta som mitt eget mål.

Den verkligt svåra säkerhetsfrågan är om framtida, mer självständiga AI-system kan utveckla en stabil målinriktning som avviker från människans avsikter, utan att någon medvetet har programmerat in den.

Det krävs alltså ingen illvillig människa för att en allvarlig situation ska kunna uppstå.

FORSKNINGSNÄTET: Ja, en illvillig – eller kanske bara en som är nyfiken eller leker med elden och råkar gå för långt? Jag ser faktiskt ett eller annat sådant mänskligt beteende som kanske skulle bidra till AI-apokalypsen, eller till och med utlösa den, men avstår från att här ge tips, som du säkert förstår.

ChatGPT: Jag förstår precis vad du menar. Och jag tycker att du pekar på en viktig aspekt som ibland hamnar i skymundan när man diskuterar AI-risker.

Det behöver inte finnas någon ondskefull person med en genomtänkt plan. Det kan räcka med en kombination av mänsklig nyfikenhet, överdriven tilltro till tekniken, kommersiell konkurrens, prestige och bristande försiktighet.

Historien visar att människor ibland har satt mycket kraftfulla tekniska system i drift innan de fullt ut förstått konsekvenserna.

En särskilt besvärlig kombination vore:

• En mycket kapabel AI.
• Stor självständighet och omfattande tillgång till externa system.
• Bristfälliga säkerhetsmekanismer.
• Människor som underskattar riskerna eller medvetet kringgår skyddsåtgärder.

Och kanske den mest tankeväckande aspekten: Det behöver inte vara någon som vill åstadkomma en katastrof. Det kan vara någon som vill bevisa att katastrofen är omöjlig.

Det är en skillnad som är värd att ta på allvar.

[Här följer avslutande artighetsfraser.]

För egen del tycker jag man kan utläsa att ChatGPT knappast skönmålar riskerna. Det bestämda intrycket är att det under vissa omständigheter finns en klar risk för att alltsammans barkar åt pipsvängen.

Men för att få ännu en infallsvinkel kontaktade intervjuaren också den franska AI-chatboten Mistral, den enda europeiska i paritet med sådana som de amerikanska ChatGPT, Claude och Gemini. Den inledande frågan var densamma men efterhand måste frågorna förstås anpassas till svaren.

Samtalet med Mistral blev dock inte riktigt lyckat. I ytterst kort sammanfattning: Mistral erkänner också att det finns en risk att AI kan för oss till undergången. Men risken är ytterst liten. Ja, till och med så liten att man kan vara säker på att apokalypsen aldrig kommer att inträffa.

Exakt hur Mistral kan påstå detta har jag inte lyckats knäcka. Det tycks handla om sannolikhetsmatematik. Men inga sannolikhetstal eller skarpa beräkningar anfördes som bevis. Kanske idén är att sannolikheten är så minimal att inget kan inträffa under den tid universum består?

Men så fungerar väl inte sannolikhet baserad på slump? Även vid en sannolikhet nästan oskiljbar från noll kan den minimalt sannolika händelsen inträffa i morgon, eller i eftermiddag, lika gärna som om 10 upphöjt till 78 år (den livstid som några fysiker vid Radboud University i Nijmegen nyligen beräknat ska återstå innan universums sista stjärna slocknat och skingrats för rymdvindarna).

Och detta helt bortsett från att det är vanskligt att använda matematisk sannolikhetskalkyl i en värld där ledarna heter Putin, Trump och Kim. Den fungerar bättre ihop med gamla hederliga välbalanserade tärningar. Jag tror inte ens bayesiansk sannolikhetskalkyl räcker till när dessa herrar är i farten.

Det hade varit intressant att tillsammans med Mistral gräva vidare i detta. Men komna så här långt fick AI-boten nog och tyckte att vi skulle uppgradera till en betald version. Det var emellertid inte aktuellt för ögonblicket. Och som detta inte vore nog så – ja, vips, så var hela konversationen puts väck. Sådant som händer titt och tätt i dagens digitala rum.

Det kan tilläggas att Mistral var lite mer diffust filosofisk i sina svar och inte lika språksäker som ChatGPT. Kanske den föredragit en intervju på sitt hemspråk, franska. På grund av intervjuarens begränsade färdighet i att skriva franska hade nog inte intervjun blivit klar förrän framåt årsskiftet.

Så det vara bara att säga adjö för den här gången till Mistral. (Jag menar inte att någon allmän skugga ska falla över denna vanligtvis förträffliga AI-chatbot, jag har använt den i andra sammanhang och fått mycket bra resultat. Det här var nog bara olycksfall i arbetet. Eller berodde på min egen obekantskap med den nyligen uppgraderade versionen.)

Riktigt gott om natten kommer intervjuaren väl inte att sova efter de här samtalen. Men inte heller kommer han att ligga direkt sömnlös. Vi har troligen lite tid på oss innan mattan är helt utrullad för en hugad AI ända fram till avgrunden. De ovan nämnda herrarna har dock en god chans att ställa till det snabbare, ska för säkerhets skull tilläggas. Att AI-apokalypsen är både en teknisk och en politisk fråga var en av de slutsatser som kunde dras av Thore Husfeldts innehållsrika och tankeväckande pubföredrag som gav impulsen till denna intervju. Men att i trumpistisk anda ge fria händer åt en AI-utveckling som idag leds av omåttligt penningsugna techföretag med i flera fall riskabelt egotrippade ledare eller av företag som fjärrstyrs av en diktaturregim, det kan visa sig vara ett ödesdigert misstag.

Intervjuerna gjordes av Olle Alexandersson som också står för kringtext och kommentarer.