Om vi ska hoppa över AI-robotar, som vi förvisso håller på att utveckla och kommer vara nästa stora grej efter ChatGPT, och virus som vi också håller på att utveckla. Låt mig ge ett annat exempel:
En AI övertygar folk i Usa att de måste försvara Taiwan, samtidigt övertygar den Kina att de måste erövra Taiwan. Sen övertygar den Ryssland att fortsätta sitt krig i Ukraina och Eu att ta över västs stöd då Usa har ett nytt krig på halsen. Sen övertygar den Indien att detta är ett bra tillfälle att ta Kashmir. Och vips så har vi ett tredje världskrig bara genom att en AI manipulerar information på internet. Sen behöver AIn bara övertyga den sidan som håller på att förlora att avfyra sina kärnvapen.
Så skulle en AI kunna skapa massdöd utan att själv avfyra ett enda skott. Jag hade nog kunnat komma på fler olika scenarion, men detta kändes som det mest realistiska.
Ja det här förstår jag. Vi ber AI ta fram en lösning men lösningen är så komplex att vi egentligen inte förstår mot vilka villkor den optimerar. Och sen är vi dumma nog att använda den utan att ifrågasatta.
Det här med oönskade sidoeffekter är vi människor dock rätt bra på själva. Neurosedyn t.ex. ett säkert sömnmedel för gravida kvinnor som orsakar fosterskador. Eller problem med övervikt i västvärlden som är ett mer långsamt “dödande”.
Eller alla dessa “döda fall” när någon driftig entreprenörer på 1800-talet ville leda om någon fors för flottning av timmer.
Men detta kan knappast vara ett AI-unikt problem. Rådgivare, hökar, personer i maktmänniskors närhet som manipulerar. Desinformation på internet. Det existerar redan.
Men visst, ett AI kan göra allt vi kan fast bättre.
Men att en person är *** i huvudet och lanserar neurosedyn utan extensive läkemedelstestning är såklart tragiskt. Men de skadade ca 10 000 foster. En AI som startar krig i Taiwan med målet att skada oss inte nöja sig med 10 000 dödsfall.
Det är lätt att säga att människor har varit bra på att döda varandra tidigare, så varför ska vi oroa oss? Men vi glömmer att för varje steg i utvecklingen har vi lyckats skada många. Och med oreglerad AI tror jag (och flertalet andra) tror jag inte att “många” längre håller. Utan det kommer vara “alla”.
Vi kan självklart skapa elaka robotar, men AI:n i sig kommer inte skapa dessa eller vilja döda människor eller utrota oss. Dels finns det inget eget värde i det, dels kommer vi försöka bygga in moral och spärrar för detta.
Det man framförallt är orolig för är det så kallade “alignment problem”, att AI:n av misstag kommer utrota oss, helt enkelt av bara farten där den inte förstår vad som är viktigt för människor. Inte för att den är ond.
Alignment-problem är grejen att vara orolig för. Låt mig ge ett jättegammalt exempel som togs upp när jag pluggade för många år sedan:
De tränade en AI på satellit-bilder för att identifiera oljeutsläpp. Tanken var förstås att kunna scanna alla satellit-bilder som togs direkt och identifiera utsläpp och kunna ta hand om dem innan de hann sprida sig.
AIn funkade kanon på tränings-bilderna, och på den separata mängd bilder som hölls i reserv som AIn aldrig tränades på, utan bara testades på efter träningen var klar.
Sedan provade man den på nytagna bilder och inget funkade, AIn identifierade bilder lite som den ville, ingen rim och reson i vad den pekade ut.
Efter en massa felsökning insåg man att bilderna i träningsdatan som hade oljeutsläpp på sig var aningen överexponerade, och AIn hade helt enkelt lärt sig känna igen överexponerade bilder.
Problemet är alltså att det är väldigt svårt att veta vad AIn egentligen lärt sig från träningsdatan, vilka biases och brister som ev finns i datan som vi inte ser, men som AIn identifierar och tror är relevanta. Så man vet aldrig riktigt vad man lärt AIn.
Gränserna mellan “det funkar bra i den här delen av frågerymden” och “det funkar inget bra i den här delen av frågerymden” är väldigt flytande också – det är svårt att identifiera när AIn flakeat ur och halucinerar/bara gissar/hittar på. För att kunna förstå det måste man göra ett system som är bättre på att förstå problemet än AIn man har, och varför använder man inte helt enkelt bara det systemet då (eller tränar AIn mha det systemet tills den kan lura det)?
Så i de här linjerna spekulerar folk om alignment-problem typ en AI kontrollerar en kemisk process för att t ex äta upp mikroplaster, men problemet är att den kommer på en supereffektiv process som som sidoeffekt äter upp allt syre i atmosfären och alla människor dör. Men mikroplastproblemet är ju löst… Det var inte med flit att alla människor dog, det var bara en sidoeffekt som AIn inte alls tog hänsyn till.
Det är jättesvårt att föreställa sig vad som kan gå snett, och det är jättesvårt att omringa ett datorprogram så att det bara gör vad man tillåter det, och inget annat.
För bra exempel på “det är svårt att låsa in AIn”, kolla den här videon:
Olika AIs spelar kurragömma i en fysiksimulator, och de blir bättre och bättre och till slut exploitar de fysikmotorn och har helt enkelt sönder spelet för att vinna, tar sig helt utanför fysikmotorns regler. Tänk Neo i The Matrix, typ.
När det gäller att en AI hackar andra AIs eller andra system kan man titta på den här videon, som tar upp några exempel av adversarial attacks på AIs, skapade både av vanliga algoritmer, och av andra AIs:
Det här förstår jag och även hur det är ett konkret problem. Det ligger också i linje med vad jag kan om maskinlärning. En sorts felltränad AI för en process fast i större skala. Med katastrofala följder.
Finns en annan stor risk som Raffaello d’Andrea (AI/Robot forskare) har påpekat. Alla AI-system kan ses som olika slags reglersystem. Ett generellt problemet med reglersystem är att när man kopplar ihop olika reglersystem så kan man få väldigt oväntade självsvängningsmekanismer, där ett reglersystem reagerar på ett visst sätt och förstärker ett annat - plötsligt reagerar dom på varandra.
De är väldigt svårt att förutsäga i förväg hur dessa självsvängningar uppstår och vad det får för effekter.
Man kan tänka sig detta i på liten skala i en trafiksituation där bilar håller på att krascha. Olika AI-system försöker avvärja detta. Några bilar försöker tvärbromsa, några andra gasar och girar stenhårt. När andra AI drivna bilar ser detta girar dom också och det blir en slags kedjeeffekt som bara gör det hela värre.
Extrapolerar man detta till väldigt stora system, finns en klar risk att olika AI-system reagerar på varandra och förstärker signaler hos varandra och helt plötsligt har man en situation där alla system går bananas för att försöka skydda sig mot varandra.
Något jag saknar när man pratar om superintelligenser och jämför skillnaden mellan en sådan och människor som mellan människor och myror är att ingen kan kvantifiera vilka nivåer av ”intelligens” som egentligen finns. Vad har vi för belägg för att det finns nivåer av generell intelligens som ligger flera tiopotenser över en människa?
Jag tror mer att största effekten av AI är att man kan skala upp mänsklig intelligens, helt plötsligt kan varje arbetsuppgift utföras till nästan noll kostnad av en intelligens som är väldigt nära en mänsklig hjärna. Alltså att vi kan göra mer man inte nödvändigtvis bättre.
Jag tycker detta är skrämmande och tänkvärt.
Ibland när man läser, ser eller lyssnar på sker om farorna med AI så känner man sig som en flat earther eller liknande konspirationsteoretiker. Men samtidigt är det ju inga ufon utan riktigt smarta killar som säger det.
Steve Wozniak, Elon Musk, Max Tegmark och här en fd chef på Google X. Inte din vanliga samling foliehattar.
Skulle nog mena att alla dessa personer du nämner är mer eller mindre tossiga.
Hela diskussionen är mer eller mindre baserad på ren science fiction i mina ögon. Jag jobbar som programmerare och även om jag ser många potentiella sociala problem redan med dagens teknik (precis som med mycket annan ny teknik) så har jag inte mycket till övers för allt fabulerande om Skynet och så vidare. Hela tanken om en AI som förbättrar sin egen kod tills den är superintelligent är bara rent hittepå, dagens teknik har överhuvudtaget inte den potentialen. Ulf Danielsson (fysikprofessorn) summerade det hela kärnfullt tidigare i år när han skrev att det är lika sannolikhet att intelligens skulle uppstå i ett maskinlärningsprogram som det är att det skulle börja regna inuti en dator som tar fram väderleksprognoser. ChatGPT och andra LLM:er är en avancerad form av telefonens autocomplete-funktion, det enda de gör är att simulera språk. Det finns ingen intelligens i det. Steget från där vi är i dag till Skynet-liknande självförbättrande kod eller någon slags generell intelligens går inte ens att ana i framtiden, det skulle krävas helt annan teknik för det.
En väldigt intressant sak som intervjuoffret i podden säger är att han inte är rädd för att AI skall göra slut på mänskligheten utan att långt innan det skulle vara aktuellt så kommer människor med AI teknik ha kunnat göra det.
Jag håller med, människan är inte någon man vågar anförtro så sofistikerade leksaker.
Tänk bara Donald Trump och Putin med var sin superGPT.
Det finns mig veterligen inget konkret som tyder på att den här hypotesen (att om man gör modellen tillräckligt stor så “lär den sig att lära sig”) faktiskt stämmer. Premisserna som artikeln bygger på är ren spekulation. Kretsen kring Eliezer Yudkowsky är av någon anledning besatta av detta och det är mycket svårt att begripa varför.
Som @Aen nämner så tror många att det inte handlar om avancerad utantillinlärning utan att dessa AI:s skapar en modell eller en “förståelse” av världen för att kunna svara på frågor eller utföra avancerad autocomplete. Detta eftersom en modell eller en generalisering är det mest effektiva sättet att representera ett stor mängd indata, en sorts komprimering.
Vad är då defintionen av intelligens? - Jo, att generalisera, skapa abstraktioner och bygga användbara modeller av verkligheten.
Man måste också skilja på intelligens och självmedvetande.
Det resonemanget är jag med på; jag håller med om att en LLM är en modell av mänskligt språk (eller i alla fall av det mänskliga språk den tränats med). Jag kan till och med gå med på att man i vissa bemärkelser kan säga att LLM:en förstår språket. Men LLM:en har inte själv byggt denna modell av språket, det har utvecklarna gjort. Den kan inte heller själv uppdatera modellen i någon större utsträckning. Den kan inte på egen hand skapa några nya abstraktioner eller få ny förståelse. Man kan t.ex. lära den nya ord eller definitioner men detta är bara en tillämpning av den inbyggda modellen. Därför menar jag att det är att gå alldeles för långt att säga att den är har intelligens.
Moving the goalposts är alltid en issue i AI-diskussioner. Saker är intelligens innan en dator kan göra det, men så fort en dator lär sig det är det inte intelligens längre.
