Är det dags för ännu ett stort hopp i BNP till följd av AGI?

Jag är rätt tveksam till att det bara är storleken på modellerna som är nyckeln, tror mer det handlar om att hitta effektivare modeller och algoritmer. Ett exempel på ett sådant genombrott är Transformer (deep learning architecture) - Wikipedia som har haft stor framgång inom vissa problem sen det introducerades 2017, tänker att det är ett par sådana upptäckter till vi behöver för att nå hela vägen till AGI.

Evolutionen har trots allt haft miljontals år på sig att kräma ut maximal prestanda ur en begränsad mängd neuroner och synapser. Slänger ut en helt vild teori om att det kan vara så att evolutionen har hittat sätt att utnyttja kvanteffekter på ett sätt som gör ett neuralt nätverk mer effektivt, träffsäkerhet etc, då kommer vi inte nå dit med en vanlig dator.

Tillägg: OpenAI ska alldeles strax släppa sin GPT-4 modell som tydligen ska vara i storleksordningen en mänsklig hjärna, beroende på hur man räknar såklart, 10^12 parametrar. Så vi närmar oss snabbt svaret på frågan om skalan är det som saknas.

1 gillning

Jag tror du har helt rätt och fel samtidigt. Du har rätt i att det bästa sättet att nå dit är att göra algoritmerna bättre. Men att en effektivare modell löser att vi inte behöver skala upp det lika mycket motsäger inte att det handlar om skala, snarare bekräftar det. Frågan är om de system vi har ens är på rätt väg, eller som skeptikerna tror att vi behöver ett helt nytt paradigm.

Så kan det vara, men såg en intervju med deep-minds VD där han fick frågan, och han sa att det vi känner till om hjärnan idag så är det inte så. Men sen kan vi ju långt ifrån allt om våra hjärnor.

Hmm, jag hade hört att den ska vara typ 1% av en mänsklig hjärna :thinking: jag har hört att ryktet om 100 biljoner (eng trillion) inte ska stämma utan det handlar mer om 1 biljon (eng trillion). Orsaken ska vara att, enligt rykten, att flamingo i våras visade att det finns ett mycket mer effektivt sätt att träna AI. Snarare hur själva träningen fungerar, och att man behöver fler tokens för att det ska fungera bra.

1 gillning

Det finns ett antal studier som frågat AI-forskare om, och isåfall när, de tror att vi skulle kunna nå den tekniska singulariteten och därmed AGI. Den senaste jag sett är denna från 2019, men den känns lite tvivelaktig eftersom den bygger på ett litet urval respondenter (32st) i form av PhD:s som “forskar inom AI”…vilket är väldigt diffust. Hur som helst resulterade svaren från dessa 32 vad gäller AGI i detta:

  • 45% of respondents predict a date before 2060
  • 34% of respondents predict a date after 2060
  • 21% of respondents believe that the Singularity is unlikely to ever occur

En mer robust studie är denna (länk) som bygger på enkätsvar från 352 forskare som deltog någon av två topp-konferenser inom fältet (ICML och NIPS). Denna landade i en 50% chans att vi når AGI senast 2060, men det finns mycket stora skillnader baserat på varifrån de svarande kommer. Svarande från Asien estimerade en 50%-ig chans till AGI inom 30 år, medan europer estimerar 45 år, och nordamerikaner 75år.

Man kan konstatera är att inte ens experterna är på något sätt är eniga i denna fråga, och det är inte konstigt då det är så svårt att förutspå teknikutveckling. Sådan utveckling sker sällan linjärt utan istället i snabba pradigmskiften, med påvarandra följanse S-kurvor. Ett nytt paradigm ger en snabb utveckling som sen planar ut till nästa paradigm tar över.

Det är också viktigt att ta med sig att AI-forskare historiskt sett många gånger varit överentusiastiska i sina utfästelser. Trots detta finns det ett antal aspekter som talar för en fortsatt snabb utveckling inom AI-området, främst:

  1. fortsatt exponentiell utveckling av beräkningskapacitet i datorer. All intelligens kräver beräkningar, vår hjärnor är exempelvis en typ av informationsbehandlare. Exempelvis befinner vi oss just nu i det femte beräkningsparadigmet (först rent mekaniska maskiner, via relä-datorer och elektronrör till transistorn ) och nu den integrerade kretsen (alltså “chip” som CPU:er). Vi börjar nå gränsen för hur mycket mer beräkningskapacitet vi kan trycka in i CPU:er, men börjar redan glänta på dörren till det sjätte paradigmet som kanske är kvantdatorer.

  2. tillgång till data. Genom mobila enheter, internet m.m. sammanställer och lagerhåller vi enorma mängder data både i struktuerad och otrukturerad form. Detta är något äldre AI-forskare bara kunnat drömma om.

  3. typ 75 år av ackumulerad AI-forskning och effektivare algoritmer och inlärningsparadigm. I kombination med de båda ovanstående ger detta oanade möjligheter jämfört med hur förutsättningarna såg ut i tidigare skeden av AI-utvecklingen.

Personligen tror jag att dessa tre samverkande punkter kommer leda till att AI-utvecklingen fortsätter i rasande fart. MEN, jag tror inte vi når AGI per automatik bara för att vi accelererar punkt 1-2 ovan. Det kommer ge oss mycket snabbare datorer och mer data, men det leder inte per automatik till intelligens. Om vi så att säga får en dubbelt så snabb dator, men kör den med ett “korkat” program får vi bara fel svar dubbelt så snabbt.

Till syvene och sist hänger det på punkt (3) ovan, alltså forskning och framsteg i hur man kan omsätta beräkningscykler för att nå intelligens. Mycket AI-forskning idag handlar om djupa neurala nätverk (eng. Deep learning). Och även om det finns likheter med hur våra hjärnor fungerar, så är de samtidigt sååå olika. En bra populärvetenskaplig beskrivning tycker jag ges i boken A Thousand Brains: A New Theory of Intelligence (länk).

Slutligen, vad gäller AI:s (alltså inte AGI) påverkan på arbetsmarknaden så finns följande två läger:

  • Dels det negativa som talar om mass-arbetslöshet eftersom AI kommer konkurrera ut jobb. Denna sida fokuserar mer eller mindre bara på utbudssidan. För en populärvetenskaplig summering av denna (enligt mig onyanserade) sida så kan man läsa SSF-rapporten Vartannat jobb automatiserat inom 20 år.
  • Å andra sidan finns en (enligt mig) mer nyanserad sida som exempelvis bryter ner konceptet jobb i mindre beståndsdelar i form av olika arbetsuppgifter…och tar också in efterfrågande-sidan (vad vill vi människor/kunder egentligen ha). Här landar man generellt i att AI kommer kunna ersätta vissa arbetsuppgifter fullt ut, medan de flesta andra inte kommer ersättas men däremot förändras på olika sätt, t.ex. genom att vi människor får mer avancerade hjälpmedel. Men det finns endel jobb som bara består av arbetsuppgifter som helt kan automatiseras, och därmed kommer konkurreras ut. Resterande jobb däremot kommer istället förändras på olika sätt, och därmed finnas kvar i modifierad form. Dock är frågan om kompetensförsörjning central här…i vilken utsträckning har arbetstagaren förmågan att utbilda sig för att möta de modifierade arbetsuppgifterna? Dessutom bedöms det tillkomma en stor mängd nya jobb som vi inte ens kan föreställa oss idag. Som en liknelse, hur många här på forumet har ett yrke som helt bygger på att vi har tillgång till datorer? Jag är iaf en av dem, eftersom jag är forskare inom datavetenskap med just fokus på AI och tillämpas maskininlärning. Visst, datorer har konkurrerat ut en hel del jobb, men skapat desto fler. En rapport som beskriver denna mer nyanserade bild på ett bra sätt är denna från Entrprenörskapsforum skriven tillsammans med AI-forskare med gedigen kompetens.

Summa summarum kan man bara konstatera att detta är en väldigt komplex fråga (vilket längden på detta inlägg vittnar om :see_no_evil:) kantad av enorm osäkerhet, och där antagligen ingen vet svaret.

1 gillning

Att däggdjur med större hjärna är mer intelligenta beror på att de har fler kortikala kolumner som kan anses vara intelligensens minsta byggsten. Om man vecklar ut den yttersta delen av däggdjurs hjärnbark (typ neocortex) så hittar man en ca. 3mm tjock film med tätt packade sådana kortikala kolumner. En råtta har en film i storleksordningen av ett frimärke, en chimpans som ett A5-kuvert, och vi människor som en servet (~0.5x0.5m). Det är i denna servett all vår intelligens och minne finns lagrad…man skulle kunna säga att DU är just den servetten.

Ifall man syntetiskt kan skapa eller emulera dessa kortikala kolumner och skala upp det så snackar vi. Men dagens djupa nätverk är inte i närheten av detta (såvitt jag förstår iallafall). Men såklart kan det finnas helt andra vägar fram till AGI, än just den som evolutionen har mejslat fram under miljarders år baserat på slumpvisa modifikationer.

Jag skulle nog säga att det är möjligt att uppnå AGI utan att uppnå den tekniska singulariteten. Vi vet ju inte ens om en super-intelligens är möjligt, men generell intelligens är möjligt i människor så det borde även vara möjligt i en dator. Och även om super-intelligens är möjligt, så vet vi inte om det finns fysikaliska begränsningar i hur denna utveckling skulle kunna ske.

Därför är det väldigt viktigt hur man ställer frågan i en undersökning som dessa, så att man vet att alla svarar på samma fråga.

Jag tror defintivt på detta, den typ att AI vi bygger och lär använda oss av för att uppnå AGI tror jag kommer vara en annan typ att intelligens än våran. Jag tror att det finns många vägar fram till samma slutmål.

Om det bara skulle finnas en typ av generell intelligens och vi råkade ha den unika typen, så har vi kanske en lösning till Fermi paradoxen. Sannolikheten att generell intelligens i så fall uppstår på mer än en planet vore väldigt osannolik.