Men alla kan inte bli tandläkare, var ska pengarna komma ifrån om du nu anser att det finns tandläkarbrist idag? Sedan täpper ju tandläkare ett enormt litet hål, alla kan ju inte bli tandläkare, finns bara ett behov till ett väldigt fåtal av den stora massan.
Att restaurera fornminnen, var ska de pengarna komma ifrån?
Rymdprogram, är det inte bättre att skicka iväg robotar med AI som inte kräver luft och mat och tål fler G-krafter?
Påståendet att utvecklingen har varit exponentiell kan inte vara seriös.
Detta är en exponentiell utveckling:
Exponentiellt måste inte vara kvadraten. Klassiska ränta-på-ränta är ju t ex exponentiell.
Såklart.
AI har inte växt väldigt långsamt för att öka, det är snarare tvärtom.
LLM tog enorma kliv framåt på AI fronten men de kliven har inte fått en fortsatt exponentiell utveckling. Det har gått framåt ja, men långtifrån exponentiellt.
Förmodligen.
Jag är nog bara less på folk som överhypar AI till orimliga nivåer.
Troligen kan inget öka exponentiellt för evigt, men det kan ju det under ett tag. Något som fortfarande har en konstant dubbelingstid är detta:
Länk:
Så, man kan behöva specificera vad det är man anser inte längre ökar i denna takt. Min uppfattning är att vi fortfarande ser en väldigt hög takt i längden på kontextfönster och antal tokens per X kronor. Men några andra saker ser vi att utvecklingen går långsammare just nu, och några få går det ruggigt fort just nu.
På The Vergecast denna vecka:
how bonkers email is as an underlying technology is fascinating. Like, it is a miracle that your email ever gets delivered correctly
Alltså vad menar du när du pratar om AI? AI har funnits sedan 50-talet. Neurala nät sedan 80-talet. Transformers sedan 2015 eller så. LLMer sedan 2017?
Alla de där teknikerna har haft lokala snabbväxartillfällen blandade med dvala/vintrar. Just peaken som varit nu de senaste åren är extrem—enorma framsteg nu på slutet.
Jag mest fascinerad av bild/video/ljud/musik-modeller, och de blir ju knasigt mycket bättre dag för dag. Samtidigt blir gårdagens förmågor inom de här områdena väldigt billiga. Jag är FIRE, och jag hinner ändå inte med att prova alla nya förmågor som kommer.
Tyckte jag var tydlig när jag skrev LLM, vilket också är det folk i tråden och OPs artikel nästan uteslutande syftar till.
Jag har för den delen studerat AI sedan universitetstiden med bl.a. machine learning, neutrala nät, samt optimering och planering, så jag är väl medveten om att det finns många olika tekniker som slarvigt hamnar under “AI”. Även Pacmans spöken är ju en slags primitiv AI…
Det är inget slarvigt med det. Det är ju AI.
LLMer är nog ändå rätt passe för det vi pratar om; nuvarande modeller tränas på väldigt mycket olika typer av data, både text, visuell, audio och annat. Jag tycker World model är ett hyffsat bra begrepp för det, för de lär sig om hur världen funkar. Samtidigt routas saker som kommer in till rätt modell som är expert på problemet, eller flera modeller samarbetar för att lösa och kontrollera varandras bidrag. De kodar egna små program för att få fram svaret och tittar runt i databaser och tjänster som har info. Inte ens alla delar av lösningen använder transformers eller är generativa.
Att säga att LLM kört fast kan på nåt sätt stämma, för industrin har lämnat LLM bakom sig.
Exponentiell, disruptiv, epokavgörande transformation - eller inte?
Undertecknad är iaf tacksam för att Sveriges Kommuner och Regioner kommer lägga implementeringen i långbänk! Min moat som regionanställd är oöverstiglig!
Det är slarvigt när man diskuterar för det är ett så extremt brett begrepp.
Det är långtifrån sant och de är en väldigt viktig del i de World Models du syftar på.
Inga av de chattbottar vi använder på nätet är rena LLMer, t ex. Det är router framför och beroende på hur frågan bedöms av den så skickas den till kapablare modeller när det bedöms som att det behövs, eller mindre modeller om det verkar gå. OpenAI, t ex har väl bara omni-modeller nu, dvs även deras små modeller är tränade på mer än text.
Det går inte att hålla reda på, för de byter och förbättrar hela tiden.
Det är inte så att du menar transformer-arkitekturen när du säger LLM?
Har jag inte heller påstått.
Jag kanske slarvar ibland ja.
Så vad syftar du på?
Vad är det som inte har exponentiell utveckling egentligen?
Vi har pratat om bleeding edge i forskningen och de toppmodeller som har nått oss användare via moltjänsterna och till viss del som open weights.
Tex bilden här som rör tidshorisonten som nämndes tidigare:
Men du pratar alltså om något annat?
Ah, det var ett svar på denna:
Det var 10 år sedan och utvecklingen har sedan dess varit exponentiell och visar inga tecken på att stanna av.
Och nej, AI generellt har inte haft en exponentiell utveckling. Inte heller LLMs eller chatbots.
Att man hittat en egenskap hos LLMs som verkar uppvisa en exponentiell tillväxt ändrar inte det.
Du glömde sitta i möten-jobben. Du lyfter inte tungt. Du använder inte hjärnan. Du ingår bara i en ändlös parad av möten som inte åstadkommer mer än fler möten.
En av de första sakerna vi får lära oss är ju att historisk avkastning inte garanterar något för framtiden. Så är det verkligen logiskt att anta att historien alltid kommer upprepa sig?
Kanske bör en titta på vilka tipping points, platåer, etc som kommer förändra allt?
Eftersom tekniken utvecklas exponentiellt, borde det inte komma till en punkt då vi inte längre hinner skapa nya jobb? Säg att vi upptäcker nya behov, men hinner inte etablera dem som yrken innan tekniken tar hand om dem effektivare än människor?
En annan sak som borde nå en platå är konsumtionen som har ökat i takt. Med smart phones, e-handel och social media så konsumerar ju många nästan hela tiden, men där borde vi väl uppnå en platå? Våra hjärnor orkar ju inte mer.
