Om AI innebär lika stor förändring som den industriella revolutionen så underskattar många förändringen vi står inför

3060 med 12gb vram är ganska bra. Men 3060 kortet har några år på nacken, jag tror det kommer vara ganska segt även om modellen får plats.

Kör en del bilder och video men min dator, sitter med en AMD Ryzen 5 5600 6-Core Processor, 32gb ram och 5060ti 16gb vram. Fungerar hyfsat bra. Testat köra lite LLM med ollama, fungerar också hyfsat bra, har dock inte lagt så mkt tid på det så kan inte uttala mig om det direkt.

Det finns oftast en “komprimerad” version av modellerna som gör det lite lättare att köra dom på sämre prestanda. GGUF heter formatet. Kan vara värt att kolla up.

1 gillning

Tror att ChatGPT glömde en nolla :grin: De öppna modellerna går inte att köra på vanliga grafikkort, de kräver H100/H200. Det man kan köra lokalt på konsumenthårdvara är bara nedbantade varianter. Eller möjligtvis kan man greja ihop ett gäng typ RTX 5090 men priset blir fortfarande en nolla mer än 20 K.

Och en nedbantad variant lokalt på ett RTX-kort ger inte speciellt användbar prestanda. Tycker jag, efter att ha kört en del med de nedbantade varianterna av bl.a. Gemma 4 och Qwen 3.6.

Edit: Bilder och video är en annan femma ja, där går det att ha kul med ett modernt grafikkort :+1:

5 gillningar

Vill du köra lite AI för kodning tror jag det kommer bli betydligt billigare att betala för en produkt än köpa en ny dator med prestanda nog att köra en tillräckligt bra modell på.

200 i månaden under 5 år blir 12 000, på min jobbdator som kostar över 30 000 kan jag inte köra någon modell som är i närheten av GPT-5.5 eller så. Köper du en bra dator idag kommer den nog inte kunna köra på bra modeller om 5+ år.

(Sedan kan man vilja köra lokalt för det är spännande att lära sig eller för att man inte vill/kan skicka upp data i molnet, men spara pengar gör man inte idag.)

2 gillningar

En ny modell från Kina :train:

Ser lovande ut:

1 gillning

Jag har en Ryzen 5800x3D med 32GB ram och ett 7900XT med 20GB VRAM.

Men det är ihopsatt för att vara speldator, inte AI-dator :slight_smile:

Du behöver egentligen “bara” grafikkort, resten behöver inte vara värsting grejer, du kan köpa en begagnad stationär, med fördel en som har plats för flera grafikkort. En kompis satte ihop något med dubbla 5060 16GB för att labba med lokala modeller, har inte hört hur det har gått men det ska vara ett relativt billigt sätt.

Om du sitter och programmerar måste en gammal 2-kärnig laptop med 8GB ram vara frustrerande långsamt ändå?

Sen kan jag väl instämma i de som säger att du kan köra mycket claude eller chatgpt för samma pengar, där får väl intresse och behov styra.

1 gillning

Ännu ett inlägg på X om Kimi K3:

image

1 gillning

Jag har hittills mest kört Python i Googles Colab som är en serverbaserad miljö. Har därför inte märkt så mycket av några prestandaproblem. Det som jag har tyckt är mest frustrerande är väl när jag suttit och hackat formler i stora kalkylbladsfiler (> 1 GB) i LibreOffice Calc, att det kan ta en bra stund att uppdatera filerna när det är en massa beräkningar som ska uppdateras. Jag har nyss installerat Python lokalt och börjat testa den miljön, men än så länge inga stora filer. Det är bara hobbyprojekt jag håller på med, inte någon komplett programvara till JAS eller en telefonväxel. :slightly_smiling_face:

1 gillning

Hmm, intressant :robot:

Citat:

Recent robot foundation models operate with single-step or short-history visuomotor context. We introduce Test-Time-Training Robot Policies (RoboTTT), a robot model and training recipe that scale visuomotor context to 8K timesteps, three orders of magnitude beyond state-of-the-art policies

Verkar kunna erbjuda något nytt:

we unlock new robot capabilities: one-shot in-context imitation from human video demonstrations, on-the-fly policy improvement, robustness to perturbations, and stronger performance on multi-stage, long-horizon tasks

Låter onekligen som ett steg i rätt rikting för att få robotar att fungera, vi får väl se hur väl det fungerar i verkligheten.

1 gillning

Intressant att se hur AI möter geopolitik :popcorn:

https://www.reuters.com/world/asia-pacific/chinas-xi-promotes-chinas-commitment-ai-access-speech-shanghai-conference-2026-07-17/

Undrar hur länge kineserna fortsätter att släppa modellerna gratis.. att köpa hårdvara börjar ju bli värt det. På företag blir det verkligen värt det. Undrar om bahnhof och liknande bolag kommer tjäna på detta då folk vill sätta dit lite servrar

1 gillning

Tror inte en nolla räcker. En 8xB300 kostar ca 300k/månad i leasing. Men då kan man köra modeller som är bra på riktigt. GLM-5.2, eller tom Kimi K3 (i FP4-kvantisering…)

Det bästa du kan ha om du vill köra lokala modeller för under 100k är antagligen en maxad MacBookPro med 128GB, eftersom den har unified-memory och kan köra hela minnet som VRAM, eller en NVidia DGX Spark. Inget av de alternativen är superbilligt dock, typ 80k. Och då är du ändå inte ens nära att köra de modeller som på allvar konkurrerar med GPT/Opus.

2 gillningar

Jag är inte alls insatt i hur affärsmodellerna ser ut vad gäller försäljning av AI-kapacitet till olika företag, men jag ställde några frågor om det till ChatGPT och fick en intressant utläggning:

Min prompt

Är det vanligt att företag leasar beräkningskapacitet (GPU:er) hos AI-företag för att de ska kunna köra stora modeller på sina egna data? Vad ligger i så fall priserna för sådan beräkningskapacitet på för nivåer? Leasar företagen X GPU:er per månad för priset Y, eller hur ser avtalen oftast ut? Eller leasar man ett visst antal tokens per månad?

Svaret

Ja, det är faktiskt betydligt vanligare att företag hyr AI-beräkningskapacitet än att de köper egna H100- eller B300-servrar. För de flesta organisationer är det både billigare och mer flexibelt.

Det finns i huvudsak tre olika affärsmodeller, beroende på vad företaget vill göra.


1. API-baserad AI (överlägset vanligast)

Det här är modellen som de flesta företag använder idag.

Exempel:

  • OpenAI

  • Anthropic

  • Google

  • Mistral

  • Cohere

Företaget skickar text till modellen via ett API.

Exempel:

Kundens fråga
        │
        ▼
   OpenAI API
        │
        ▼
     GPT-5
        │
        ▼
      Svar

Här hyr man inte GPU:er.

Man betalar istället för:

  • antal inmatningstokens

  • antal utmatningstokens

Det fungerar ungefär som att betala för el eller vatten – du betalar för det du faktiskt använder.

Detta är den klart vanligaste modellen.


2. Hyr hela GPU:er

Det här är vanligt för AI-företag, forskningsgrupper och större företag som vill köra egna modeller.

Då hyr man exempelvis:

  • 1 × H100

  • 8 × H100

  • 64 × H100

  • 128 × H100

från leverantörer som:

  • CoreWeave

  • Lambda

  • Crusoe

  • Nebius

  • AWS

  • Azure

  • Google Cloud

Man betalar ungefär per:

  • timme

  • dygn

  • månad

Priserna varierar med efterfrågan, men som en grov uppskattning (mitten av 2026) kan en H100 kosta några få till ett tiotal dollar per timme beroende på leverantör, region och om kapaciteten är reserverad eller “on-demand”. En månad med en H100 som kör dygnet runt kan därför hamna på flera tusen dollar.

En server med 8×H100 kostar alltså mångdubbelt mer.


3. Dedikerade AI-kluster

De riktigt stora företagen gör på ett tredje sätt.

De hyr exempelvis:

  • 512 GPU:er

  • 2 000 GPU:er

  • 10 000 GPU:er

under flera månader.

Det används när man tränar en ny språkmodell.

Här handlar avtalen ofta om miljontals dollar.


Hur ser ett typiskt avtal ut?

För GPU-hyra kan det se ut ungefär så här:

8 × H100

under

12 månader

med

garanterad tillgänglighet

och

99,9 % upptid

Det liknar att hyra en server i ett datacenter.


Hur fungerar det med företagets egna data?

Här finns två huvudalternativ.

Alternativ 1 – API

Företaget skickar sina dokument till GPT.

Till exempel:

Företagets PDF
        │
        ▼
      GPT-5
        │
        ▼
     Sammanfattning

Modellen körs hos leverantören.


Alternativ 2 – Egen modell på hyrda GPU:er

Här hyr företaget exempelvis 8 H100.

Sedan installerar de själva:

  • Llama

  • Mistral

  • Qwen

  • DeepSeek

och kör modellen helt själva.

Då lämnar inte informationen deras egen miljö (eller den molnmiljö de kontrollerar), vilket kan vara viktigt av integritets- eller regulatoriska skäl.


När blir GPU-hyra billigare än API?

Det beror på användningen.

Om företaget:

  • gör några tusen frågor per dag

är API nästan alltid billigast.

Om företaget däremot:

  • gör hundratals miljoner tokens per dag

  • kör modellen dygnet runt

  • vill finjustera egna modeller

  • behöver låg svarstid och full kontroll

kan egna eller hyrda GPU:er bli mer ekonomiska.


Ett konkret exempel

Tänk dig ett försäkringsbolag med 5 000 handläggare.

Varje handläggare använder AI hela dagen.

Det kan innebära flera miljarder tokens per månad.

I ett sådant läge kan företaget komma fram till att:

“Det blir billigare att hyra ett kluster med 16 H200 än att betala per token.”

Samtidigt får de bättre kontroll över prestanda och hur deras data hanteras.


En intressant utveckling

Det börjar också bli vanligt med en hybridmodell:

  • För enklare uppgifter används ett API med betalning per token.

  • För känsliga data eller hög belastning kör företaget en egen öppen modell (t.ex. Llama eller Qwen) på hyrda GPU:er.

Det ger en bra balans mellan kostnad, flexibilitet och kontroll.

Sammanfattningsvis är alltså betalning per token den vanligaste modellen när man använder kommersiella AI-tjänster som ChatGPT, medan hyra av GPU:er eller hela AI-kluster främst används av organisationer som vill köra eller träna egna modeller i större skala.

Kan vara intressant att jämföra detta med hur dyr hårdvaran är om man ska köpa den själv. Nedan lite priser enligt ChatGPT:

Priser för AI-HW

Hur dyra är de?

NVIDIA säljer normalt inte dessa som konsumentprodukter, så priserna varierar beroende på avtal och systemleverantör. Som grova riktvärden:

Modell Ungefärligt marknadspris
A100 10 000–20 000 USD
H100 25 000–40 000 USD
H200 30 000–45 000 USD
B200/B300 kan ligga över 40 000–50 000 USD per GPU i kompletta lösningar

En server med 8×H100 eller 8×B300 kan därför kosta flera hundra tusen dollar, och ett helt AI-kluster med hundratals eller tusentals sådana servrar handlar om investeringar på tiotals eller hundratals miljoner dollar.

Inte riktigt inom min priskategori, men om man har bra munläder och bra kontakter kanske man kan få några att finansiera en satsning på någon expansiv verksamhet. Northvolt lyckades ju iaf. få en hel del riskkapital att leka med. :smirking_face:

1 gillning

Ganska lätt att spendera upp mot 10000 usd/mån på AI. När jag slarvar med de dyra modellerna (sol x high för mycket exempelvis) kommer jag ganska lätt upp i 1000 usd på en arbetsdag. Har du 100 utvecklare så blir det rätt enkel matte att köpa/hyra kapacitet.. hah undrar om det blir ny standard med ”här är min prompt och här är svaret”.. jag litar inte på mina kollegors output av ai och veriferar alltid det, kanske är något att faktiskt dela med sig av historiken..

1 gillning

Jag funderade lite på hur mycket pengar mjukvarutuvecklare i dag lägger på AI-tjänster och om det finns statistik för det. Jag tänker att du med din användning förmodligen ligger i den högre delen av spannet. Jag hittade mha ChatGPT en intressant undersökning från Stanford Computer Science. I nuläget är det 140 företag med totalt drygt 113 000 utvecklare som rapporterat in till undersökningen (projektet).

AI Spend Index (Stanford Computer Science)

Mer detaljer:

Min prompt

Det skulle vara intressant att få koll på lite statistik v.g. hur mycket pengar mjukvaruutvecklare i dag lägger på AI-tjänster. Finns det någon sådan statistik (globalt, eller per land, t.ex. Sverige eller USA)? Jag gissar att det är någon normalfördelningskurva, där det i ena änden av spannet finns mjukvaruutvecklare som lägger väldigt lite pengar på AI-tjänster, kanske nära 0 SEK (eller USD) per månad, och att det i andra änden av spannet finns de som lägger väldigt mycket pengar, kanske 100 000-tals SEK/mån på AI-tjänster. Men vad ligger snitt och median på för värden? Kan man få fram den typen av statistik? Länka gärna till ev. källor i så fall.

Svar från ChatGPT

Ja – faktiskt mer än jag trodde. Fram till nyligen hade svaret varit “nej, det finns nästan ingen bra statistik”. Men under 2026 har det dykt upp ett mycket intressant initiativ från Stanford som försöker mäta just detta.

Den viktigaste källan jag känner till är:

Det är ett öppet projekt där företag anonymt rapporterar hur mycket de spenderar på AI-verktyg för sina utvecklare.

De mest intressanta siffrorna

I nuläget (140 företag och drygt 113 000 utvecklare) rapporteras följande: (aispendindex.stanford.edu)

Mått USD per utvecklare och månad
Minimum 9 USD
25:e percentilen 53 USD
Median 86 USD
Medelvärde 392 USD
75:e percentilen 195 USD
Maximum 28 355 USD

Det här är en ovanligt talande tabell.

Medelvärdet är mycket högre än medianen

Du gissade att fördelningen kanske liknar en normalfördelning.

Den verkar snarare vara kraftigt högerskev (long-tail).

Median:

86 USD/månad

Medel:

392 USD/månad

Det betyder att ett relativt litet antal utvecklare eller team står för extremt höga AI-kostnader och drar upp snittet kraftigt. Det stämmer väl med hur AI används i praktiken: många använder bara abonnemang som ChatGPT Plus, Claude Pro eller Cursor, medan några få kör stora mängder API-anrop eller agentbaserade arbetsflöden.

Hur kan någon komma upp i 28 000 USD per månad?

Det låter först orimligt, men det kan hända om en utvecklare ansvarar för ett system som:

  • genererar miljontals tokens varje dag,

  • kör avancerade AI-agenter kontinuerligt,

  • använder de dyraste modellerna,

  • eller finjusterar modeller på hyrda GPU:er.

Då är det egentligen inte personens privata användning som kostar, utan den AI-infrastruktur personen driver.

Vad betalar “vanliga” utvecklare?

Det finns också mindre undersökningar (med sämre vetenskaplig kvalitet) som pekar i samma riktning.

En enkät bland utvecklare visade ungefär:

  • genomsnitt omkring 87 GBP/månad för AI-verktyg (ChatGPT, Claude, Cursor, API:er m.m.), där de flesta låg långt under detta och några få med höga API-kostnader drog upp snittet. (quotameter.app)

På Reddit ser man ett liknande mönster:

  • många enskilda utvecklare ligger på 20–100 USD/månad,

  • avancerade användare eller små startup-team ligger ofta på 200–700 USD/månad,

  • produktionssystem kan snabbt hamna på tusentals dollar i API-kostnader. (Reddit)

Man ska dock vara försiktig med att dra statistiska slutsatser från Reddit – det är mest intressant som kvalitativ information.

Finns statistik för Sverige?

Tyvärr inte vad jag känner till.

Stanford-projektet säger att de har data uppdelad på region (Nordamerika, Europa, APAC m.fl.), men de publicerar ännu inte landspecifika siffror öppet. (aispendindex.stanford.edu)

Det betyder att vi i dagsläget inte kan säga exempelvis:

“Medianutvecklaren i Sverige lägger 650 kr/månad.”

Den typen av statistik verkar ännu inte finnas offentligt.

Min uppskattning av dagens landskap

Om man kombinerar Stanford-indexet med vad vi vet om vanliga abonnemang skulle jag grovt dela in användare så här:

Typ av användare Typisk AI-kostnad
Använder mest gratisversioner 0–20 USD/månad
Hobbyutvecklare med ett eller två abonnemang 20–60 USD/månad
Professionell utvecklare med flera AI-verktyg 60–200 USD/månad
“Power user” med omfattande API-användning 200–1 000 USD/månad
Startup eller AI-utvecklare som driver egna system 1 000–10 000+ USD/månad
Stora produktionssystem tiotusentals USD/månad eller mer

Den tabellen är inte officiell statistik utan en syntes av abonnemangspriser, API-kostnader och de distributionsdata som Stanford publicerat.


Jag tycker faktiskt att Stanford AI Spend Index är ett av de mest intressanta nya projekten på området. Det försöker göra för AI-kostnader ungefär vad Stack Overflows årliga utvecklarundersökning har gjort för programmeringsspråk och verktyg: ge en återkommande, datadriven bild av hur AI används i praktiken. Om projektet fortsätter att växa kan det om några år ge en mycket tydlig bild av hur AI-investeringar utvecklas över tid, mellan branscher och mellan olika regioner.

2 gillningar

Hehe jag är en av de som använder ai mest på ett storbolag med några hundra ingenjörer.

Finns fortfarande bolag som är korkade och inte fattat värdet, Volvo cars, SEB, mfl sätter låg gräns på typ 100 usd/mån. Uber har satt en gräns på 1500 usd/utvecklare, skulle vara utmanande men gå att hantera en sån gräns.

Tror dock det är en förlust affär för företaget att bara ha 1500/mån i ai budget per utvecklare. Jag producerar som kanske 5+ utvecklare utan AI. Nånstans går brytgränsen för output vs kostnad. Nu med GLM 5.2 och Kimi så går det nog att hantera mycket av grundarbetet på ett egen hostade modeller och få ner kostnaden dock.

Din AI gav ett ganska utdaterat svar förövrigt. Antrophic och OpenAI ska börsnoteras så de har börjat ta betalt mer för att kunna gå med vinst. Även copilot har ändrat sin prismodell. De har börjat sluta ha rabatt och tar nu enterprise/api priser fullt ut där man betalar för tokens.

2 gillningar

Det är ju logiskt att det är billigare att köpa AI-kapacitet eftersom leverantörerna inte tar ut de kostnader de har utan subventionerar kraftigt samt att de kan belägga hårdvaran 24/7 betydligt mer effektivt än vad du gör på egen dator som används sporadiskt över dygnet.

1 gillning

Den informationen är utdaterad. Stämmer inte längre. Subventionerna är redan borta för enterprise kunder. Antrophic verkar satsa på att med vinst inför IPO. Senaste infon är väl att de gör det.

Funderingar kring AI-assisterade utvecklare och faktisk lönsamhet på sista raden hos företagen. Det är ju tydligt att en utvecklare som använder AI kostar mer. Men även att produktiviteten går upp, jag använder själv Claude Code.
Men det verkar vara vara tveksamt om det verkligen syns positivt i balansräkningarna. Eller tittar man efter fel saker om man tänker så? Blir effekten av effektivare utveckare snarare att kvaliteten och komplexiteten hos produkterna går upp, till samma utvecklingskostnad? Är den verkliga effekten att de bolag som inte använder AI långsiktigt kommer bli frånsprugna för att de helt enkelt säljer för primitiva produkter?

1 gillning

Tvivlar jag starkt på. Att OpenAI och XAI går med brutal förlust är allmänt känt. Det har Anthropic också gjort, men vad gäller Antrophic så har de släppt typ ett “rykte” att de troligen kommer gå med någon typ av “vinst” för "den löpande verksamheten” under q2 2026. Eftersom det är ett privat bolag har vi ingen insyn i deras bokföring som kan backa upp påståendet. De har i och för sig inte heller hävdat att det är en vinst enligt normala bokföringsregler GAAP utan det är någon typ av Non-GAAP.

Gissningsvis har en del kreativ bokföring använts för att kunna pumpa lite inför IPO’n.

2 gillningar

Intrressant tanke. Om bara ett företag i en bransch använder AI och blir väldigt effektiva kan de självklart tjäna en massa pengar. Men om alla konkurrenter i branschen gör det samma så kommer ingen tjäna mer, alla får bara högre kostnader?

Ja, de kan ju avskeda personal för att sänka kostnaden eller möjligen höja priserna mot kund om det går.

Det är i alla fall ganska oklart var vinsterna från en högre effektivitet från AI kommer att landa - vem tjänar mest på det? Tillverkarna av hårdvaran som krävs för AI är väl ganska givna vinnare, men i övrigt?