MacBook / Mac-användare: hur gör ni med större behov av lagring?

Båda är väl egentligen för lite för att göra något vettigt lokalt.

1 gillning

Som jag misstänkte. Trist såklart men då håller jag mig till baskonfigurationen.

Vad är rimligt för att man ska kunna få duglig prestanda? Jag försöker inte ersätta Claude Code eller liknande.

Jan - det mest prisvärda - enligt vår research är en tjänst för backup och lagring av en dator. Obegränsad mängd för 110 kr per månad. Om man kan tänka sig molnet.

V

Jag skulle börja i andra änden: vad är det modellen ska göra? “Duglig prestanda” kan betyda rätt olika saker.

Det finns ett gäng viktiga variabler/inställningar: Modellstorlek (parametrar), quantisering, context window, KV-cache, reasoning, presence osv. Tillsammans med hårdvaran (framför allt RAM/VRAM och bandbredd) ger dessa en viss hastighet (tokens per sekund).

Min erfarenhet: Är man ute efter generell assistent-/kod-användning med bra modell, vettigt context och svarstider man faktiskt står ut med… då är det tyvärr de bästa Nvidia RTX-korten som gäller. Eller egentligen bara det bästa. Och minst ett kort :money_mouth_face:

Även om det här området rör sig snabbt så är det ministeg sett till den större bilden. En anekdotisk inblick, för att förklara: Precis nu i förrgår, så landade en uppdatering i llama.cpp (ett ramverk som kör modeller) som gav ca 1,5x hastighet för de bästa modellerna. Det är total hype kring detta, alla är imponerade och glada. Men… det gjorde att du nu kan få ut ca 100 tokens/sekund - en användbar hastighet men inte med stor marginal - om du använder en nedbantad variant (27B-Q8) av en modell som i sin bästa form inte är konkurrenskraftig med Claude 4.6 (Qwen3.6) och med ett context window ca 100 K, vilket jag anser är minimum. Och detta är på ett RTX 5090 som kostar 35 000 kr.

Men som sagt, vad är dugligt för dig är frågan.

1 gillning

Även om du väljer 24GB RAM så kan du köra nån 20B modell och det är rätt så kasst. Sure, den kan sammanfatta lite text och koda lite. Långsamt. Men det är NATT OCH DAG skillnad jämfört om man betalar en peng varje månad och får tillgång till de senaste modellerna över molnet

Jag hade hellre bumpat upp till Mac Studio med M4 Max och 64GB RAM. Ja, det blir 35 245 kr vilket inte är gratis. Men då kommer du ha det mycket roligare att leka med lokala LLM.

Ja ”duglig prestanda” var luddigt. Jag är ju inte superinsatt i allt vad Kv-cache osv betyder. Det jag menar är att den ska vara hyfsat responsiv dvs att den inte ska ”hacka” fram och kännas seg. Sen behöver den inte vara den mest Avancerade modellen.

Nvidias top of the line är nog tyvärr att glömma för min del :sweat_smile:

eftersom det primära är en ny dator skippar jag nog lokal llm för nu. Konsensus bland er som är mer insatta verkar vara att 24GB är för lite.

Om jag var du hade jag skippat lokal LLM, men ändå köpt 24GB RAM om du haft råd :slight_smile: Kommer flyta på bättre om du har många grejer igång samtidigt. Och den blir mer future proof

2 gillningar