Skulle faktiskt vara intressant att höra hur prompten såg ut, för ibland undrar jag verkligen om folk ger instruktioner som de själva tror är supertydliga men som egentligen är väldigt tvetydiga.
Om du hittar samma konversation och ställer följdfrågan: ”Varför följer domännamnen inte reglerna jag listade upp, på vilka olika sätt kan man tolka reglerna?” vad får du för svar då?
Om du provar att slå på reasoning och upprepar samma prompt vad får du för resultat då?
Jag gjorde ett enkel test där jag bad om 10 domännamn enligt några enkla regler och alla 10 var korrekta.
Den var relaterad till mig som person, så kan inte dela rakt av. Men typ listade några intressen, aktiviteter och karaktäristiska egenskaper hos mig som person. Bad om fyndiga domännamn med två ord/komponenter som spelar med varandra, till exempel om jag gillat konståkning och skräckfilm så hade “pirruett” varit giltigt. Hade någon constraint på teckenlängd samt stavelser också.
Som vanligt när det gäller LLMer (ärligt talat vore det oväntat om en ifrågasättande strategi någonsin fungerat för dig) så får man alltid samma svar där: “Oj ursäkta mitt misstag, här är 100 nya förslag” (som inte heller följer reglerna). Alternativt helt enkelt att den har fel och tycker att “skridskoblod” är fyndigt.
Jag körde på high, för att testa. Ungefär samma resultat.
Alltså ja, man får alltid det karaktäristiska “Oj ursäkta mitt misstag”, och man får ofta en förklaring vilket hälften av gångerna inte stämmer, en LLM är bevisat dålig eller t.o.m. oförmögen att veta hur den kom fram till ett svar. Men man får också alltid några ledtrådar, framförallt baserat på vad den inte uppger som en förklaring.
Om något som jag själv tycker är uppenbart inte dyker upp alls i förklaringen så betyder det ofta att jag varit otydlig. En LLM är ju trots allt en sorts sökmotor i det “semantiska rummet”, och om de ord jag använt inte betyder det jag tror de betyder eller inte är specifika nog så kan det omöjligen dyka upp i förklaringen.
Rätt långsökt kan jag tycka, om du menar att en skräckfilm ger pirr i kroppen, och pirruett är en snurr i konståkning, det tog mig ett tag att förstå det.
Jag bollade detta med en LLM (Claude) för att försöka förstå vilka kopplingar den gör mellan “pirr” och skräckfilm och fick detta svar, vilket jag tycker ändå pekar på att det kan vara för långsökt och det är därför du inte får det svar du önskade dig:
Av skräckfilmer känner man snarare:
Rysningar
Kalla kårar
Obehag
Ångest
“Pirr” är mer förknippat med:
Förväntansspänning (pirr i magen inför något spännande)
Nervositet (pirr av nervositet)
Glädjefull upphetsning
Förstår att det bara är ett exempel, tycker ändå det illustrerar hur svårt det är att vara tydlig.
Jag hade bättre exempel i min prompt, samt flera stycken. Det var rätt svårt att komma på ett bra exempel just för konståkning + skräckfilm, målade in mig i ett hörn där. Mina faktiska intressen och det jag skulle använda domänen till, hade mycket lättare ord att leka med. Kanske varit bättre exempel där om jag sagt konståkning + nöjesfält Dock så får man ju inte ångest av skräckfilm om man gillar förväntningen och pirret inför en bra jump scare. Får man ångest rekommenderar jag att byta genre!
LLM är bra på vissa uppgifter och väldigt dålig på andra. Jag använder det bara i arbetet så här är två exempel:
Bra på att “analysera” komplicerade felmeddelanden. I fredags fick jag snabbt korrekt svar om en stor stacktrace från byggverktyget Maven (jag saknade tydligen en viss dependency). Det hade tagit ett bra tag att reda ut det själv. Inte omöjligt, men jag tyckte inte direkt det var helt uppenbart, och det hade kanske tagit halva dagen, särskilt om jag misslyckats med Google (jag gick direkt till Gemini dock).
Dålig på att code reviewa och reda ut old school flertrådad kod (tänk: råa trådar, flera olika lås, osv). Jag försökte se om det kunde finnas risk för deadlocks och andra problem i en begränsad bit kod som jag tyckte såg lite misstänkt ut. Jag bad om förslag på vad som kunde vara fel med koden.
Den var övertygad om att risken för deadlocks var stor, och så vidare. Vid närmare analys med papper och penna var alla förslag den kom med fullständigt nonsens. Det “lät bra” och den snackade om ordning på lås, och liknande, vilket är viktig i sammanhanget, men inga förslag stämde egentligen. Nu när jag lärt mig den här koden är “låsstrategin” inte särskilt komplicerad egentligen, men koden är skriven på ett sätt som gör att den ser ganska sårbar ut.
Nej, jag tror inte att det nödvändigtvis är en uppgift väl anpassad för verktyget.
Oftast brukar svaret bli något i stil med “Oh yes you are absolutely right, I’m so sorry I missed that…” för att sedan ge exakt samma svar (eller en stavelse hit och dit ändrat)
Hur ser ni som jobbar inom tech på utvecklingen kring AI? Har en YH-utbildning inom programmering och har sedan min examen haft svårt att få in en fot i arbetsmarknaden. Man ser ju lösningar med AI som kan skapa helt okej appar/ webbsidor på kort tid.
Hur skulle ni säga är mera tips att hålla sig uppdaterad och fortfarande aktuell i arbetsmarknaden tills man ska pensionera sig om ca 30-35år?
Måste säga att jag är besviken på GPT 5 so far. Den rör till källmaterialet hela tiden, jämfört med 4o som gör det ibland. Jag har mest använt båda för att tolka och och jobba runt romanlånga skönlitterära texter, så contextfönstrets storlek gör dem sårbara för att förvanska där, men 5an brister mer, än så länge.
Min uppfattning är att det har blivit svårare att få ett första jobb idag än för ett antal år sedan. Fler kräver att man är senior.
Min tolkning är AI kan spela en roll i detta, men det skulle likväl kunna vara konjunkturen. Svårt att sia om, finns rapporter som tyder på både det ena och det andra.
Default. Osäker om valet för thinking fanns när jag körde häromdagen (ser det nu).
Jag sade att den svarade galet, och då tänkte den nån halvminut och svarade dåligt igen.
Edit:
Jag provade thinking nu, och den ger ett bättre svar. Vill inte köra samma fråga flera gånger i rad nu, så vågar inte säga om det bara var tur eller ej.
En bra diskussion om hur AI kan påverka arbetsmarknaden
De tycks tro:
6-7% av alla jobb kommer automatiseras av AI.
Det kommer ta ungefär 10+ år för industrin att genomföra förändringen.
Arbetslösheten bör öka med 0,5% under denna tid.
Att vissa företag inte tar in så många unga/juniora personer är ett tecken att de förbereder sig på detta. (Bättre att inte anställa dem idag än att behöva avskeda dem om 2-3 år.)
Dock så får man ju inte ångest av skräckfilm om man gillar förväntningen och pirret inför en bra jump scare. Får man ångest rekommenderar jag att byta genre!
(2 min)
