Om man går tillbaka lite i tiden, t ex till 1980-talet så kan man hitta vetenskapliga artiklar där man jobbar med transformliknande metoder för att generera ord baserat på en sekvens tidigare ord.
Det som skiljer mot idag är:
- man lagrade vikterna i beslutsträd istället för nn som idag.
- man hade klen tillgång till träningsdata.
- datorerna var klenare.
Men det är ungefär vad som skiljer mot t ex Chat-Gpt idag. Lite grovt iaf.
De på IBM kom över lite datorlagrad text från kanadensiska parlamentet. Och kunde då träna upp sitt program. Så det kunde producera lite tokig politikerprat.
Men deras träningsdata var ju väldigt litet jämfört med vad Chat-Gpt är tränat på.
Och det var ju inte riktigt så att politikerna kunde ersättas med deras program. Även om en del kanske inte skulle märka så stor skillnad.
Så det som hänt sedan 1980-talet, dvs under ca 40 år, är att träningsdata är mycket större. Och datorerna är mycket kraftfullare. Och att NN troligen är ett effektivare lagringsformat än beslutsträd.
Vad kan man tänka sig om 40 år då?
-
Datorerna kommer vara kraftfullare. Och man kommer kunna klara av större datamängder, beräkningsmässigt.
-
Men träningsdata kan troligen inte öka så mycket mer än idag. Inte kvalitativt iaf. Mer kan nog finnas men troligen bara mer av samma sak. Det ger inga bättre Chat-GPT.
-
Vissa smärre arkitekturella förbättringar är troligt. Det kommer fram lite då och då. Framförallt då det här ämnet lockar många och mycket resurser.
Så en aningen bättre Chat-GPT har vi nog om 40 år. Aningen bättre alltså.