Välkommen till forumet @Kiwi87!
Den generella rekommendationen är: “ju billigare desto bättre och helst under 0.4%”. Det enda egentligen “undantaget” är när det inte finns något billigare alternativ. T.ex. om man är ute efter viss sorts fond, men det är extremt sällan det behövs.
Motfrågan som jag brukar ställa i situationer som denna är:
Om pengarna INTE vore investerade i den befintliga investeringen - i detta fall din fond - och du skulle ha dem på ditt sparkonto. Skulle du då köpt fonden som du har pengarna i nu?
Om ja, behåll den.
Om nej, byt den.
Och ja, de flesta som byter från en dyr fond till en billig fond får ett bättre sparande. En reservation är dock eventuell skatt som kan utlösas så att du är medveten om det. Sedan är ju allt sparande i fonder förknippat med risk att förlora delar av kapitalet. Men det utgår jag från att du vet. 
Lycka till!