Nej.
Även om du har rätt i att man behöver ett större kapital på börsen för att livnära sig på det så är principen (alternativkostnaden) densamma för att investera eller amortera tex 5 000 kr eller flera miljoner.
Amorterar du 5 000 kr undviker du i dagsläget 0,028 (2,8% effektiv ränta på 4% boränta tack vare ränteavdraget) * 5 000 k = 140 kr per år i löpande utgifter.
Investerar du de 5 000 kronorna istället förväntar du dig att på lång sikt få runt 7% avkastning om året, dvs 0,07 * 5 000 = 350 kr per år (Minus kapitalskatt i ISK på 0,88% i år då)
Då kan du hypotetiskt både betala boräntan med värdeutvecklingen och lägga en vinst i fickan 
Så principen är densamma när man bestämmer sig för att amortera 5 000 eller flera miljoner kronor.