高収入で賃貸派の皆様、教えて下さい

顔はごついのに母性にあふれるバツイチの主人と結婚し、子供２人をさずかり数年の３０代主婦です。
仕事が順調で、３０代後半で年収３０００万になりました。
月手取り１００万弱ですが、前の奥さん（子ども無し）と共同購入した家の借金を払い続けています。月に２０万円近くで、あと３０年位です。ちなみに私達は離婚後付合う様になりました。

もうすぐ引越をしないといけないのですが、自分の中で賃貸に住み続ける事にもやもやした思いがあります。
そもそも何千万、億のローンを組んで３０年後、古い家に住みたくないからどうせ買い替えるだろうし、値段も下がり損をする。
それなら便利の良い田舎に別荘でも建てて子供が小さいときから通い、思い出を育んだ方が良い。旅行代も浮く。最悪そこを終の住処にもできる。
賃貸は４０万位（会社手当で半額になる）で最新の耐震構造が整っている、会社から２０分以内のマンションを選べるが、買うとなると２－３億はするのでローンがのしかかり、日々の生活でケチケチ暮らさねばならない。その分投資にまわした方がトータルで随分儲けられる（主人は投資系の仕事）。子供が巣立った時に経済状況に合った小さい家を現金購入する。
→夫と了承済み。

ですが、私の中では前の奥さんに毎月２０万で億ションを払っているのに、私達はもし夫に何かあっても家はない（別荘のみ）、私は近々仕事を再開するので自分の給料が奥さんに払われているという見方もできるし、自分のこづかいは５万円。。と思うとちょっともやもやします。勿論、それを知っていて再婚した私の責任ですし、ワガママだし、子供がいるから仕方ないのですが。

そこで、経済状態は良いし家は買えるけどあえて賃貸を選ぶしその方が絶対いいよ～というポジティブな意見を賃貸派の皆さんから聞きたいです。
どうぞ、よろしくお願いします！