今更、敷地内同居？

あと数日で結婚4年目になる2人の母です。 夫は車で3時間程の所へ嫁いだ姉がいる ものの長男です。 長男なのはわかってましたが、結婚前に 夫に「近所に住むのはいいけど、 敷地内でも同居は遠慮したい」と話をして 納得して結婚しました。 今年になって次男を出産し、そろそろ マイホームが欲しいなぁ～と夫と話をした所、 「実家があるのに他に家を買う気がしない」との 返事。 いつも私と子供だけで、旦那の実家へ顔を出して 孫を見せたり努力はしてるつもりです （当たり前かもしれないですが） 夫の言い分は 1.どうせ親の面倒を見るのなら隣にいて 　あげたい 2.土地代が浮く の2点らしいですが、１の方に重点があります。 私の性格上、色々気を使ったり気になったりして しまうので、近所でいいから少し距離をおいて うまくやって行きたいと思うのですが、 我がままなんでしょうか？ ちなみにご両親2人とも、まだまだお元気で自営 をしています。 ヘタな文章でわかりにくいかもしれないですが、 意見を聞かせて下さい。