義両親からの生前贈与

結婚一年目のアラサー子なし夫婦です。

義両親は車で1時間弱の距離に住んでおり、月に一、二度家に来ます。
在宅勤務の私は平日の昼間に来られても出られないことが多く、今日は会議が続いてるから来ないでほしいと旦那から義母に伝えてもらっても、会議中に電話をかけてきて出ずにいるとマンション下で待たれて結局チャイムを鳴らしにきたこともありました。
在宅勤務＝仕事という認識がないのか、ちょっと荷物届けるだけだから等と気軽に寄る感覚のようです。

そんな義母から、「家賃払うのもったいないし協力して家を買えば生活が楽になる・子供が生まれたら面倒見てあげられるから」という理由から同居しようの提案があり、私としては義母に子供の面倒を見てほしいという願望もなければ仕事等こちらの状況よりも自分の都合を優先してしまう義母との生活に耐えられる自信もなく旦那から断ってもらいました。

そして今度は生前贈与として中古のマンション(1,500万程)を買ってあげるという提案をされました。
私は、生前贈与自体はそちらの家庭のことなので口出しは出来ないけど、家となると私も含む話ですし、都合の悪い時に訪問されても負い目を感じて断れなくなったり遠慮しながら住むことになりそうで嫌だと旦那に言いました。
旦那は、「私たち夫婦が幸せになるようにとしてくれていることだから受け取ることが親孝行だ。結婚は二人だけの問題じゃなくてお互いの家族も含めて考えるものだ。嫌なら自分から両親へ伝えろ」という考えで意見が対立してしまっています。
義両親や旦那の気持ちも分かる上ででもお互いの家族の前にまず二人が幸せでありたいと思ってしまうのですが、それは結婚への覚悟や責任を持ててないと旦那から言われており、責任を持てるまでは妊活予定の延期を言い渡されました。
私はどのように考え方を変えるべきでしょうか？