ふとした疑問

私は現在6歳と2歳になる息子がいます。姑は私達が住むアパートちかくの旦那実家にいます。自転車５分くらいの場所で三男夫婦が2歳の娘０ヶ月の息子、姑と５人で住んでいて後払継いでいます。義父は三年前に他界しています。姑は私達といるときが居心地よくてよく来ます。朝７時から夜の７時まで正社員で働いています。12時から３時までは休憩で旦那日曜日になると何か買ってきて家でご飯食べて仕事に行きます。自転車通勤で10分くらいの所です。たまに家に遊びに来る程度なので適度な距離を保っています。しかなしながら家に来ては貴方たちが一緒なら良いのに。旦那も家に来たら良いのにと良くはなします。6歳の息子は言葉遅れているから会話が増えた方が良いからおじいちゃん、ばあちゃんと一緒に住んだ方が良いとぞ。といかにも同居するぞと言わんばかりにいってきます。私達は長男ですが同居していませんし、将来家をたてる予定です。一緒に住もうと言われてもどう答えて良いかわかりません。適度な距離ではすみません。後で一緒に住むと言われても大変困ります。旦那ともう一度話し合いを持ったほうが良いのでしょうか？