義両親との距離感

もうすぐ1歳の子を持つ母で、夫と3人暮らしです。
義実家と私たちのアパートは車で10分ほどの距離にあり、結婚してからはGW、お盆、年末年始、その他父の日や母の日、義両親の誕生日に訪問するような距離感でした。(アパートに来ることはありません)
ところが、初孫となる娘が誕生してから義父が孫に執着しており、家族観の相違を感じるようになりました。

私としては、両実家とは完全に別の一世帯であるという認識で、義実家は月に2回ほど訪問する距離感でと考えています。
ところが義父は、"夫が" ではなく "義実家が" 私を嫁にもらったという認識のようで、義父を筆頭に義母、夫、私、娘で一つの世帯であり、今はただ別居しているだけだという感じです。
(ちなみに結納はしていません)
なので義父からして息子の妻(私)も息子の子(娘)も自分たちのものという感じです。
クリスマスや娘の誕生日、保育園のイベントなどどれも参加したいと言われますが、私にとって家族は夫と娘だけ。義両親は大切にしたいですが、そこまで一緒にするの？と思ってしまいます。
訪問も今は月に2回ですが、生後1ヶ月の頃から毎週呼ばれ、義父は訪問すると私は目に入らず孫を好き勝手に扱いました。先ほど書いたような家族観なので悪気はなく、私が嫌な気持ちになるなど思ってもみないと思います。
義父は恐らく空いている日は常に会っていたいのです。義両親ともまだ仕事をしているので訪問は週末のみですが、退職をして時間ができればどうなるのか不安です…敷地内同居をと言われているので尚更将来を考えると自由がなくなりそうで窮屈でたまりません。毎回断るのも無理ですし、断った後はなにかと気を遣わなければならなくなるのも疲れます。

このように家族観が違う場合、敷地内同居を断ってもいいですか？
夫が断る場合、または私が断る場合、どう伝えたらいいですか？
ご教示ください。