離婚後の義家族との付き合い

離婚して3年たちます。
子どもは小学低学年の娘1人です。

離婚は元旦那からの申出によるものです。
友人や趣味を優先したい元旦那と、
家族を優先してほしい私との性格的不一致。

元旦那は娘の父親でもあるので、
「会いたい」と言えば会わせています。

悩んでいるのが義実家との付き合いです。
義実家が娘のことをとても可愛がっていて、娘も義母が大好き。

引き離すのに罪悪感あり、
また、私自身の家庭が複雑なので、
普通の家庭の祖父祖母を娘から奪うのに
躊躇してしまっているのかもしれない。

家にも最低限入らないようにしています。
しかし、最近「ん？？」と思うことが増えてきて、今一度距離感について悩んでいます。

・正月に義実家に来てと言われる。
・お年玉をいろんな親戚から集めて渡される
・アポなしで家に野菜等を渡しにくる
・孫が集まる時に必ず呼ばれる
・何かと娘にプレゼント等を買って、
　取りにおいで〜と言われる

結婚してる時と何ら変わらないような
声掛けをするようになってきたのです。
離婚した後なのにクリスマス会に呼ばれ、
お断りしたときに、
「元旦那も再婚とかあり得ると思います。その時に今までのように付き合うのは相手方にも悪いし、何より娘が傷付くのが嫌です。
再婚して子どもが産まれたらどうしますか。娘は急に呼ばれなくなるんですか。ある程度のけじめはつけないと、、」
と言ってしまいました。

よく父親には会わせている等話を聞くのですが、義実家はどうなのでしょうか。
元旦那が面会しつつ義実家に連れて行くなら
わかりますが、私が直接連絡を取ってやることなのだろうか。と疑問に思います。

どう感じますか。
バサッと切るべきなのでしょうか。
それとも娘の祖父祖母に変わりないので、
受け入れるべきなのでしょうか。