義母との距離感を遠ざけたい

夫の実家近くに引っ越したのですが義母が近くによく行くからお茶とか誘いますと言われました。
義姉も呼べる時は呼びますね！と。
半分は断り半分は会いに行ってお茶したりしようかとは考えていますが、あまり距離感を縮めたくありません。

結婚してから3年以上経ちますが結婚した当初から「孫はまだですか」や義姉からも「うちの子供達が早く従兄弟欲しいってー楽しみだなー」と言われていました。
夫が忙しかったのもあり子作りをしていなかったのですが特に言う必要もないと思い相槌だけしていました

ですが去年あたりから妊活を始め、夫不妊気味だと言う事がわかりました。
そういう夫婦間のデリケートな事は周りに話したくないのもあり、余計に会いたくなくなってしまっています。
（孫は…や、もしかして不妊？と思われながら会うのも疲れるので）

元々常にニコニコしていますし、会う時も楽しみにしてますなど愛想良くしているのですがこれが良くなかったのでしょうか。
喜んでくれてると思わせた自分が悪いのですが穏便に距離を少し遠ざけたいです…どうしたら良いのでしょうか。