子供の話題に困ります

４０代主婦、子供がいません。
実家から離れた県外に住んで１５年、主人と２人生活です。
悩みは、人付き合いをする際、私の言動が相手にとって気に入らないことがあると、すぐに子供の話題を出されて、私には子供がいないのを知っているのにわざわざ言ってきて返答に困ります。
私がもっと、相手の気を損ねないようにすればいいのですが、細かいことも相手に合わせてばかりもいられません。
なので付き合いが億劫になり、嫌な思いをしてまで付き合うこともないとフェードアウト、、になってしまうパターンが多いです。
このような事が続いてから私はあまり自分の話はせず、相手の話を聞いて相槌を打つという無難な選択をして波風を立てないようにしているのですが、それでも結果は同じなような気がします。
気に入らない相手に子供がいないから子供の話をしてきて黙らせるということは、お灸をすえている感覚なのでしょうが、受ける側はとても辛いです、一番弱い部分を言われると、反省などより、悲しみと怒りで体が震えてきたりします、あまりにしつこい相手には悪意を抱くようにもなります。

最近は誰とも話をしたくなくなり、一人で静かに過ごすほうが心穏やかでいいのですが、外に出ないわけにはいかないですし。
やはり、我慢すればいいことなのでしょうか？
これから生きてくのがとても辛い道のりに思えて仕方がないです。
色々言われれば慣れるものでもなく、一度でも言った相手はいつまでも記憶に残り、この人には絶対心を開くものか、と意地になってしまします。
もし、同じような経験の方がいらしたら、どのように気持ちを整理しているのか伺いたいです。