妊娠報告したら、不妊だったの？と聞かれます

３０歳会社員、夏に出産予定です。 私は週１でテニスをしていたのですが、去年から「子供はまだ？」「病院行かないの？」と幹事や他のメンバーから言われることが多くなり、でも既に年会費を払っていたので何を言われてもスルーしていました。 それと同時期に妊娠が判明し（自然に授かりました）、テニスをやめました。 でも妊娠中の経過があまり良くなかったのと、以前死産を経験しているので、幹事には「具合が悪い」とだけ言って妊娠報告はしませんでした。 そして先週、「半年も来ないから病気かと思った」とテニスのメンバー２人が突然自宅へ来ました。そこで妊娠したことを報告しましたが、２人からは「長年の夢だったもんね」「ずっとできなかったからうれしいね」「不妊治療したの？」と、いかにも私が不妊だったような言い方をされ、さらには（不妊治療の影響で？）子供に障害はないか？というようなことまで聞かれました。 最後に「出産報告待ってるからね」と言って帰っていきました。 もう不妊のことを言われるのがイヤで、幹事にもまだ報告していませんが、もう噂で知ったと思います。 今後はテニスのメンバーに出産報告はしたくないのですが、たぶん「生まれたか？」の電話はかかってくると思います。 もう誰にも出産報告はせずに、このままテニスで何を言われようと無視していたほうがいいでしょうか？ それとも幹事には「妊娠報告で子供の障害の有無を聞かれて不快だ」と、出産前か出産後に伝えたほうがいいでしょうか？ ちなみにメンバーは、妊娠だからテニスに来なかった、来年から復帰する　と思っているようですが、不妊のことを聞かれてイヤだったので今後もテニスに行くことはないです。 よろしくお願いします。