義母に言われた事が忘れられません

現在４ヶ月の息子をもつ専業主婦です。義母のことで相談させてください。

義母とは家が近いこともあり、週１回位は必ず会っていたのですが、しばらくすると「子供はどうなの？」と聞いてくるようになりました。
何回か聞かれたときに「私達は結構淡白なので、あまりそういう事はしてないんですよ～」と冗談ぽく、でも正直に言いました。すると義母は「あなたたち若いのに…。まぁしばらく二人でいるのもいいんじゃない」と言ってくれていました。

その後また義母と会ったときに「こないだ近所の○○さんに会ったんだけど、孫はまだなのって聞かれちゃったわよー。だからあの子達（夫と私のことです）そういうこと全然やらないんだって。やり方知らないわけじゃないんだろうけど。だから孫はまだ見れそうにないって言っておいた」と言われ、驚きました。義母に話した私も私ですが、何も近所の人にまで言わなくても…と不愉快になりました。

その後しばらくして妊娠していることがわかると、とても喜んでくれたのですが、妊娠５ヶ月の頃には「５ヶ月のくせにお腹が小さい。子供は大丈夫なの？」とか「最近ほにょこさんの顔がきつくなった、男の子じゃない？私は女の子がいいのに」などと会うたびに言われました。

私や夫は「お腹の出方は個人差がある」とか「健康で生まれてくれれば性別はどちらでも」と言っても、次に会うと又同じ事を言ってきました。
結果として男の子が生まれたのですが、何事もなかったかのように抱っこして離しませんでした。しかし心臓に軽い病気をもっているのがわかると「うちにはそんな病気の家系ではない」とあたかも私が悪いといわんばかりの事を言われました。

今は育児に忙しく、毎日楽しく生活をしてるのですが、ふとした瞬間に言われたことを思い出してモヤモヤしてしまいます。どうしたら今後もうまく付き合えるでしょうか。