妊活中です。妹と会いたくない。

初めて相談させていただきます。 私は結婚3年目の30歳です。結婚当初から子供がほしかったのですがなかなか授からず、不妊治療をしているところです。(実家の家族には伝えてません。) 妹とは家が近いので定期的に会っていたのですが、今は会いたくありません。 会いたくない理由ですが、去年弟が結婚し、すぐに子供ができたとき、「ピル飲んでたせいじゃない？」「旦那さんが悪いのかも？笑」という発言をされたこと、今年の運勢を見てもらうため占いに行ったとき、今は仕事よりも子供を授かる準備(体調をととのえたり)したほうがいいと占い師さんに言われたら「私も早く子供つくったほうがいいと思ってた！」「お母さんも流産してるし病院行った方がいいよ」「旦那さんとちゃんと話し合いしたら？」と言われたことが心にひっかかっていることです。 妊活をしていることは実家の家族には言ってないとはいえ、ピルを飲んでたのも私の体調の問題だったので病院に通ってお医者さんにも相談していたし、旦那のことを冗談でも悪く言ったことはめちゃくちゃ腹が立ちました。また、基礎体温をつけたり、排卵検査薬を使ってみたり、自分で出来ることを試して、それでも授からないから治療をしていこう、と夫婦で話して決めていたところだったので、冗談で言ったのかも知れないけど発言の一つ一つが本当に腹が立ったし傷付きました。 会ってまた妊活のことを言われたら嫌な気分になると思い、しばらく連絡を取ってなかったのですが、ランチに誘われたのでどうするか悩んでいます。妊活のことを言われるのが嫌だということ以外は普通なので距離を置きすぎたら疎遠になりそうだし…イライラしてしまうのは私が気にしすぎてるせいだから我慢すればいいのかな？と思ったり…誰にも相談できずモヤモヤしているのでみなさんのお知恵をお借りしたいです。