不妊治療、、実母、実姉と縁を切るか悩んでいます。

35才専業主婦です。四人兄弟の次女です。
6年前から不妊治療をしています。検査上私には不妊原因はありません。夫が無精子症で手術をして、わずかながらの精子が回収されましたが、あまり状態のいい精子ではなく、そこから妊娠できる確率は一桁と医師に言われました。6年の間に、顕微受精を30回以上しましたが、一度も陽性反応がでた事がありません。
私が妊娠できない事で、実母、実姉に責められます。
母、姉は何の苦労もなく自然妊娠をしています。現在姉は40代で第3子を妊娠中です。
姉が40代で自然妊娠できたのは乗馬(姉の趣味)で運動して身体を鍛えていたからだの、
母の知り合いのAさんは毎日かかさず2時間ウォーキングをして運動してたから体外受精で妊娠できただの、Bさんはヨガをやって代謝をよくしてたから、Cさんは水泳をやってたから妊娠できた等、医学的根拠のない事を、言ってきます。私が6年も不妊治療をして一度も妊娠した事がないのは、私の努力が足りないからだと言います。
しまいには、私の夫に内緒で男友達と浮気して子どもを作ってきたらと言ったり、妊娠させる事のできない夫と離婚をして新たなパートナーを見つけなさい等、心ないことを言ってきます。
私なりに、運動もしているし、規則正しい生活をし、食事にも気を使っています。
毎回、上記のような事を言われ、心が限界になったので、
私の方から、母、姉を疎遠にしましたが、「不妊治療をしていると性格まで悪くなるのね」と言われました。
縁を切った方がいいのか悩んでいます。(法律上は縁を切ることができませんが)

不妊治療で、親や姉妹と不仲になった方いますか？