誤解が広まり悲しいです

不妊治療をしているものです。 治療の兼ね合いで休みを取る事が増えました。上司に相談したところ深い理由は周りに言わないほうが良いと言われたため、他のスタッフには治療のため急に休む事があるので申し訳ありませんと伝えました。 ところが、どうして急に休まなければならないのかと怒り出すスタッフが出てきて理由を知っている仲間がやんわり伝えてくれたようでした。 ただ、どこまで伝えて良いものかわからないので詳しくは話せなかったとの事でした。 これ以上迷惑かけるのならと治療と両立しやすい部署に異動願いを出しました。 定時で帰れる部署なので、異動希望が多いところです。 異動願いは必ず、課長と部長に伝える事になっています。しかし、課長に取り入って異動させてもらったと噂がたち困っています。確かに不妊治療や他の病気についての相談はしました。 人事委員会にかけてもらい無事異動がきまりましたが、周囲からはいちいち治療のためと伝えなければならず、不妊治療をしている事は社内中に広まりました。 理解を得られない方からは、異動できたからには絶対治療を成功させろよとプレッシャーをかけられたり、課長に気に入られていいわねみたいな言葉をかけられますます落ち込んでしまいます。 子供の看病という理由で休むスタッフが多く黙認されているのに不妊治療はこんなにも理解を得られないとは思いませんでした。 また、上司に取り入ったなどの心ない声にショックをうけています。 もちろん次の異動先でもこのような人が来ると情報は噂で伝わっていました。 前向きな異動と思っていましたが、こんな状況で辛いです。 同じような悩みのかたやご助言ありましたらお願いします。