手術の報告を誰まで伝えるかで悩んでいます

再来月子宮内膜症で手術をする34歳既婚パート子ナシです。上司（男性）は詳しい病名は伝えず手術については伝えました。もう子供を産んでいれば婦人科系の手術と上司にもそれ以外のパートさんにも伝えられますが、並行して不妊治療もしていて、今回も子宮内膜症が原因で不妊でもあり、私自身子供が出来なく悩みに悩んだ手術なので、同じパートさんには伝えたくありません。普段パートのおばさま方からも、不妊とは知らず子供これから産む人だから冷やさないでね！子供は早い方がいいよ！と嫌味なく言われ婦人科系の手術と言うと逆に気を使わせてしまい使われるのも辛いです。上司には私情で良いと言われ報告無しでも察するでしょうと言われたのですが、実際に私の穴埋めはパートの方々。いくら言いたくなくても、やはり不審がられるし、失礼だとも感じています。病名は言わなくともやはり手術とだけは伝えた方が良いのでしょうか？パートの方々は皆さん良い方ですが女性なので噂話が好きな方も多々います。腹腔鏡手術で負担は少ないですが、職場復帰した時、体調が悪くなった時、入院が長引いた時の事を考えると伝えた方が自分の為にもなると思います。

この様な経験された方、また同じ職場で手術をした方の対応で良かった事や不快な対応（ちゃんと報告しないなど）ありましたらアドバイス頂きたいです。またパートの立場なのでそれも踏まえ客観的な御意見頂けたら幸いです。

宜しくお願い致します。