不妊治療と仕事の両立

不妊治療で突然仕事を休んだ日から、職場のおじさんに無視されています。 つい最近不妊治療を始めました。 病院からの呼び出しで、仕事を突発で休んでしまいました。職場内で、上司と50歳のおじさん(以後Aさん)だけは不妊治療を始めたことを知っています。 午前半休を頂きたいと上司に連絡したところ、上司が1日休んでいいよと言ってくれたので、お言葉に甘えて1日お休みを頂きました。 私の職場は毎日2人が残業と決まっていて、日替わりで交代で定時で帰るシステムです。 不妊治療により、仕事を休むのは今回が初めてだったのですが、その日は私が残業の予定だったので、私が休んだせいで１時間半、Aさんが残業することになりました。 休んだ日の朝のうちに不妊治療のためお休みをいただくことと、謝罪の連絡を入れたのですが返事が来ず、週明けに直接謝りに行ったのですが無視をされました。 態度も明らかに怒っており、同僚や先輩に話を聞くと、あの日は定時後に家族と焼肉に行く予定だったらしく、それが私が休んだせいで行けなくなって最悪だと愚痴っていたそうです。 突然休んでしまった私が悪いのですが、文面と直接の謝罪をどちらも拒否され、私を避けるように行動をされており、どうしたらいいか分からない状況になっています。 先輩方は、時間が解決すると思うし落ち着くのを待ったらいいと思うよと言ってくれてますが、本当に居心地も悪く、怒っているのを態度に出されて怖いし、仕事に来るのも億劫です。周りも気を遣ってくれていて申し訳ないです。上司に一度相談すべきでしょうか。 これからこの職場で不妊治療を進めていくのも心底嫌になり、鬱になりそうです。 アドバイス等、お願いします。