うつとパニック症状で休職中の職場とのやりとり

トピを開いてくださりありがとうございます。

20代女、うつとパニック症状にて休職に入ってから1ヶ月半になります。
原因については職場の人間関係です。内服にて日常生活面では問題ありませんが、
・職場に関連するもの（名前など）を、みると動悸がし呼吸が苦しくなる
・きえてしまいたい、との気持ちが湧いてくる
きえてしまいたい、については実際に行動しようとし、思いとどまっています。

今回ご相談したいのは、休職中の職場との連絡についてです。診断書などの書類は郵送で行いました。
何度か電話にて、診察時の状況をやり取りしていたのですが、給与等についての説明のため、一度職場にくるよう連絡がありました。

休職期間に入ってから職場に訪れたことは一度もなく、仕事関係の方とは一切お会いしていません。

私自身職場までは行けるとは思うのですが、職員の方々に合うと思うと恐怖感が強くあります。いずれ向き合わなければいけないことなので、上司への今迷っているのですが、（行くべきかどうか、返信の文面などについて）
同じ境遇になったことがある方など、休職中の職場とのやりとりについて、ご意見いただければ幸いです。