職場での人間関係について

今年の7月に転職しました。その直ぐ後に、前職の同僚も入社してきました。（特殊な業界なので、不思議ではありませんでした。同じような人が他にもいます。） 私が転職した理由は、前職では私と女性事務員の間でのトラブルでうつ病を発症し休職しそのまま退職という形になりました。 私は前職での女性事務員との経験から、今の職場で女性事務員さんと仕事以外の会話が怖くてできません。しかし、後から入社した、前職の同僚が、事務員さんと食事に行こうと誘ってきました。私の退職の経緯を知っていて、中々、馴染めていない私を気遣ってくれての発言だと思うのですが、私は、もう、傷つきたくない気持ちが強くて断りました。理由も話しましたが、ムッとされました。 今の職場の人たちはとても、良い人たちに見えます。でも、今は良いけど、いつか傷つけられるのでは？と疑って中々前に進めません。まだ、前職での事が忘れられないからかも知れませんが、どのように、前に進めばいいか教えて欲しいです。 正直、同僚にムッとされたのも、気になります。断って申し訳ない気持ちとわかってよ！と思う気持ちでもやもやしています。