退職した会社に再就職

トピを開いてくださり、ありがとうございます。 アラサーの専業主婦です。 3年ほど前に結婚を機に退職していましたが、そろそろパート勤めをしようと思っていた矢先、縁があり、勤めていた会社の方(Aさん)よりお仕事をお誘いいただきました。 仕事内容も良く知っており、条件も良く、誘って頂いたことも有り難く、正直心がひかれています。 ただ、迷っている点が１つ。 Aさんは元カレです。 現在既婚者で、奥さま(Bさん)も私の知っている方です。 A、B、私ともによく一緒に行動していたグループの一員でした。 ＊Bさんは現在退職しています。 正直、夫の仕事場に元カノが戻ってきたら嫌なのではと気にしています。 ちなみに私とAさんの関係ですが、この3年連絡もとっていない仲ですが、友人であったこともあり、気ごころが知れた仲といった感じです。 別れるときは色々ありましたが、お互い別の人と結婚したこともあり、それでよかったと今では思っています。 そこで皆さまに質問です。 そんな人間関係がある職場に再就職しようとするのは問題がありますか。 厳しい意見でも結構ですのでよろしくお願いいたします。