25歳、女性会社員です。

約２年おつきあいしている大好きな年上の彼がいます。
彼とは、いろいろな話がオープンに出来る関係で
昔の恋愛の話も隠さず出来る仲良しです。

彼には数年おつきあいした元彼女さんがいて
一時は結婚まで考えたようですが
いろいろな事情があり別れてしまったようです。
私と出会う数年前のことです。
今も仕事上のつながりはあるそうですが、「もう２度と元に戻ることはない」とのことでした。

その元彼女さんのことは
私はもちろん名前も知らないし、面識もないのですが
先日、あるセミナーでご一緒してしまいました。

偶然にも２次会で席が隣になり、意気投合してしまったのです。
いろいろな話をしていたら
彼女の出身校、会社、経緯などの話聞くと
彼の元彼女さんだということは99.9％間違いありません。

とてもよい方で、私のことをすごく可愛がってくださり、
その日のうちに「今度は２人で飲みにいきましょうね」とお誘いメールをいただいてしまいました。
彼女は私と彼がおつきあいしていることは知りません。

彼氏にもまだ話は出来ていなくて
なんだか罪悪感を感じています。
話をしなくてはいけないと思うのですが、
元彼女さんだと知って近づいて行ったのではないかと誤解されたらどうしようと思うと怖くて躊躇してしまいました。自分の心の小ささに自己嫌悪になります。彼には何でも話をしたいと思うのですが、
でも２人の間に入るようなことはしたくないのです。

元彼女さんに２人で会うべきではないでしょうか？
でも事務的なこともあるので
もう一度お会いしなくてはならない事情があります。
すごく仲良くなってしまったので
会ったら、また飲みに行っていろいろな話になってしまいそうです。

私はどうしたらよいのでしょうか。。本当に悩んでいます。

皆さんからのアドバイスをいただけたら、嬉しいです。