彼の元カノのこと

今付き合っている彼と悩んでいることがあるので相談させてください。
今彼とラブラブでとても幸せなんですが、一つだけ気がかりなことがあります。
それが彼の元カノのことなんですが、元カノは私の彼と同じ職場で働いていて、話によると、付き合っていた時、彼女の方が彼にぞっこんだったらしいです。
結局最終的に上手くいかず二人は別れてしまってそうなのですが、別れてからももちろん同じ職場なので（部署は違いますが）たまに廊下なのであったりするそうです。
でも彼曰く、付き合う前からお互い同僚としての期間が長かったらしく、恋人としては続かなくても同僚としては仲が良いそうで、別れた後も、たまにですが、仕事の合間のランチなどを一緒することがあるそうです。
私は彼に愛されてるのは分かりますし、彼も元カノとランチに行ったことを全く隠したりしません。やましいことは一切ない、と言います。
それでも先日、彼の方から元カノをランチに誘ったことがわかり、私も気にかけていないふりをしたかったのですが、どうしても彼を責めてしまいました。
私は、なんでわざわざ自分からメールしたの？お願いだから元カノと会うのは一切やめてほしい、というと、とっさに彼が、
でも彼女は同僚だし、たまに仕事の話だってするし、会社で気が置ける数少ない人物。しかもただでさえもう半年以上もあっていなかったし、プライベートで会うことも一切ない。だから心配しないでほしいし、そこはいちいち口出ししないでほしい。といいました。
私も彼のいうことはなんとなく分かります。でもどこか彼と元カノには切っても切れない絆のようなものがあるのかな、と（勝手な想像ですが）思うと切なくなります。
このような状況、皆さんならどう思われますか。