元カノと連絡を取り続ける夫…気にしすぎですか？

ともに30代、幼い娘のいる兼業主婦です。
夫の考え方について皆さんの意見を聞かせていただけませんか。

夫は学生時代、同じ運動部の女性とつきあっていたそうです。
卒業後はふたりの勤務地が離れていたことから少しずつ疎遠となり
最終的には彼女からお別れを言われたとのこと。
ただ、自分から別れを言った彼女が夫の家に夜中いきなり押しかけていた、
（男女の行為アリです）
別れたあとも夫に好意があることを夫自身も自覚していた、
夫が私と結婚した直後、急に婚活を始めてスピード婚した
……など、なんとなく行動が気にかかる存在です。

その彼女と夫は今もつながりがあります。
「今はもう友人であり、互いに結婚しており、元カノであることは関係ない」
と夫は言いますが、私はどうしても納得できずにいます。
それでも、体育会系のかたい絆があるとまで言われると
私も強く言うことができず、私も公認ということになっています。

普段は遠く離れているのでこっそり会うことはなく、メールが主ですが
今、夫は単身赴任で彼女のすぐ近くで生活しています。
そして当然のように「いつ会う？」という相談をしているようです。
正直、私のいないところでコソコソ会うことがとても気分が悪いですし
大勢で会うならまだしも、ふたりきりで会うはずです。
そして、私が気づかなければ内緒で会うはずです。
私を心配させたくないとだまっているんでしょうけど…。

こういう夫の考え、行動をどう思いますか。

ちなみに、私たちは普段とても仲よしで
ほかのことで問題に思うことは何一つありません。