夫の浮気が心配

今現在、夫は浮気していないと思いますが、やたらと心配し、不安な気持ちになってしまいます。
夫は仕事が忙しく遅くまで働いており、仕事後、職場の人たちと飲んで帰ってくることが多いです。いつも数名の同じメンバーと飲んでいて、そこに若くかわいい女性が１人います。（メンバーの中では夫が一番上の立場で、夫がみんなを誘って飲んでいる）
遅くから飲み始めるので、終電もなくなり、タクシーで帰ってきますが、帰る方向の関係からその女性（１人暮らし）と２人でタクシーで帰ってくるようです。というようなことが、多いときで週に２～３回はあります。また、これは前からですが、携帯電話にロックをかけています。

私が夫との恋愛関係が始まったころ、前の彼女と別れたと聞いて付き合い始めたのに、実は別れられていなかった過去があること（しかも、もともと２股をかけていたので、夫は一時、３人と同時進行していた。。）また、私が言うのもなんですがモテるタイプなので、不安で、その不安を夫にぶつけても、「そんなわけないでしょ」とたいして相手にされず、不安や嫉妬がおさまりません。何かよい対処法はないでしょうか。。