浮気性な男性

結婚１年未満のヒジリと申します。
主人と結婚までの交際期間は短く、交際中から女性の影を感じたものの、証拠がなかったことと、彼のことが大好きだったので「結婚したら変わってくれるかもしれない」との思いで結婚しました。ここ数ヶ月、結婚前からの相手と続いているのか、新しく知り合った相手なのかはわかりませんがやはり浮気相手がいるようで、浮気相手と何かあるなという日は彼の言動でわかります。
私が浮気を疑いすぎて証拠は完璧に消しています。　証拠はつかめず、でも彼の怪しい言動に私がつっかかり喧嘩になるといった感じです。新婚で周りからは「今が一番いい時期だね」と言われたりしますが、正直幸せに思えません。結婚してる友達に相談したら別れたくないなら追求しないほうが言いといわれました。
彼のことは変わらず大好きですし別れたくありませんが、浮気をしてるのを感じているのに見てみぬふりなんてできません。浮気相手の一人は会社にいるみたいなのですが、彼の会社に知り合いはおらず、今すぐ民間調査所にお願いするも難しいといった感じです。毎日会社で会ってるかと思うなんともいえない気持ちになります。

浮気相手を特定して別れさせるいい方法はないでしょうか？同じような経験をされた方、またアドバイスでもいいのでよろしくお願いします。