結婚前の浮気？

夫のことで悩んでいます。
夫は28歳、私は29歳で6ヶ月の娘がいます。
結婚して4年、子供も生まれ毎日幸せなはずなのですが、ふと、暗い気持ちになってしまいます。
原因は夫への気持ちです。
夫が結婚前に私以外の女性を家に泊めたことが、結婚してすぐの頃に発覚しました。
なぜ発覚したかと言うと、本人が私に酔った勢い？で謝ってきたのです。
本人いわく、恋愛感情や体の関係はなく、幼馴染のような関係と言っており、
また、友人を通して聞くところによると「友達」の関係であり、
心配するような仲ではないというのですが、私はすごく嫌で、大喧嘩をし、ずっと根に持っています。
結婚前のことで束縛しすぎ、根に持ちすぎなのかもしれません。
浮気かどうかも微妙です。
でもやはり許せないと言うか、もし体の関係があったとしたら気持ち悪いと思ってしまいます。
夫は家事も育児も手伝ってくれるし私にはもったいないくらい良い人です。
上記の件で大喧嘩をしてからずっと私に心配をかけないようにしてくれています。
また、結婚してからの浮気や遊びはありません。
私自身、結婚前は色々と遊んでいました。この事は夫は知りません。
私も知りたくなかったです。でも、夫は嘘がつけないというか、本音をすぐ言ってしまうタイプなのです。
私が自分勝手なのはわかっていますが、なんとかこの気持ちを治めて、夫のことを信じていきたいと思うのですが不安です。
4年も経っていまだに結婚前のことを引きずるのは、しつこいですか？
この件を忘れるにはどうしたらいいのでしょうか。
しばらく忘れていたのですが、子供と二人きり、家で家事をしているとついつい思い出して、ネガティブな気持ちになります。
離婚とかそういうことを考えてしまいます。
わかりにくい文章ですみません、
前向きな思考になるにはどうすればいいのでしょうか。