私の心は狭いでしょうか？

30代2児（幼児）の母です。主人も30代半ばです。
6年程前、主人には浮気したことがあります。あるスポーツの試合を友人と観戦し、そこでしりあった一回り下の女性と飲みに行き、そのまま一夜を共にしたそうです。その後もメールや電話などで連絡をとっていましたが、怪しんだ私が携帯をチェックし発見（もちろん履歴やメール等は消去されていましたが、ある方法でわかりました。）。話し合いの後その場で電話させ、別れさせました。
その後もたまにかチェックはしていますが（本人には同意の上です。）、今のところ怪しいことはありません。自営の為帰りも早く、土日も特に出かけることはありません。

そんな主人が、半年前からスポーツジムに通い始め、そこの会員の方々と仲良くなり、よく飲みにいくようになりました。年齢は様々ですが独身の方がほとんど(男性も女性も）で、主人はそのノリが楽しくて仕方がない様子。0時にはそこを引き上げて帰ってくるように言っていますが、お仲間達は明け方まで飲む事が普通らしく、途中で帰ると非難されるしもっと居たいと言います。私は月に一度、子供を連れて実家に帰っているので、その時は朝帰りも許しているのですが、自宅にいる時になかなか帰ってこないと、また同じ過ちを犯しているのではないかと不安になりなかなか寝付けません。（尚、主人が飲みに行くのは現在仕事関係のお友達と月に1度程度、ジムのお仲間が月に1～3回と回数は少ないとは思います。）

来月またジムのお仲間と飲む事が決まったらしいのですが、よく確認すると男性陣はジムの方ですが、女性はジムの方は一人で、その方のお友達を誘うとありました。それって合コンと同じでは？私的には既婚者が合コン行くなよと思いますし、まして明け方迄等許せないのですが、これくらいは許すのが普通なのですか？私の心が狭いのでしょうか？考えすぎて分からなくなりました。