主人の言動は白か黒か

こんにちは。結婚して10年になる、さかなです。よろしくお願いします。
先日主人が前の会社の人と飲みに行くと言いました。たまの休みだし、年に数回のペースで行っているので別に問題ないのですが、前日の夜になってそういう事を言い出します。それも小さな声で。
たまの休みだし、私もいろいろ計画していたし、その事も伝えていました。なんだか苛々して「やましい事がないのなら何ではっきり言わないの！」と怒鳴ってしまいました。すると主人も怒鳴り返してきました。
子供も側にいたのですぐ収まったのですが、二人きりになると無言…。そして次の日は妙に優しく、普段手伝わない家事も手伝ったりしてくれたのですが、飲み会から帰ってくるとまた不機嫌に…。
実は主人は前歴があります。結婚した頃元カノ(前の職場の同僚)とずっと続いていて、何度も三人で話し合いました。その場では二人とも別れる事を約束してくれるのですが、その後も何年か続いていたようです。その後主人は転職し、子供も生まれて平穏な生活が続いていたのですが、最近主人は怒りっぽくなりました。慣れない仕事の疲れかとも思いましたが、なんだか主人が遠く感じるこの頃です。
前の事は前の事と私の中ではけりをつけているのですが、不倫、浮気の話をすると不機嫌になります。軽く受け流してくれれば私もそんなに気にしないのに。
前の会社の飲み友達にその元カノも入っています。飲み会のメンバーに彼女も入っているのか、または二人きりなのか…。いつも飲みに行くと言っていくのに昼二時集合で夜九時前に帰るのもおかしいと思います。何をしているのか聞いても教えてくれません。
主人の浮気はまだ続いているのでしょうか？