オールからの喧嘩

27歳会社員です。妻は一つ下の26歳です。子供はいません。
交際時、僕は何度かオール飲みをして帰ったことがあり喧嘩になったことがあります。ですが、結婚前に約束事としてオールはやめて欲しいと言われたのでしないと断言しました。
ですがある日、妻は飲みに行くと行って出掛けると終電後も一向に連絡もなく帰って来ず、夜中一時を超えたあたりで僕から電話すると、軽い感じで「すみません盛り上がってますー」と。
僕は次の日大事な社内試験があったのですが眠れず。
試験から帰ると怒ってる僕を察してはいるのでしょうが、また軽い感じで
「すみませんねぇ。」から始まる始末。
喧嘩になりながらも話し合いました、一旦は落ち着いたのですがまたその日の夜に寝る前に一言。「他の男の人としたいと思ったことがある。女性用風俗に行ってみたい」などと言われました。
僕は呆れてしまいました。が後々聞くと、僕といても楽しくない、恋愛感情も湧かなくなったと言われました。
妻は今、ほぼ週一回以上は男女問わずのスポーツサークルに出かけてプライベートでも飲みに行ったりする仲でもあるみたいです。

（1）夫婦関係を戻すにはどう頑張ればいいのでしょうか？
仕事の時間も今極力減らして家にいる時間を増やそうとはしているのですが、何を喋ったらいいのかわかりません。
（2）趣味を制限するのは違いますか？
交際後からの男女の交流をされ、
あの発言をされてるとこちらも色々と考えてしまい不安も募る一方です。
ですがそれを制限してしまうとこちらも会社や同級生と飲みに行ったり、遊びに行ったりするので、言い返されます。

長文失礼致しました。
ご意見よろしくお願いします。