付き合いでキャバクラ

私には付き合って3年、同棲して2年ちょっとになる彼氏がいます。（お互い20代前半） 彼の会社は独身の方も多く、飲み会がとても多いです。 付き合いでキャバクラに行くことも多々あります。 私は嫉妬深く付き合ってからはキャバクラを禁止していました。 その彼と少し前に別れ話になりました。 色々話し合っていくうちに飲み会の話になり、「みんながいく中、自分1人だけ帰るのは気まずい」「ノリが悪いやつと言われる」など言われました。 （彼の会社は昔ながらの考えで上司の言うことは絶対。彼女、奥さんがいてもおかまいなしです。その為か独身率が高い。） その事は付き合う前から知っていたのに私が束縛をしてしまっていました。 私だけでなく彼も束縛をしていて、男友達がいる飲み会は禁止、出かけるときは写メを送るなどお互いたくさんの束縛をしあってきました。 ただ、今回の話し合いでお互い束縛するのではなく、信用して自由にしようという話しになりました。 なのに彼がキャバクラに行くことを考えるととても苦しいです。 私自身、キャバクラ経験者なのでもちろん女の子側の事情もお付き合いできているお客様のこともわかります。 でも彼の隣に知らない女の子が座る、お話をする、そう考えると辛いです。 それでも別れるよりは、と思い了承しました。 もちろん連絡先は交換しないとか風俗は禁止とかの約束はしましたが、、、。 前に彼の上司の方が教えてくれたのですが（付き合う前）、私のことを好きになってからは女の子に連絡先を聞かれても断り、絶対に教えなかったと聞いていたこともありますし、浮気はしないと彼を信じたいです。 彼と付き合ってからはお互い異性との関係を絶っていた為、飲みにいく友人達もあまりいませんし、彼がいない時間をどう過ごしていいかわかりません。 彼氏や旦那のキャバクラを皆様はどう許していますか？ ぜひご教示ください。