男性のいる飲み会に行くと不機嫌になる彼氏

私の職場は男性の方が多い職場です、 1ヶ月に一回とか2ヶ月に一回やっぱり断りづらい飲み会は発生します。 本当に断りづらいものだけ行くようにしています。忘年会とか送別会とか。決して2人とかの飲み会ではなく、なるべく女性の方が多い飲み会に行くようにしています。 3回に1回くらいになるかな、断ったことなどは伝えています。 私はもともと男性女性を気にしないタイプです。 正直彼氏が女性のいる飲み会に行っても大丈夫です。(それを言うと、彼氏は切れます) 一方、彼氏は異性は友達ではないという考えの人で、基本的に職場は男性がほとんどで男性のみの飲み会にしか行きません。 毎回毎回行くと彼氏は不機嫌になります。意見が合わなくて喧嘩します。 喧嘩の時、着信拒否にされたりもしました 別れようという話も出ましたが、なんとか仲直りをしてきました。 話しても解決しないから理解するしかないよと言われますが、毎回不機嫌になるので理解してくれてるようには思いません。 私は断ってることもあるので、その1ヶ月に一回かの飲み会は気持ちよく行かせてほしいです。 彼氏とは結婚を考えていますが、 異性との飲み会が今後ゼロになることは仕事を続ける以上あるのかなとも思い、 かなり毎回言い合いをするのでこれが続くと思うと不安です。 遠距離なので余計に心配なところもあるとは思います。 同じような境遇の人いますか？ なにかアドバイスをいただけたら嬉しいです。 逆に彼氏が女の人がいる飲み会は無理っていう方の意見もお聞かせいただきたいです。