会社の飲み会でいつも損をします。

会社勤め5年目のものです。
部署は男性ばかり10人で、女は私1人だけで事務職として働いています。
男性10人のうち管理職レベルの人が8人の勤務歴の長い方の多い部署で、さらに部長クラスの人は2人います。

毎月何かと飲み会があるのですが、毎回必ず割り勘です。
基本、管理職の8人が少し多めに払い、そうでない残り2人の男性と私が少し少なめに払うシステムです。上司2人が皆の分を支払ってくれたことは一度もありません。

昨日また飲み会があり、居酒屋ではなくレストランでしたので、1人1人が好きなものを頼んで食べるという形式でした。私は飲み物１杯とメインの1皿を頼みました。合計にすると1500円以下です。

他の方は前菜を頼んだり、ビールをおかわりされたりしていました。
その場での会計は上司1人がして、今日部署全員にメールがあり、
支払いの請求がありました。私と非管理職の人が2500円、管理職と部長クラス2人の人が3500円となっていました。

分かりやすいように例を挙げましたが、このような感じで毎回、損をすることが多いのです。昨日の場合は、上司はかなり酔っぱらっていたので、何杯もビールを飲んでいたと思います。ですので3500円以上は飲み食いしていたにも関わらず、その分を私に請求がきているようで悶々とします。客観的に見られて、この状況は単に私がケチなだけでしょうか。

今後飲み会に行きたくないのですが、部署が小さい為毎回欠席者は殆どおらず、欠席しづらい状況です。私の給料は上司の4分の1もないと思います。夫婦共働きで幼児がいて、現在2人目を妊娠中なので、2人目出産を機にお断りしても良いと思いますか？何か対策をアドバイスして頂けますと嬉しいです。

よろしくお願いします。