飲み会が苦痛です

私は主人と、あるサークルに入っています。 主催者の人がお酒が大好きで、何かにつけて飲み会をします。 私は体がお酒を受け付けない体質（下戸）です。 主人もお酒が強いタイプではありません。（飲むとすぐ赤くなるタイプ）です。 飲めない上に、飲み会の雰囲気も嫌いなので苦痛です（その場では明るく振舞っています） 料金も割り勘なので、ガンガン飲む人に比べ損をした気分です。 そんなに食べないし、私はソフトドリンク2杯くらい、主人も中ジョッキのビール1杯が限度。 サークル内は「お酒大好き！」な人が多く、で飲み会はいつも盛り上がります。 飲める人が羨ましいくらいです。 主催者の人は、悪い人ではないのですが、とにかくお酒が好きで、 誘いを断ると機嫌が悪くなるので、毎回ではなく適度に出席しています。 主人もアルコールに強くなく、お酒が、あまり好きではないと言います。主人は 飲むと体全身が真っ赤になってしまい、最近の研究で、そのような体質の人は、ガンになるリスクも高いと知りました。 飲み会以外のところで、やんわりとそのような話をしたのですが、「赤くなるなら大丈夫、ガンとは因果関係は全く関係ないから」 と言われてしまいました。 上手な断り方がありましたら教えて下さい。