シングルマザー、飲み会の断り方

幼児を育てているシングルマザーです。
職場の飲み会が２ヶ月に１回位の頻度で有るのですが、毎度断るのが大変です。

「子供の世話が有ります」と言って断っていますが、毎回「子供を連れて出席して」と言われます。
幼児を連れて酔っぱらいだらけの夜の繁華街に出る事、酒や煙草の席に幼児を参加させる事に抵抗が有ります。
また、繁華街から自宅まではバスで一時間以上かかります。

上記理由を伝えても、「固い事言わないでさ」「たまにはいいんじゃない？」と食い下がられてしまいます。

実は、経済的にも厳しく飲み会代どころか繁華街までの交通費も捻出出来ません。
15人の部署で内勤事務は私だけで、他の方は総合職なので年収も全然違います。
私の手取り額から逆算すれば、飲み会に参加出来る訳が無いのは簡単に分かると思います。
もしかしたら、数年後に子供のランドセルを買う為に毎月少額ですが財形貯蓄をしてるので、それを崩して飲み会に来ればいいと思われているかもしれません。

大体、案内が来るのが１ヶ月前位で、そこから飲み会前日まで、「なんとかならない？」「気が変わった？」「子供連れてきなよ」「実家に子供預けてきたら？」としつこく誘われます。

１回でも参加してしまえば、参加出来る認定されてしまいそうで、数年断り続けてますが、毎回毎回断るのもしんどいです。

私は、「飲み会に来ない人」って事で声がけもしないでもらえると助かるのですが。

シングルマザーを理由に飲み会に一切参加しないのは非常識ですか？