お金が無いのでパート先の飲み会を断りたい

既婚女性。事務のパートをしています。 異動の多い職場で、歓送迎会や飲み会が月一回あります。 社会人の常識として、なるべく参加すべきとは思うのですが、 本音を言うと参加したくありません。 理由は、ある目的の為、夫婦で節約生活をして貯金に励んでおり 無駄な出費を抑えたいからです。 現在、夫は小遣い無しで頑張ってくれていますので 私だけ飲み会で数千円使うなんてできません。 職場の飲み会に、家計が苦しいので参加できませんという理由は 非常識でしょうか。 なお労働環境は良いので仕事を変える予定はありません。 人間関係は良好です。 変な人だと思われても良いと思っている自分ですが それが原因で仕事上の人間関係がぎくしゃくしたら嫌なので 色々な方からご意見が聞きたいです。