気の合わない人と疎遠になる方法

２０代主婦です。
以前勤めていた会社を１年ほど前に辞め、専業主婦をしています。
数か月に一度、以前会社でお世話になっていた取引先の人（同性）主催の飲み会に誘われます。勤務していたころから年に数回、誘われて参加していたのですが、正直疲れます。

悪い方ではないのですが、どうも性格が合いません。取引先ということもあり、気を遣っていた面もあります。退職した今となっては参加したくないのですが、「予定が合わない」と言っても、（向こうは善意で）私の都合に合わせてくれます。飲み会には現在その取引先を担当している事務所の先輩も参加しており、あまり波風立てたくないという気持ちもあり、ついつい断り切れずに参加していまいます。そして、帰宅後、どっと疲れが出ます。辞めた会社の事でストレスを溜めている自分が情けなく、また、腹立たしく感じます。

自然に関係をフェイドアウトできる方法があれば、お聞かせください。