横暴な先輩との付き合いについて

トピックを開いていただいてありがとうございます。 20年程前に勤めていた会社の男性先輩との付き合いについてご相談させてください。 同じ会社にいたのは6年間ほどで、その後私も先輩も転職し 先輩は転勤もあり、ここ10年ほどは音信不通でした。 昨年、先輩が転職したようでまた同じ街に帰ってきたと連絡がありました。 その後何度か当時の同僚と飲んだりしていたのですが さすがにみんな家庭を持っていますので そうそう何度も集まることもできず 気が付いたら、先輩から気軽に誘えるのは私一人となってしまいました。 最初の頃はよかったのですが、二人で会う回数が増える度に 先輩は本性を出すようになりました。 ・私を蔑む（私の発言は全て否定、見下す） ・自分が常に優位に立たないと気がすまない。 ・タクシーの運転手にケンカを売る。 ・自分から誘っておいて、私のためにやっているんだ発言。etc 先輩と会うと、なぜこんな事まで言われなければならないのかと 家に帰ってイライラし、後悔します。 だた、私にも友人もおらずここ数年、休日は一人で家で過ごす日々だったため 食事やドライブに誘われるとつい応じてしまうのです。 （先月携帯を機種変更したのですが、現在メール、着信ともにその先輩のみです） 嫌な思いをしてまで、外にでてその人と関わった方がよいのか また家の中で過ごす日々を選ぶか・・・ 皆様アドバイスよろしくお願いします。 私：独身（女性）、40才、一人暮らし 先輩：独身（×1）、46歳、一人暮らし、 お互い恋愛感情は全くありません。