職場の苦手な先輩との関わり方

職場の苦手な先輩との上手な関わり方をご教示下さい。
私は社会人5年目の女性です。
職場にどうしても苦手な先輩(50代男性)がおり、関わり方について悩んでいます。
その先輩は私生活の過ごし方等にいちいち嫌味を言ってきたり、飲みに誘って頂いたけどその日は都合が悪く断ったら『俺のこと避けてるんだろ』と言ってくるなど被害妄想で攻撃的な言い方されたりと正直辟易してきました。
当の本人は日常的に『俺は私のご機嫌を伺いながら話しかけて気遣っているのに気づいてないの？』と言ってくるように気遣いの出来る人と思っているようです。
こんなことが続き私が耐えきれなくなり半年前に大揉めしました。
揉めた直後は他人が分かるくらい距離をおいてましたが、苦手な人でも普通に接しようなどの話をよく見るので普通にする努力もしました。
すると先輩に仲良くなったと勘違いされ頻繁に2人で飲み等の誘いをまた受けるようになりました。
苦手な先輩に距離を縮めようとされていることに本当にうんざりしてますし、できれば業務以外での関わりは最小限にしたいと思っております。

このような経験がある方、先輩と同世代で先輩の考え方が分かる方等皆様のアドバイス頂ければと思います。
長文な上読みづらい文章になってしまい申し訳ありませんがよろしくお願いします。