職場の先輩の誘いを無難に断りたい

　タイトルどおりのご相談ですが、皆様に良いアドバイスをいただけましたら有難く思います。
今の職場は部門ごとに大分場所が離れており、私は、ある先輩さんと２人で仕事に当たっています。
仕事中は勿論ですが、お昼休みも昼食をとる場所が必然的に同じ場所、座る椅子もいつも決まっていて、出勤から退勤までずっと一緒です。
私が入る前は、その先輩さんが１人で仕事をしていたのですが、忙しくて手が回らなくなり、私が新しくその場所に入りました。
1から教えてもらい、半年経った今、ようやく１人でも何とか出来るようになりました。
その先輩さんはとても仕事が出来る人で、自分の意見は目上の人にもはっきりと言うタイプです。
そういう意味では私も一目置いていますが、とても強い人で自信家ですし、物事をすべてお金で図るような所があり、仕事に入った頃に「ふうせんかずらって持ち家?」と聞かれて驚きました。仕事と何の関係があるの?と。
それからも家族の事やプライベートな事をいろいろ聞かれて、私とは価値観が違う人だと思いましたが、一緒に仕事をしていかなければならないので、ツンツンも出来ず、何とか話を合わせてやり過ごしています。
そんなわけで、私は職場だけのお付き合いに留めたいのですが、「食事に行こう」とか「一緒に買い物に行こう」と誘われて、正直言って困っています。
今は地区の役員の仕事もあって、休日はお付き合いが出来ない、と断っていますが、気性が激しい人なので、この先、うまい断り方がないものかなぁと思っています。
どうかアドバイスをお願い致します。