職場の先輩

私は２６歳で１歳の子供がいます。 勤務先の職場の先輩（独身３５歳）に困っています。 会社が休みの土日祝日は『あそぼ！』と月に２、３回程誘ってきます。毎回断るのも職場の人間関係に響くと思い１回はOKするのですが話も合わないし行く所は決まって大型ショッピングセンター。はっきり言ってつまらないんです。 子供もいるので食事の準備や子供の相手もしなきゃいけないし忙しいと以前やんわりと言ったんですが、分かってないみたいなんです。 その先輩は同年代には友達がいないようで職場に新人が入ってきたら『飲みに行こう』『彼氏は？』などと聞いてまわり、新人にも相手にされず上司にも『あいつは頭悪い』などと言われているようです。 先輩と同じと思われたくないので、会社でも必要以上にしゃべらないようにしていたら『今度は怒ってる？怖いよ』というようになってきました。 後味悪くならないよに先輩とは離れたいのですが何かいい方法ありませんか？