マンションの管理人さんへの対応

最近分譲マンションに引越しました。 そこの管理人さんとの距離感に悩んでいます。 私は30代前半で、夫と2人暮らしです。その管理人さんは管理会社から雇われている60代後半くらいのおじいさんなんですが、引越しの際に1度ご挨拶に伺いました。 その時は優しそうで親しみやすい感じの良い方だなと思ってました。 ただ、管理人さんって会ったら挨拶する程度かなと思ってたのですが、会う度に色々話しかけられて正直面倒くさいです…。 出がけなら急ぐフリでかわせるのですが帰りのエレベーター待ちの際や自転車置き場等でたまたま会うと毎回挨拶以上の会話を振られます。 ちょっと話すだけなら良いのですが、私がなんとなく嫌だなと思うようになったのは１階でエレベーター待ちをしている時に冗談な感じで笑いながら「若いんだからたまには階段も使いなよ〜」（うちは3階です）と言われながら背中をバシンと叩かれた時からです。 その時に地味に痛かったのと身体を触られたのにすごく嫌悪感を抱きました。 また、その後も自転車置き場で自転車を停めている時に後ろから「わ！」と肩を叩かれて驚かされたり、普通管理人さんがこんなことするか？と驚いています。 また、夫と2人の時は絶対挨拶以外話しかけられませんが、私1人の時は必ず話しかけられます。 話し相手が欲しいのかもしれないし、私もつい癖で話しかけられると愛想笑い返したりで人に冷たくしたり軽くあしらったりができない性格なので対応に困っています。 因みにうちのマンションは世帯数は80程で、エレベーターも1つしかなくそんなに大きくありません。 管理会社にクレームを入れる程ではないし、夫にも話しましたがまぁそんなの話しかけられたら無視しておけばいいよと言われました。 なるべく穏便に済ませたいのですがやはり無視するしかないですかね…？ 何か良い対策があれば教えていただけますと幸いです。