アパートの住人と頻繁に顔を合わせます。

30代独身女性です。現在、一人暮らしをしています。 このアパートは１DKタイプで、ほとんどの住人が一人暮らしと思われます。 皆さん部屋を出入りする時間はバラバラのせいか、 ほとんどの方と顔を合わせることがありません。1回も見たことない住人もいる中で、一人の40歳前後の男性とよく顔を合わせます。 というのも、皆が通る階段の所でタバコを吸っているからです。 最初は挨拶されるので気にせず挨拶を返していました。 出勤時や帰宅時、部屋の出入り時間が決まっていない休日にも顔を合わせることが多くなって、考えすぎですが生活のリズムを監視されているような嫌な気分になった頃他の住人が大家さんに苦情を入れてくれたらしく、帰宅時には見かけなくなりました。 ですが、まだ見かけるので段々嫌悪感が強くなり大家さんに「こういう人がいるのですが、女性の一人暮らしが多いアパートなので正直気持ち悪いです。」と連絡したら、先に苦情を入れた2人の女性は既に退去してることや、本人にタバコをポイ捨てしないように注意したことを教えてくれました。 その男性はポイ捨てを注意されてから灰皿を置いてるだけで相変わらず階段の所にいます。駐車場で会う事もあります。 部屋に出入りする、車に乗り込む動作は1分もかからない行動なのに、 どうしてこんなにタイミングが合うのか本当に気持ち悪いです。 嫌悪感か頂点に達してから挨拶も返さなくなったら、その男性も挨拶しなくなりましたが顔をもう見たくないです。 引越しも考えていますが気に入ってる場所なだけに悔しいです。 とりあえず私の出勤時間の1分前頃に階段に出てきてるので、5分早く出勤するようにしようと思います（朝の5分は大きいのでシャクですが）。 再度、大家さんに連絡しようと思いますが、こういう場合大家さんが退去させることが出来るんですか？