集合住宅清掃員さんのプライベート介入？

都内の集合住宅に住む一人暮らしの40代女性です。

　集合住宅の清掃員さんのプライベート介入を、どのように止めて頂くか、皆さんの考えをお聞かせください。私としては、集合住宅の理事会に言うべきか、管理組合に言うべきか、本人に直接言うべきかを考えています。

　集合住宅の共用部を清掃してくださる方が3人ほどいらっしゃるのですが、そのうちのひとりの60代後半の男性が、先日、「最近は、夜になったの？」と声をかけてきました。

　私はここ半年間離職していて、生活の為に2ヶ月前から夜勤の仕事を週3回しています。朝８：３０頃帰宅するのですが、その際に言われたので、「最近は夜の仕事をしているのか」という意味で言われたと思います。
私は「はっっ！！？何の話ですか？」とかなり怒りをあらわに応えました。

　以前に、会社を早退して早く帰宅した時に「具合が悪いのか」と聞かれたり、朝シャワーを浴びていると浴室の窓のところで延々と掃き掃除をしている時期もあり、嫌な感じを受けていましたが、高齢の方の親切心かもしれないし、浴室下での清掃などはこの方だとはっきり特定することはできず、放っておいていました。
　今回の事ではっきりと「もう声をかけて欲しくない。」と伝えようと思っていますが、丸く治める良い方法があれば、ご意見を頂きたいと思います。

どうぞ宜しくお願いします。