取引先の人に付きまとわれて困っています

父親よりも年上であろう取引先の社長が、
私が休みの日にミーティングをしたいとか
ゆっくり会いたいとか、私が居ないと仕事のやる気が出ない等、
顔文字を多様した気持ちの悪いメールを送ってきます。
23時頃に出張先から「今仕事が終わりました」と意味のない
電話をかけてきたりもしました。

最初は当たり障りのない返事を返してたんですが、
気持ちの悪いメールばかりが返ってくるので
ずっと返信しなかったのですが、一方的にメールは来ていました。
それでも無視していたら、メールは来なくなったので
これで気まずくて、関わってこないだろうと思っていたら、
昨日用事もないのに職場に来て、顔を真っ赤にしながら
話かけてきました。
素っ気無くしていたら「忙しいですか？」
「お忙しそうなのでまた来週来ます」と言って帰って行きました。

今までは、会社と古くからの付き合いもあるので
邪険にも出来ないと思い、用事もないのに来るその人の
くだらない話にも付き合っていましたが、勘違いされて
本当に気持ちが悪いです。
どうしたら穏便に遠ざけることが出来ますでしょうか。