しつこい幼馴染がストーカー

幼馴染（男）のしつこさに困っています。学生時代から、家の近所をうろついて、偶然会う事もしばしば。悪い子じゃないのだけど、今で言うストーカーの気があります。妄想癖で重度のロマンチスト。 普通の友人と同じ様に接していても、冷たくしても、まるで私が彼に思いを寄せていると勘違し吹聴。昔から本心で迷惑でしたが、彼にはそう写っていないし、 他の同級生との手前、キッパリとする事ができません。 現在、私は既婚。彼は多分彼女居ない暦＝年齢です。何も接点がないのに、急に電話がかかってきて「声がかわいい。」とムフムフ笑って気持ち悪くなりました。その後一方的なメールが多くなって、迷惑しています。（6年以上会ってません）返事をしないので、ムキになってる感じです。変な噂を立てられる事を覚悟しても、ハッキリと伝えるべきなのでしょうか？