曖昧な態度をしていまう私/好意のない人からへの対処

私は以前、ある同好会に入っていたのですが、自分の志向や雰囲気と合わず辞めたいと思っていました。しかし、「辞めたら迷惑かけてしまうかも」と思い、かなり悩んでいました。結局、雰囲気が合わかったとは言えなかったのですが、「他の習い事が忙しくなってきたので」という理由で辞めることを決断し、その時、同じグループのリーダーだった異性に話しました。実は、私はそのリーダー本人の雰囲気が苦手だったのです。彼は私が辞めることを理解してくれ、「やめた後も、また飲み会とか誘う。会おう」といってくれました。私は「ありがとう」と丁寧にお礼を言いました。 実際、飲み会などの誘いを度々してくれたのですが、もう本当は同好会から離れた身なので、『行きたくない』本音もありました。 しかし「せっかく誘ってくれたのに断ったらよくないかな？」という想いもあったので「ご好意に甘えて参加します」と、本音とは裏腹に言ってしまうこともありました。 後からわかったですが、「やめても、会おうね」と言ってきた異性は、私に好意があったそうです。私がサークルをやめると接点がなくなってしまうので、つなぎとめておきたい・・・といった感じで、イベントに誘っていたそうです。あいにく、私は相手に好意がないので、もう関わりを持ちたくないです。ようやく、自分の正直な気持ちに気付きましたが、相手は「●●（私）に好かれたい」ということをSNSなどで呟いています。一度、彼から私の日記が見れないように非公開にしてしまったのですが、他のSNSのアカウントなどもしつこくきかれ、やはり断れず教えてしまいました。私の曖昧な態度で誤解させてしまったのは承知ですが、相手と今繋がっているのはSNSだけでもう関わりを断ちたいと思っています。相手が諦められずストーカーになったら嫌だなぁと思うのですが、どうしたらいいでしょうか。本当に今困っています。