振った会社の男性に住所が知られている場合

こんばんは　

28歳のシングルマザーで会社員をしております。

少し心配なことがあるので聞いてください

会社に15歳年上の上司　Ｋさんがいます。
過去に２度程告白されております。


私は離婚後間もないですし　正直異性として意識できないので
お断りしました。


ですが振り向いてくれるまで待つ。
諦められない‥ということで
毎日メールが何件か来ます、


さすがに電話はなくなりましたが
メールも毎日されては困りますと言いました

私が好きで送っているのだから
返信は気にせず読んでくれるだけでいい　送るのが楽しみだと‥


出張先からお土産も何度も買ってきます。
子供へのプレゼントも買ってきます
誕生日　母の日　クリスマスなどの贈り物も‥


何度も困りますのでやめてくださいと言うと
自分が好きで買っている
これが出張の楽しみにもなっているからさせてほしい


何度も断るとうちの玄関ドアノブに掛けて行くようになりました
（住所は社内の年賀状の住所一覧で確認できます‥）



そして　この度　自分の興味のある分野の職種へ
転職することになりました。


そしてＫさんにも
「これを機に連絡を取り合うのもやめましょう。」と言いました
今までは同じ職場で業務上関わりもあったので強くは言えませんでした


「あ。そういうことね　はいはいわかりました。今まで悩みとかさんざん聞いて来たのがなんだったって感じだけど貴方がそういうんじゃしょうがないよね、はいはい、もういいよ」


と急にトーンを変えて言われました。


今まで自分がきつく言えなくて
思わせぶりな態度をとっていたのが悪いですが
今回退職を機に　やっとガツンということができました

考え過ぎかもしれませんが　我が家は幼い子供と二人暮らし‥
住所が知られていて今回急にキツくお断りしたので何かあると怖いです‥
引越しも考えますが子どもの学校もあり金銭的にも難しいです（新築の市営住宅に住み始めたばかりなので） 金銭的なことは考えずに引っ越すべきでしょうか？