亡き母の再婚相手だった男性を拒絶

４０代、主婦です。
私が幼少期の頃から実父の浮気や暴力に悩まされていた母は、私が小学生の時に離婚し、その後しばらく母一人子一人で頑張っていました。
母は必死で働く中、ある男性と知り合って付き合いだし、私が高校に入学した頃再婚しました。
知らない男性と同居させられたのは耐えがたく苦痛（その男性から性的な意味でからかわれた等あり）でしたが、母の幸せのためと思い、私は早く自立するつもりで何も言わずに我慢しました。

高校卒業と同時に私は家を出て経済的にも自立し、離れて母の幸せを願ってはいましたが自分を精神的に切り離さないと辛く、それから母が病気で亡くなるまで（私が３０代半ばの頃）、娘として素直に接することができませんでした。
母の死の直後しばらく、その男性が寂しさからか頻繁にかけてくる電話の相手もしましたが、それ以上に関わる気持ちになれず、私は私の心で母を見送り偲ぶつもりで連絡を断ちました。

その後の母の三回忌法要に、再々婚した別の女性を同伴してきたので、一応こちらから挨拶したのですが、２人は私を睨みつけて「オマエは冷たい娘だ！なんで連絡よこさない！」「そうよそうよ！」など責められて困惑しました。
しかも、その女性は初対面なのに、立て続けに不躾な質問（何年生まれだ？誰と暮らしてるのか？勝手なもんだ！等）までされ、不愉快でした。

そして何度か早朝や夜中にからんでくるような電話がきたので、着信拒否をするようになり、今に至ります。（ここ数年は電話なし）
母の人生の最後を一緒に過ごしてくれた事に感謝はあれど、私は私で苦しい思いもしたし、母が私にと残しておいてくれたお金（小額でしたが）もその男性の言う通りに半分渡し、彼が再々婚もしたという今、もう関わる必要はないと思う私は冷たいですか？
その夫婦は事情も知らない従妹にまで電話し私の悪口を言っているらしいのです。