元カレの妹さん

トピを開いていただいてありがとうございます。女性３０歳です。事務職をしています。
２年前、彼氏と別れました。同じ職場の元カレ妹Aさんからの紹介で付き合いましたが、私がどうしても彼と結婚に踏み切れずプロポーズを断って別れました。
それ以来一切連絡は絶っていたのですが、一週間前に元カレさんからメールが来ました。現在私が子宮関係の病気で休職している為の心配メールでした。
Aさんと職場が一緒なため、私の情報を元カレさんに話しているようです。
恐らく絶対にメールか、突撃訪問かのどちらかが来ると思ったので予想の範囲内ではありました。今後訪問が来るのではとびくびくしています。付き合っている時にも、私の体調が悪い時や約束もしていない時に突然訪問、ピンポン連打、電話攻撃をされた経験があるので怖いです。心配で、とのことでしたが元カレさんは一度うちに入れたらなかなか帰らないので余計に具合が悪くなるため、調子が悪い時は遠ざけていました。
彼は「心配している自分」「優しい彼ならこうする」ことに酔っているようにしか見えませんでした。私の話は全く聞かず、ちゃんと迷惑だと伝えても「気にしないで、気を使っているだけでしょ」と自分のやりたい理想を私の意思を無視して貫こうとします。
もう絶対に関わりたくないです。妹さんに、私の情報を流さないでほしいと伝えたいのですが、兄弟内での話まで私が口を出してもいいものか悩みます。妹さんも元カレさんと同じような性格で、私が「それは嫌だな」ということを伝えても、「大丈夫大丈夫気にしないで！遠慮しないで！」と善意の押し付けをされるので職場でも悩んでいました。
職場での関係を壊したくないので今まで黙っていましたが、別れた後も私達秘密の仲良しよね、という態度で接してこられることに困っていました。
どう伝えたら良いのか悩みます…。