熟年再婚

私49。元旦那48。娘23.子供2人います。息子19
彼49です。

4年前に元旦那の暴言や嫌味、それまでに色々嫌なことを言われ続けて我慢の限界で離婚しました。
娘は嫁に出し子供2人います。(今は離婚して帰っている)
高校生だった息子は引っ越ししたくないと言うので私が一人引越しました。月1で子供たちと会っていました。

離婚して2年後に彼ができ結婚を前提に一緒に住み始めました。

半年後娘が離婚し、パニック障害になり、元旦那達と一緒に住んでいます。
元旦那が娘の離婚は私のせいだといいます。また「母親のくせに子供の事心配じゃないのか」と、何かと母親のくせに…、
また「子供や孫に会えなくなるよ」とか言われ、私は不安になり彼を残し一年前に戻りました。戻ったと言っても元旦那と再婚した訳ではありません。
元旦那は離婚の原因の事を謝って来ましたが、私の気持ちは元旦那にはありません。
元旦那は彼の存在を知ってます。

私は、彼を忘れることはできず、月に1、2回会ってます。彼は私と一緒になることを待ってくれていましたが、年齢も年齢だから婚活しようかなって言ってきました。
彼にも申し訳なくて…
私は、彼と一緒になりたいのですが子供達がどう思うか怖くてなかなか子供達にいえずにいました。

自分でもどうしたら良いのか分からなくなってます。
皆さまの考えをお聞かせ下さい。
よろしくお願いします。