バツイチ彼氏との再婚について

私が32歳、彼が49歳でお付き合いをしています。
彼はバツイチで娘が2人います(24歳、22歳)
前妻と暮らしていたのですが、前妻が再婚をしたいということで、前妻がA県に引越しをしました。
子供たちは前妻の祖母の家で一緒に住むという流れになったらしいのです。

何ヶ月かは過ごしていたのですが、どうも長女が再婚を反対しているらしく、情緒不安定になったそうで前妻は心配になり自分に住んでいるA県に娘2人を呼んだそうです。ただ最近になり長女が自殺未遂をしたらしく幸い助かったのですが、病院にいる時に「お父さんやお母さんが再婚とかになれば私は生きていけないから死ぬ」と言ったそうです。。

その話を彼から聞いて、「ごめん、この先お前のことが好きでも一緒になることは出来ない」と言われてしまいました。

彼いわく、母親を取られるような気持ちになったかもしれないと言われました。

私も子供の立場からして、娘さんの気持ちも分からなくはないですが未成年でもないのに。。という思いになってしまいました。

こう話された以上は分かった。としか言えませんでしたがただどうしても諦めきれません。

やはりもう諦めるべきなんでしょうか？