成人した子供がいる彼との再婚

結婚を前提にお付き合いしている男性との再婚についてです。 彼は元奥さんの不貞で離婚、二人娘を育ててきましたが 数年前から二人娘（成人してます）ともそれぞれ彼と同棲していて家を出ていて 彼は２世帯住居でお母さんと暮らしていました。 （玄関は一緒、台所、トイレは別） 最近、彼の娘の一人(27歳）が同棲している彼と別れたと言って 彼の家に戻ってきました。 私はこれまで週末婚のような形で彼の家に泊まりに行っていたのですが 私が仕事部屋として使っていた部屋（元々は娘さんたちの部屋ですが） を娘さんが使うことになりました。 娘さんは大学卒業後すぐに同棲をはじめたらしく、 職歴もなく、彼の収入に頼っていたようで現在も無職 すぐに一人暮らしなどできる見込みはありません、、、 娘さんが戻ってきた日は 情緒不安定だったから、と 私達のベッドに寝かせたそうで、、 ○○（私の名前）のベッドだから使わせないよ！などと言っていたにもかかわらず、です。 私としてはかなり嫌悪感。 なので、娘さんが出て行くまでは私は泊まりに行かないと宣言しました。 娘さんが戻ってこなければ今年中にでも結婚して一緒に暮らす方向でしたが こんな状況になり、再婚する気持ちがぐらついています。 ちなみにもう一人の娘さんも職歴なし、フリーター状態です。 彼は高収入で生活にはゆとりがありますが そのため娘さん達はそれをあてにしているようなところがあります。 私のことをとても大事にしてくれる彼なのですが 再婚は考え直した方が良いでしょうか、、、。