結婚しない方がいいのでしょうか。

40歳バツイチです。小学生高学年の娘1人。2年半付き合った同い年の彼と結婚前提でつきあっています。 彼は出会ったときから子供を欲しがっていました。 私はもう生みたくありません。 彼はなんとかなると言いますが、金銭面や体力的なことを考えると・・・ 何度か話し合った結果、彼が子供を諦めることに。 私もその話はふれないようにしていました。 先日、娘のことを大切に思って欲しいと話したら、娘のことが嫌いとかそういうのじゃない、という前提を言った後「自分の子供を持てないのに、他人の子供を大切になんて思えない」と言われました。もちろん娘とは何度も会っていてそれなりに接してくれています。 ただ、こうして改めて言われるとイヤなようです。 私も彼もお互いとても好きですが、子供の件は地雷になっています。 彼は私と離れたくないから子供を諦めるとは言ってますが、子供を欲しい気持ちに変わりはないようです。 私も彼と別れることを考えただけでも食欲がなくなり精神的にかなりツライのですが、先のことを考えたら別れた方がいいのでしょうか。。。 彼は私と会う前に10年くらい他の女性と同棲していました。なんでその時に子供を作らなかったのか・・・聞きたくても聞けません。 ちなみに、今まで結婚したいと思ったことは一度もなかったそうです。 彼のことは本当に大好きですが、娘のことを大切に思ってもらえないんだと思うと、やはり私には娘がとても大切ですし、このまま結婚しても後々みんなが不幸になるのでは・・・と悩んでいます。 相談出切る人がいないので、どなたかアドバイスをお願いします。