押しかけ女房するべきか、別れるべきでしょうか

４年間２度別れて復縁した彼がいます。お互いバツ一で私は成人して独立した子供が二人いる４０代です。彼は前の奥さんの元に小学生がいます。赤ん坊のときに別れています。ひどい別れ方をしたそうで、女性不信でした。

出会ってすぐに一緒に住む話になり、彼の所に引っ越す準備をしていたら急にやはり一緒には住めないと言われ、仕事まで辞めたのにあまりに一方的だったので怒って別れました。３ヵ月後新しい仕事も順調になったころ彼とよりを戻しました。

彼は自分のようなもてない男（彼は自分の容姿にコンプレックスがありますが、高収入、持ち家に一人住まいです。ちなみに私も自宅マンションを持っています）が君みたいな女性が本気で付き合ってくれるとは思っていなかったと。その後彼の自宅の鍵をもらい、週末は彼の家（ただし、仕事で出張が多いため月１、２回）に行っていました。仕事が順調で彼の家から離れているのでその状態が続きましたが、また付き合っていくうちに忙しくてあまり会えない事ややさしいけど優柔不断な態度に一緒にいても辛いだけど別れを決意しました。
彼は本気で別れた自覚はなかったそうで、半年近くたった頃大地震があり、安否の電話がきっかけで話をするようになりましたが、その時つき合いはじめた男性がいたのでそう話しました。彼はとても驚いて戻ってきて欲しい、すぐに一緒に住もう、もう離れたくないと必死でした。そのときに同居してしまえば良かったのでしょうが、３ヶ月待ってもらい、準備が整った矢先に転勤が決まりそうなので待って欲しいと言い出しました。

その間なぜ彼の家ではだめなのか聞くと、今非常に仕事がハードなので生活が変わると仕事と生活どちらにも悪影響を及ぼすからと・・いい加減うんざりしています。
彼の言うことを無視して押しかけるか、さっさと見切りをつけて今度こそ別れるか、どちらかしか考えていません。