セカンド婚に向けて私の対応はどれが正しいのか・・・

初めて投稿します。
私は現在バツイチの男性と結婚を前提にお付き合いしています。
最初は同棲をしていたのですが、前妻から子供と会いたいなら私とは別れろと言われ、彼は子供ととても会いたがっていたので私は２年間という期限を決めて実家へ戻りました。しかし、勤め先は簡単には変更できないので通勤時間は２時間に・・・
休みも月に１度合う程度の為、前妻が休みの土日と、彼が休みの日以外は泊まりに行って家事をしたりしていました。
前妻の家から彼のアパートまで車で１時間半、そう簡単には来れる距離ではないのと、車の車種は把握していたので警戒しながら過ごしていたのですが、前妻の親が動いたのです。さすがに前妻の親の車まではわからず、部屋に私が入るところを見られてしまいました。
子供と会う事を諦めて、私との生活を大事にしたいと彼は言ってくれたのですが、彼の実家と前妻の実家が御隣さんなのです。
私たちだけならそれで済むのかもしれない。しかし、自分たちが好きなように生活していて彼のご両親に迷惑がかかるのはいたたまれない気持ちです。
私の事を子供の件が落着いたらちゃんと連れて来なさいと暖かく迎え入れてくれようとしてくれているご両親に、失望されないよう、子供の件が落ち着くまではアパートに行くのを止めるのが一番なのだと思います。
しかし、彼は今仕事が忙しく、私が行かなくなった事で食生活がどうなるのかとても心配です。それにやはり、会えないのは辛いです。
結婚に向けて、彼のご両親に認めてもらえるには、現状やはりアパートには近付かない方がよいのでしょうか？アドバイス頂けたら嬉しいです。