バツイチ、50歳、同棲解消か

バツイチ同士50歳です。 驚かれるとは思いますが、付き合って2カ月で彼の持ち家で同棲を始めました。 しかも私の勤務先からは片道車で１時間かかります。 同棲理由は、早急に住んで居た家を出なくてはならなかったからです。 私の実家も勤務先近くにあるのですが、以前一度同居して上手くいかず出た経緯があるので、実家には住めないのです。 そこで彼が俺の家に来いと言ってくれました。通勤の不安はありましたが、とりあえずやってみようと思い同棲スタートしました。 しかし、日々残業があり、20時になる時など帰るのも疲れてしまい、勤務先近くの実家に泊まる事が月に何回かあり、その度に彼氏は不機嫌になるのです。 ようするに、疲れてても帰ってきて欲しいということです。 また、バツイチの彼の家に住むと言うことは、ある程度覚悟していたのですが、元奥さん、元カノ、どちらの物かわからないですが、ペアの食器やスリッパ、ベッドなど見ているだけで心苦しくなるし、それプラスとにかく通勤がストレスなんです。 やっと元夫と別れてストレスから解放されたと思ったのに、今度は恋愛でまたストレス。。 彼の事はとても好きで一緒に居たいのですが、このままだと私が我慢して通い続けるか、彼の家をでるしか解決策はないのかなと思ってます。 以前、私がアパートを借りるから一緒に住む？と言ったら、今の家の事があるからすぐには返事できないと言われました。 確かにまだローンも半分残っているようで、売ることもできないと思います。 一緒に居たいけど、通うのも大変、住む場所も変えられない、どうしたら良いでしょうか？