元嫁さんの存在が苦しい

私27歳未婚
彼45歳バツイチ　息子有(22歳)

お付き合いして3ヶ月で同棲を始めもうすぐ2年です。歳の差の障害は覚悟の上で結婚前提のお付き合いをしています。
彼には社会人の息子さんがいます。離婚したのは息子さんが中学生の頃。その後も2人で旅行に行ったりと関係は良好です。今も転勤で他県にいる息子さんがこちらに帰省する際には食事をしたりしています。
それが時間的に遅くなる場合は元々家族で暮らしていた彼名義のマンションに帰るのです。元奥様とも仲が悪いわけではないので私と付き合うまではよく会っていたそうです。向こうの家に帰る日は車が運転できなくなるため泊まり、翌朝に帰ってきます。お風呂も向こうで入ります。その時は奥様は実家に帰っている等で不在だと聞いていました。ですが先日最低な事だとは思いつつも携帯を見てしまった際に奥様も家にいる事がわかりました。そうだろうなぁとは思っていましたが、やはりショックでした。それに彼は住民票も移していないため、大事な書類は向こうに届き、その処理を奥様にお願いしていました。健康診断の予約すらもやってもらっていて、正直私はなんなんだろうかと思ってしまいました。
彼は日頃から愛情表現も、料理や家事に対しても感謝の言葉をくれるし本当に大切にしてくれています。私も心の底から愛しています。
ですが、やはり向こうの家に帰る日には憂鬱になりますし、いってらっしゃい、おかえりなさいと笑顔で出迎えるのも辛いです。
息子さんに会うのをやめてほしいとは微塵も思いません。ですが家に帰り奥様と会うのはやめてほしい。でも離婚する際に奥様から部屋はこのままにしておくからたまには息子に会いに帰ってきて、と言われたと以前聞いた事もあります。
私はこれからどうすればよいでしょうか、何かアドバイスをください。