うしろめたいと言われました

はじめまして。４０代のバツイチ女です。子供はいません。
昨年からお付き合いしている男性がいます。
彼の強い希望で一緒に生活しています。彼との関係で相談です。

彼には高校生のお子さんがいます。
彼の話によると奥様有責による協議離婚ですが、お子さんは母親と暮らすことを選んだとのこと。
全然お子さんに会っていないと言っていた彼を説得し、月３回位のペースで会いに行くようになりました。
知り合った当時は暗くて孤独だった彼がだんだん明るくなってきた様子だったのでよかったと思っていました。

ところが最近また暗く。
彼曰くお子さんが離婚してから不眠症だと言っている、自分は幸せになってはいけなかったと気づいた。彼の実家は復縁を望んでいる。
別れたいとかではないが、私は彼の実家や子供に対して私の存在はうしろめたい。
冷たい態度をとってしまうが察してくれと言われました。

お子さんは高校生です。会ったことはありませんが、私の存在を感じるようになってから急にパパっ子になりました。離婚してから彼に会いにくることはなく、メールも欲しいものの連絡しかしなかったのに。
子供のいない私には彼とお子さんの気持ちが理解できません。
そんなにうしろめたいのですか？

ユーザーID：5070464795