お互い離婚経験有り、自分に子どもがいない場合

トピを開いて下さってありがとうございます。 お互い離婚経験があるカップル同士で相手（男性側）だけに子どもがいます。１５才以上年上の相手なので、相手は２０代の子どもが２人います。既に独立しているため、大人として私とも良好な関係を築いています。 誰にでも過去があって当たり前、幸せなときがあってもちろん当たり前なのは十分承知です。しかし、義理実家に子ども達が小さい頃の家族写真があったり、偶然にその頃の写真を見てしまったりすると、落ち込む自分がいます。 この相手を選ぶときに、背負っているすべてのものをひっくるめて引き受け、嫌な顔などせず平常心で過ごすと決めていました。しかし、一つ屋根の下にいると落ち込んでいたり、無口になったりする時にも一緒にいなくてはいけないため、彼から訳を聞かれ、言わなくてはいけない状況になります。すると、過去と今を切り離さないといけない、などと諭され（十分わかっています）、自分自身がそれをできていない未熟者のような気がしてしまいます。そして、自分は短い結婚生活だったため、過去を意識させるものは何も抱えていないので、この気持ちを本当に彼にわかってもらうのは難しいと考えたりしています。 こういう相手を選んだ自分の責任、いやなら何も背負っていない人を探せ、自分もバツイチでしょう、ということはわかります。過去は過去、とすっぱり切り離し、未来を向いて行くことが自分のためにも相手のためにも最適なことも承知です。 同じ状況の皆様はどのような気持ちで対処していらっしゃるのか、経験談をお聞かせ頂ければ幸いです。