バツイチ同士

こんにちは。 ちょっと前に彼が出来ました。 私も彼もバツイチ同士。（子供はいません） 先日、彼のマンションに遊びに行ったところ前の奥様のものかその後の彼女のものかわかりませんが化粧落とし、ローション、ブラシ、髪ゴム等が無造作に投げてあるのを見てしまいました。 正直に彼に聞いたらすべて昔のことだし特に気にしていなかっただけだから心配しないで、と言われました。 お互い過去を背負った者なので理解できないわけではありません。 特に彼は結婚後今のマンションを購入し一緒に住んでいたのでしょうからおかしい話でもないと思います。 彼女が出来て家に呼んでもおかしくないし。ただそのままにしていても平気、というのがどこか寂しくてひっかかるのです。 そんなことがひっかかる私はわがままなのでしょうか。 彼とはこれからも真面目にお付き合いしていきたいと思っているので今後もこのような”過去”に対してこだわっている自分をどうやってコントロールすればいいのか悩んでいます。 同じような経験を持っている方アドバイスをお願いします。