バツイチ同士 彼の部屋には過去がゴロゴロ…

付き合いはじめて3ヶ月になる彼がいます。お互いバツイチ同士で子供はいません。二人とも30代で彼が5歳上です。

出会ったその日に連絡先を交換し、2週間後2回目に会った時にはお互いの気持ちが通じあい、告白などもないままその日からこの3ヶ月をほぼ毎日一緒に過ごしてきました。
彼はとても素敵な人で、彼の友人も本当にモテるやつだよと言っていました。男らしく仕事も良くできる方ですが、2人のときは優しくて甘えん坊で本当に理想的な彼です。

そんな彼の家に2日に一度は行っているのですが、そこかしこに元カノやら元奥さんの物がゴロゴロしています。お互い過去を持つ身なので目をつぶって来ましたが、最近届いた元カノさん宛のDMが無造作にリビングに置いてあり、◯◯◯子様と名前を目にしてしまった瞬間我慢も難しくなりました。でもめんどくさいヤツになりたくはないので言えません。
また、付き合いたての頃はたくさんLINEをくれたけど、今は必要なこと以外くれなくなり、仕事の後私の職場まで車で迎えに来てくれる回数も減りました。寝る時いつも抱きしめてくれていたのに最近は普通に寝る日も増えました。それでもほぼ毎日会ってはいます。2人で居る時は冷たくなったなーなんて感じることはなく相変わらず優しいのですが。
そして、私がこれから仕事で独立しようとしているところなもので、彼との時間も私がPCに向かいがちになってしまっています。
つまり、彼の私への態度がシンプルになってきたところに私の不満が高まりつつあって、私って小さいなとかやなやつだなとかいつかフラれるのかな…とあれこれ考えてセルフイメージがどん底です。さらに私自身も仕事が多忙で彼にかまってあげる時間が減りました。
彼と関係をうまくやって行く方法や経験談など、色々な切り口でお聞かせ頂けたらと思います。フラれるのではと日々心配です
どうぞよろしくお願い致します。