彼との今後の関係について

2年付き合っているバツイチの彼氏がいます。
最近だんだん彼の事が色々煩わしくなってきています。

半年くらい前に彼氏が結婚はしない、と共通の友人に言い切っていたのを聞いてしまい、確認したら「結婚はしない」との事。決意は固そうなので、結婚する気になる事は将来も無いと思います。

彼氏はバツイチで前の奥さんとは知り合ってすぐ結婚、お子さんが2人、お子さんは奥さんが引き取ってます。

前は週末ごとに彼氏の家に泊まったりもしていましたが、私が彼氏の家に泊まる時は奥さんの寝ていた部屋で寝なければならず、奥さんの持ち物やお子さんの絵とかまだ沢山残っていて(彼としてはほぼ捨てたつもりなのでしょうが、私から見るとなんでそれ捨てないの？的な物が残っています)それもかなりモヤモヤして、泊まりに誘われてもなるべく理由をつけて断ったりも。

彼氏がSNSとかで何処に行ったとか私との仲良しアピールするように載せてるのも段々煩わしくなってきました。家に泊まって朝ごはんを食べてる様子とかSNSに載せられてしまうと、どうせ結婚も(同棲する気も)無いのにお泊まりアピールされても女性の私にとって将来的にも社会的にもなんのいい事も無い(かえってマイナスになるだけ)とか思ってしまいます。

こんな気持ちでいて、これから年末クリスマスとかお正月とか彼氏と向き合わなくてはなりません。友達としてならとても楽しい人です。でも恋人として深く付き合っていくうちに、友人家族などを批判する言動がちょっとやだなぁと思うところも出てきました。「俺は〇〇出来る」的な言動も鼻につくように。
「結婚しない」と言われた頃から、なんとなく彼を冷静に客観的に見るようになり、良いところも嫌なところも俯瞰で見てしまっている自分がいます。

これから自分の人生の方向を考えると付き合い続けるのはどうするべきか迷っています。