彼氏の自分勝手な行動を助長させてしまった

彼氏と交際4年になりますが、彼氏の自分勝手な行動に対し、怒りながらも許可したことで、エスカレートさせてしまっていたことに気付きました。 私の責任もあるのですが、よければ改善可能か客観的に助言をいただきたいです。 ・私 28歳、彼氏 30歳 ・彼氏は女性経験0 ・お互い土日が休みで、ほぼ毎週会ってきていたが 彼氏のお母さんがうつ病を患っていて、毎週泊りがけで息子がいなくなることで 悪化していたことを知ったのもあり頻度を減らした ・会う時は必ず私の家に来る ・既読無視や音信不通にされることがある 今は会わない週もあるのに、突然夜に「今家を出た」という電話があることが徐々に普通となったり、0時頃に「今から行ったら迷惑？」という電話が多々ありました。 彼氏は、怒らせると電話ガチャ切りで音信不通や こちらに来ていても帰る などがあるため 私も怒りつつも最終的に許可してしまっていました。 ある日我慢の限界を迎え、人の家に夜中来るのは迷惑だと伝えたところ 「行っていい時とダメな時があるから分からない」と言われ その時初めて、相手が結果だけ見ていたのかと気付きました。 その後私もハッキリ言うように改め、怒らせたとしても放置していましたが先日 予定を決めている最中の既読無視に対し「なんで俺が俊敏に返事しないといけないの」と言われ、もう無理かもと思ってます。 ハッキリ言ってこなかった私も悪いというのもあり、今からある程度お互いに改善出来るのであれば続けたいですが お互いの年齢もあり迷っています。 もし皆様の友達や家族からこのような話を聞いたら、別れを勧めますか？