余裕がない彼

付き合い始めて4ヶ月ちょっとです。
彼氏の気持ちの余裕がないという理由で連絡をとったりなど控えています。
一度、余裕がないと別れ話をされましたがその時は話し合っておさまりました。

今回は話し合う事もせず今の状況です。
彼氏はいつも何かしら悩んだり考えたり気を遣ったり。
考え出すと気分も上がらないし不機嫌になって嫌な思いさせるのが嫌で
なかなか会う気分になれないから申し訳ないと言います。(週2～3は会いたいと言われ会ってました。)

私はそんなに会う派ではなかったけれど彼氏に合わせてたので今は会える時には会いたいと思うようになりました。
なので今の状況はとてもつ辛いです。

束縛をしてたわけでもありません。
女の子と連絡取ってても、仲のいいよく飲みに行く仲間の中に女の子がいても
楽しんできてね！と言ってましたし友達も大事にしてほしいので。

会わず、連絡もしないようになって私が感じたのは
もしまた仲良く過ごせるようになってもきっと、そのうちまた余裕がない。となる気がする。
2か月目ぐらいから彼の余裕があってカップルって感じで過ごせるのは月に２週間ぐらい。
あとは大体、微妙な雰囲気になる。

彼氏といてその２週間は楽しくて大好きってお互い言い合えるのですが
正直毎回これを繰り返すのは辛いです。
私もいつも彼氏の様子を伺うようになってます。

彼ももうこの関係は続けられないと思っているんだろうなとたまに感じてます。
でも連絡も会うのも控えると言っただけではっきりしてくれません。
彼の事で悩むことが多くて疲れますが彼の事が好きなので受け入れたいと我慢してきたし
待ってるね。と私から言いましたが待ってても意味が無いのかなと思います。
彼氏もまた考え込んでると思うし彼女という存在が重いと思ってる気がします。

もう私から別れを切り出した方がいいのでしょうか？