彼氏がしんどいです

この前夜デートした時に、一緒に食事をしました。
食事後にお茶したいと言っていたし、じゃあお茶行く？と言ったら今日はもう解散しよっかーと言われ、
疲れてるのかなぁ？と思ってわかった！帰ろっかと言って解散しました。

解散後に帰りの電車で今から〇〇で会えない？と…
解散して5～10分後でした。
もう別れたいのかなと思ってわかったと言って電車を降りて結局再集合。
会ったらやっぱり解散早すぎたかなって…と言われました。もうちょっと一緒にいたかったと。
全然悪びれる様子も無かったので、私はかなりイライラしてこんな再集合とかありえない、こんなことお互い負担だし相手を振り回してるよと伝えてしまいました。

彼としては私が帰りたいのかなと思って気を使ったつもりだったそうです。でも私があっさりわかったと言ったから悲しかったみたいで…

私の気持ちは彼とは温度差があるのは正直わかっているのですが、今回のでさらに信じられなくなってしまいました。今までもこういう事あったし、本当にいいのかって何度も聞いてきたり、情緒不安定で一緒にいるとしんどいです。
私の器が小さいのでしょうか？このまま付き合っているのも不安です。