4年越しに彼氏と復縁したけど…

今の彼氏は高校の時に1年半付き合っていた人です。別れた後はすぐに別の彼女ができ、3年付き合っていました。 私と付き合っている時は「付き合ってること言わないで」と言われたり、家も近いのに3か月に1回ほどしか会いに来ず（中学は同じでしたが、高校が違ったため普段は会えなかった）、私の見える所で元カノと連絡を取ったり、最後は「このまま付き合い続けても無駄だと思う」とlineで言われ別れました。その後、彼女と別れて4年ぶりに彼からと連絡がきて「ずっと好きな気持ちが消えなかった。今度こそ幸せにするし付き合ってほしい」と言われ復縁しました。今はバイトを欠かさず迎えに来てくれたり大事にしてくれていると思います。 ただ、 「なんで私をずっと大事だと思ってたなら他の女の子と付き合ったの？」 「なんで私を最初から大事にしてくれなかったの？」と思ってしまいます。 彼は、私が「好き」などの気持ちを言わなくて自分だけ好きなのが不安で、好きと言ってくれる人と付き合ってしまったと言っていました。でも彼女と付き合っていた間はテーマパークに行ったり、温泉旅行に行ったり、恋人らしい行為もその子としてたみたいです。楽しそうにしてたじゃん、と聞くと「自分は気持ちが無くて、旅行も向こうがお金出すから行こうって言われてだし、そういうことも向こうから誘われたときだけ。」と返されました。 今は、彼が付き合っていた誰よりも大事にされてると思いますが、「なんで他の人と付き合ったの？」「私のことは今更大事にするのに、他の子なら最初から彼女として扱えるの？」と気持ちが追い付かず彼を責めてしまいます。私がこんなことを気にして楽しい時間を削っているのは苦しいけど我慢することもできず、一人の時間がほしいと伝えました。前向きに彼と時間を過ごせるようになりたいので、何かアドバイスがほしいです。お願いします。