このままでいいのでしょうか…

私は現在大学3年生です。彼氏も同じ大学、同じサークルの同期で、付き合い始めて4ヶ月になります。
この彼とこれからも付き合い続けるか否か悩んでいます。
問題は私にあります。私は別れてもすぐに短期間で次の彼氏を作ってしまいます。それが今までに2回ほどです。
私は幼少期から家庭環境があまり良くはなく、あまり親の愛情を受けずに育ってきてしまったアダルトチルドレンです。そういった過去がある為でもあると思いますが、寂しいという感情を自己処理できない、愛に飢えているなど心はずっと子どものままで、成長できてないのだと思います。
男性が好意を寄せてくれたから付き合う、という凄く適当な形で付き合っていました。
今の彼氏は、ずっと隠していた私の心の闇に気付いて、寄り添ってくれる、心の優しい人です。デートを重ねるうちに私が恋愛感情を抱き、生まれて始めて自分から告白をし、現在に至っています。本気で大事にしたいと思う相手なので、先日私が今まで適当に付き合ってきたこと、家庭環境が酷かったこと、全て隠さず話しました。ここまでしっかり話したのは初めてだったので、彼も少し戸惑っていましたが、ずっと抱きしめていてくれていました。しかし、「俺の存在もその内の1人に過ぎないのかな」とか「俺のこと好きじゃないのかもしれないね」と悲しそうに言っていて、私は彼を傷つけてしまったと思います。その後、今の私をもう少し信じてみると言ってくれましたが、彼を苦しめているこの状態のままでは良くないと考え、別れを切り出してみたのですが、「気にしなくていい、俺は自分の意思で付き合っている」と言ってくれました。
私は今までこんな適当な恋愛しかしてこなかったので信じてもらうのは難しいですが、彼の事が本当に好きです。
しかし、別れるのが最善かもしれないとも思います。
話がまとまらず本当に申し訳ありません…。何か良いご意見頂けたら幸いです。