過去の話を聞いて落ち込んでいます。

相談させてください。
私は24歳会社員女です。付き合って10カ月になる彼氏（25歳・フリーター）がいます。
彼に過去に恋愛話を全部聞いて落ち込んでいます。聞かなきゃいいのに、包み隠さず全部聞いてしまって今更落ち込んでいます。
元カノの話から、一夜限りの話とか・・・
今の彼を好きになったんだから、元カノ等を含め好きになったんだからと言い聞かせていますが、ますます落ち込む日々です。
彼に「話を聞いて凹んでる」と言ったら、「全部言った俺もバカだったよ。けど本当にカコのことだからもう何もないよ。今はありこを好きなんだよ」と言いますが、元カノを別れてからのほうが好きだったとか言うし・・・（私と出会う前の気持ちです）
彼氏はいつか浮気するって思ってしまい落ち込んでしまいます。
毎日のように考えてしまい疲れてしまいました。
こんなに考え過ぎるなら、別れた方がいいんじゃないかとかまで考えてしまいました。　
バカですよね。でもキスとか抱きしめられてもなんか悲しくてこんな気持ちの自分が嫌になります。
でも彼のことは好きです。気持ちの切り替えがうまくいきません。
どうすれば、プラス思考になれるかわかりません。
ご助言お願いします。