遠距離、借金、浮気

相談させてください。
今20歳で付き合って2年目の彼氏がいます。入社して一目惚れして私からアタックした上司にあたる7歳上の方です。
付き合ってから彼の家に食事を作りに行ったりしてるうちに半同棲状態になり、彼氏の家の家賃半分と食費、生活必需品など月5万円
合わせて8万くらい払ってました。
彼は洋服にお金をかける人で消費者金融に100万近く借金していました。返済期限が間に合わないと計30万近く貸しました返ってきました。あと付き合いたての時に地元での彼女と別れ切れてなくて浮気されていましたその事もあって不信感があります。
親や友達に話したら絶対幸せになれない、考えた方がいいなどと言われ、私も別れるか悩んでるんですが、顔とスタイルがよくてクリスマスや誕生日お祝いはレストランの予約を取ってくれたりして優しい人です…。去年の4月から彼が転勤で新幹線片道4時間の遠距離になりますが、月2回私が逢いに行くばかりで仕事を理由に逢いに来てくれません。
新幹線代のことを考えると会う頻度を減らすか中間地点で会いたいと話しましたが、「うーん、配慮がなかったごめんね」で済まされました。会ってもお家デートだし、家政婦みたいなことして帰ってきます。もう彼と別れた方がいいんでしょうか？


※お忙しい中最後まで読んでいただきありがとうございます。分かりにくい文章ですみません。彼は初めて付き合った人です。
恋愛経験のある皆さまのご意見お聞かせください。