遠距離恋愛中がしんどすぎて別れたいけど別れられない

長くなりますがお付き合いお願い致します！
歳が2つ下の彼とお付き合いしています。
7年ほど前に仕事で付き合いがありましたが疎遠になり、1年前に再開してお付き合いをしております。

半年前に私の副業の水商売バレてしまい大喧嘩しました。
それから、それ以外の事でも多々喧嘩になってしまいました。

水商売をしている理由は金銭的に生活が苦しいからと説明したら、「やりたい仕事なら応援できるけど、お金の為ならやめて欲しい」との事。
フリーランスで動いている本業もやりがいではなくお金の為ならやめて欲しいと言われ、辞めるのは流石に無理だから減らしました。
ですが、つい最近本業を辞めて欲しいなんて言ってないと言われてしまいました。
収入も4分の1ぐらいに減り、私は小言が多くなったのは事実です。

彼は私よりも何百倍も収入がある方で、ブランド物や時計、美容代にかなりお金を使っているので羨ましくたまらなくて小言が多くなりました。
たまに私の分もプレゼントして貰った事があって凄く嬉しかったです。
でも生活できないのが現実です。

このままお付き合いしてても大丈夫か不安になってきました。

また、遠距離の彼が自宅の住所を頑なに教えてくれません。
家でも電話をしないのが気になります。
いつもこっちに来てもらってばっかだから、たまにはそっちに行くよって言っても断固拒否されます。

不信感もあるし、金銭感覚も会っていませんが一緒いると落ち着きます。
とても好きなのですが現実と心が伴いません。
どうしたらいいでしょうか？