彼女をいつも二の次で扱う彼について

彼氏との付き合い方で悩んでいる20代です。私には付き合って1年ほどの30代前半の彼がいます。
彼は小さな会社の経営者的な立ち場にあり非常に忙しく働いています。土曜もたまに出勤、日曜は勉強と、自分の仕事や成長のために一生懸命です。頑張っている彼を尊敬できるし好きなのですが、私への対応に不満があります。

彼と私の家は近く、前は頻繁にうちに来たり、食事をしていました。徐々にその頻度が減り、私が不満を漏らしたところ、喧嘩になったことがあります。
彼は私の要望には応えきれないため、お互いにもう少し配慮し合うという結論で仲直りしました。それ以降しばらくは私も気が楽になり、関係も良好でした。

ですが、最近喧嘩前より酷い状況にあり、誘われる、会いに来る、予定を聞くことすら全くありません。自分から誘うと断られることが多く、以前の喧嘩のこともあり、いつも自分だけが会いたいと思っているのも悲しいので、自分からはほぼ誘いません。

そこで、正直に今の状況に寂しさを感じていること、たまには時間がない中でも隙間時間を使って少しでも会ってほしい、彼女なのだからもう少し気遣ってほしいということを伝えました。
それに対して、彼は、自分のキャリアに集中したいから時間が無い、最優先は仕事で、仕事を優先するあまり私が二の次になっていることは事実、かと言って無理に時間を作りたいと思うタイプではない。と悪気なくハッキリ言われました。
彼は自分第一主義なんだなと気付きました。ですが常に自分を優先する性格や、私への対応は受け入れ難いです。彼のことは好きだし、考えを受け入れたい気持ちはあるのですが、素直に納得できません。でも、私の言い分に対して彼が譲歩する気配はありません。
大事にされていないのでしょうか。もう別れるのが最善なのでしょうか。こんな男性は初めてなのでどうすればよいかわかりません。アドバイスをお願いします。