付き合いを続けたいが

私のせいで彼氏を傷つけることが多く、困っています。
アドバイスいただけると助かります。

付き合い当初から遠距離、半年になる彼がいます。お互い２０代半ば。
彼は、平日は午前１時帰宅、休日出勤ありの激務ですが、毎日メールと電話を欠かしません。
月２で会い、一緒にいると楽しくときめきもあります。
彼は素直で優しく、驚くほど純粋。友達は多く、博識で会話も楽しく、論理的思考に徹する一方で私の気持ちや感情にも丁寧に向き合ってくれようとします。
ウソを嫌い、仕事も熱心にきちんとこなし、チャレンジ精神旺盛でバイタリティがあり、家事も一通りできる。
自分の考えを持ち且つ他の意見も尊重し、自分の非は認められる、私にはもったいない人です。

さて、私は利己的で恋愛中でも自分の幸せを考えてしまう質ですが、自分以上に幸せになって欲しいと心底思う初めての男性です。
ですが生理前等、イライラすると彼に八つ当たりしてしまいます。
彼に非があることはほぼないですが、彼は自分のせいだと謝ります。
私が理不尽に問いつめたり暴言はいたりするので、彼は彼自身の考えがまとまらず何も言えなくなり、さらに私がイライラする、という悪循環です。
それで昨日は彼が変になってしまいました。

このままだと彼の心や性格の良い部分を壊してしまいそうで怖いです。
私がいることで彼が不幸になるのではと心配です。
しかし彼は、私に傷つけられたことはない、いない方が不幸だ、大事にしたいのにできなくてごめんと言います。
それにしたって、昨日の彼は過呼吸みたいで怖かったです。
精神的DVでは、離れた方がいいのでは、それとも大げさなのか、よくわからなくなってきました。
幸せになって欲しいのですが、私は彼のために離れるべきでしょうか。

文章にまとまりがなく、申し訳ないです。
不明な点等あれば追加いたします。
よろしくお願い申し上げます