最近、活気が出ません。主人の発言に対してと性格での相談です。

結婚７年子供が１人居て、現在も第２子妊娠中です。主人は一回り以上年上ウで勤務医をしており、激務な毎日を送っています。
主人は、毎日早くて２３時たまに帰って来れない日もあり、そんな中で当直が月４～５回あります。睡眠時間も４～５時間位で時にはほぼ徹夜の時もあります。
仕事場では、真面目でプライドが高く飲み会等には行かないタイプです。勿論、浮気も出来ないタイプです。（普通に携帯を忘れて行き、パソコンなども私が勝手に見ても何も言いません）遅く帰る時も毎日必ず電話し、家に着いてからも、寝ている私達の寝室に来て私の顔にキスをして自分でご飯の準備をしに行きます。（私は起きてご飯の用意をしに行きます）
優しく思いやりがあるとは思うのですがなかなか理解しがたい言葉を言う事があります。
この生活に限界がある私は、たまに爆発してしまう事があり喧嘩になる事があります。（喧嘩と言っても、私が一方的に言うばかりです）
そこで、主人から「○○（私）が、我慢出来ないなら、離婚してもいいと思うよ。でも、家族の為に働いてるし居なくなったら働いてる意味がなくなる。」と言われました。
私がまだ、子供なんでしょうか？凄く無責任な発言に聞こえてしまいます。私が我慢できないなら、離婚で良い・・・私次第で決めてもらって良いなんて責任を放り投げてるようにしか聞こえませんでした。
仕事にとても真面目で、要領よく仕事をこなせる性格ではないので遅くなるのは分かっては居るのですがほぼ自分だけで色んな事を決めて主人の居ない生活が虚しくなってきています。
私は、我侭なんでしょうか？家族の意味が分からなくなりました。
助言お願いします。