主人の単独行動が多くて孤独感を感じるのはおかしいですか？

結婚してから3年の夫婦です。 (夫39歳 私28歳) 今まで2度子宮外妊娠をして昨年リュープリン注射で治療をしていたのですが、その頃副作用が辛く喧嘩が絶えませんでした。 その時に「私は子供のために頑張ってるのに！」と八つ当たりしてしまったのですが「はあ？だいたい子供出来ても育てられるわけねーだろ！！」と怒られたことがあります。 その頃にも離婚の話になったのですが、今は子供のことを諦めることでなんとか落ち着いています。 そして現在、私は在宅勤務のため主人が休みの日もパソコンで仕事をしていることが多いです。 その際に「あと少しで仕事が終わるからその後にご飯作ろうかな」と考えていると、同じ部屋にいた主人がキッチンに移動して、少し経つといい匂いがしてくるんです。 様子を見てみると、主人が1人分のご飯を食べている…という状態。 「何で聞いてくれなかったの？」と聞くと 「仕事終わるか分からなかったし、お腹すいてるかどうかも分からなかったから」と。。。 すぐ傍にいたんだから聞いてくれれば良いのに。。。 「私の分を準備しなさいよ！」 と言いたいわけではありません。 「俺お腹空いたんだけど、お前は？」って聞いてくれるだけでいいんです。そしたら私が作るなり外食に行くなり出来るので… その会話も無く1人でご飯を食べる姿を見ていると「私の事が見えてなかったのかな？」とまで思ってしまって悲しくなってしまいます。 今まで何度もこの話をしているのですが「自分の物は自分で準備すると思ってるから、必要なら自分でやると思って。」と言ってなかなか理解して貰えません。 仕事が終わってから聞いて作ればいいやと勝手に思ってしまう私にも問題がありますが、寂しいです。 こんな寂しい気持ちのまま一生を終えてしまうのかと考えると離婚した方が良いのではないかとまで考えます。 私の考え方はおかしいですか？