話している途中で居なくなるって失礼じゃないですか？

主人に母(身体的病気から精神的鬱になりかかっている)の状態を聞かれて、答えていたら、草に水をあげにベランダにいってしまいました。一文として終わっている状態ではなく、本当に途中でです。水を新しく入れに台所にきたので、「聞いておいて話の途中で居なくなるってすごく失礼」と言ったら、「草に次々水をあげないといけない。続きがあるなら今話して」と言われたので、「別に聞いてほしいわけじゃない」と言って今部屋に閉じこもっています。主人は私が怒るのが理解出来ないようです。私が話していた時間は一杯のバケツに水が溜まる間だけで、長々と話していた訳じゃないし、聞かれたから答えたのであって、自分のタイミングで話しをはじめた訳ではありません。