体調が悪いときは機嫌が悪い・・・

初めまして。相談があります。

わたしには結婚して半年になるパートナーがいます。
彼はとても優しくてとても素敵な人なのですが、
体調が悪いときにわたしが話しかけたり、いつもの調子で軽いわがままを言うと突然きつい言葉を言ったりするのです。

それは攻撃的というよりは「普段我慢してるけど・・」というような感じで、日ごろの不満のようなものを言ってくるのです。
「お前はわがままだ」｢俺は我慢してるんだ」などです。
その後体調が回復して言葉の意味を確認すると「体調が悪かったから言い過ぎた。ごめん。」と謝ってきます。その後はいつもの優しい彼です。

暴力を振るわれるとかはありませんが、こちらはいつもの調子で話しかけているのでびっくりします。
ちなみに体調が悪いときにむやみに当り散らしてくるというわけでもありません。
体調が悪いときは出来るだけ気を使ってあげるべきなのでしょうが、
彼は頭痛もちなのでそのせいで予定が延期になることが多いです。
なのでこちらもつい、いらいらしてしまいます。
体調が悪くないときに不満を言って欲しいのですが、なんとかならないのでしょうか？