酔っぱらった夫に分かってもらいたい

夫と子供一人の主婦です。
今日は酔っぱらった夫について相談させてください。

私は下戸で、酔っぱらいの気持ちを理解することが難しい人間です。
家族の中で母と祖父がお酒好きであり、彼らが飲み始めて酔い潰れるまでの酷い豹変振り
（急に態度が大きくなり、しつこくなる。罵声を浴びせることも）
を目の当たりにした幼少時代を過ごしたためか、ちょっとお酒をたしなむ程度ではなく、
とことん飲んで酔い潰れるような酔っぱらいが苦手になり、
そのような人に対して拒否反応を示すようになっていました。

夫も結婚前は全く飲めないと思っていたのに、結婚した途端仕事の付き合いが重なり、
よく外で飲むようになり、最近では酔い潰れることもしばしばです。
その度に私は夫に対して心底軽蔑し、翌日シラフに戻るまでの間はあまり関わらないように過ごしています。

しかし、昨日、食事の際に、少し酔った夫を確認し、あまり目をあわさず、
夫の一方通行なおしゃべりを聞き流していたところ、
「俺が酔っぱらうといつも不機嫌になるお前を信用できなくなってきた」と言われました。

確かに目をあわさないで急に不機嫌な態度を取ってしまう私がいけないのですが、
体が「怖い」と反応してしまい、関わりたくないという態度が出てしまいます。
そういう人が怖く、自然と拒否反応が出てしまうことも夫には話してありました。
しかし、酔っぱらうと忘れてしまうようで、シラフでなければ理解してもらえないようです。

シラフの夫は、とても優しい夫で頼りになり、浮気も暴力もなく、文句をつける箇所などありませんが、
一旦お酒が入ると目つきが鋭くなって気が大きくなり、時に乱暴な言葉を浴びせたり強引になったりします。
その度に私は恐怖で拒否反応を示してしまうのです。
このような夫と今後どう付き合って行ったらいいか、よきアドバイスはございませんでしょうか？