英語による脳の疲労と聞き取りの低下

第二外国語に囲まれて暮らしていらっしゃる方にぜひお聞きしたくトピを立ち上げました。

私はアメリカ人の夫と在米２年の３０代女性です。
普段は病院で専門職として働いています。

まだまだ英語での生活に脳が疲労しているなと感じることがあります。
今の私は、英語を聞き取るにはまず英語脳をスイッチＯＮして意識的に聞き取ろうとする必要があります。
脳が疲れている時、今は聞き取る必要がないと判断した際にはスイッチＯＦＦして頭を休ませます。

例えば、私が料理に集中している背後で、夫が独り言を言っているとき。
私は疲れているし、独り言だから聞き取りをＯＦＦにして料理を続けます。
その独り言から急に「今日ボスがこんなこと言ってさ。驚いたよ。」と私の背中に向かって会話を始められると、私は聞いていないので返事をせず、夫は「なんで聞いてないの！」と怒ってしまいます。
聞き取りＯＦＦ状態でも呼びかけてから話を始めてくれたり、目を見て話しかけてもらえれば大丈夫なのですが。

皆さんはどうやって無意識状態の時でも聞き取るようになりましたか？
脳の疲労感はどう解消していますか？

仕事ではいつも気を張っているのでこのような問題はないです。
日本人の友達はいませんが、現地人の友人達とは楽しく過ごせています。
普段テレビは現地の番組を見ていますが、体調が悪いと頭が働かなくなって英語の聞き取りも悪くなるので、風邪を引くと日本語の動画を観ます。

この疲労感は毎日ではなく、主に仕事がハードだった日の夜・体調不良・義家族（１０人以上）と４日間以上の寝泊まりで発生します。
数年前は英語で２時間会話するだけで頭がショートしていたので、少しずつ頭はトレーニングされているようなのですが、もう少し慣れたら疲労感は無くなるのか疑問です。

皆さまのご経験を聞かせていただけますと有難いです。
宜しくお願い致します。