杖を使って歩く妻（私）

30代の女性です。
外を歩くときに杖をついています。
夫と一緒に外出すると、夫が人目を気にしてか神経質になり、鬱陶しくてたまりません。どう対応すればよいかご意見をいただきたいです。

数ヶ月前から脚の病気のため自立歩行が難しくなりました。根治はおそらくありません。
外出時には杖を使いますが、ようやく慣れてきたところです。ゆっくりではありますが、慣れた場所なら移動は徒歩で一人でできています。重い荷物が持てないとか、ブーツが痛みやすいとか、うっかりすると横断歩道を渡りきれないという点は要注意ですが。

週末、夫が休みの時はたいてい一緒に外出しますが、車を降りて目的地に向かう時間がプレッシャーです。
普段は穏やかな夫ですが、二人で歩いているところに人とすれ違うと、何やらピリピリとして言葉も少なくなり、こちらを見てきた人に対して、なにをジロジロ見てるんだ、とでも言いたげに見返すことがあるのです。もちろん、その場で口にするわけではありませんが。

いやいや、見られてると思うのは自意識過剰でしょ…と嗜めたくもなりますが、本人の意識として私を庇ってくれてのことかと思うと注意しづらいのです。
逆に、私ってそんなかわいそうに映っているのかと複雑な気分です。
夫と楽しく自然に連れ立って歩くためにはどうすればよいのでしょうか。

夫には何度も以下のような私の気持ちを伝えているのですが。

確かに、道行く人から見られることはあります。ただそれに不快感を感じることはほとんどありません。
健常者とは違う歩き方を見物してやろうというような興味本位の視線は、実際のところほとんどないのです。「なにか手伝えないかしら」と心配して挙動を見守ってくれているとか（親切に声をかけてくださる方もいました）、「杖や身体にぶつからないようにしよう」と配慮して道をあけてくれようとする所以のさりげない視線です。