義兄と縁側で話すなと夫に言われたのですが…

はじめまして。５０代後半の専業主婦です。
先日、義兄（姉の夫です）と縁側で世間話をしていたら、帰宅した夫から「世間体がよくないからやめろ」と言われ、反論したら喧嘩になりました。

私の家の前はスーパーなので人通り（ほとんど車ですが）は多く、縁側で話していたのもたしかに丸見えです。しかし、手を繋いでいたとか、体が密着していたという状態ではありません。

夫は「既婚女性は男性と二人きりで話している姿を世間に見せるべきではない」と思っているようです。しかし、私はそのような考えは古く抑圧的で、女性を所有物扱いするものだと感じます。だから、その考えには反対です。

縁側で世間話をしていたのは、義兄に家にあがるよう勧めたのですが、遠慮して断られたからです。家には娘（二十代半ば）もいましたが。

既婚女性は、たとえ近い親戚であっても、男性と縁側で世間話をするべきではないのでしょうか？

夫は、そのようなことをするのは水商売の女性だと言います。義兄と深い仲になりたいのでは、邪推され、とても屈辱的でした。
私は義兄を男性としてみたことは一度もありません。
結婚して二十数年になりますが、浮気をしたことも家出をしたこともありません。平均的な専業主婦として家事をしていたと思います。

このように、浮気を疑われたことは結婚していた二十数年間ではじめてで、夫の頭がおかしくなったのでは、とすら思いました。

ただ、義兄は女癖がよくない人で、過去に愛人を作っていたことがありました（夫はそれを知りませんでした）。
夫はこの義兄が嫌いなようです。
私はかつて兄から、義兄の愚痴を聞いてやってくれと頼まれているので、親戚づきあいは続けたいし、なにより夫の抑圧的な考えには従いたくありません。
私はどうしたらいいと思いますか？