屈辱的なマンション自治会費集金、どうすればいい？

４０代、女性です。
自治会費の集金時に困ったことがありました。

７０代の一人暮らしらしい男性なのですが。

最初に私の部屋番号と名前を名乗り、訪問の目的を説明したのですが、不審に思われたのか、「あんた誰や？！」
もう一度、同じことを説明したら「そんなん、知らんがな。あんた、初めてやな。」など、と言われました。自治会に入る意志がないのかも？と思いかけたところ、突然お金を差し出し「ご苦労！」と言われて、尊大な態度に驚きましたが、突然の訪問者に用心されているのだと思い直しました。

先日２回目の集金に訪問したさい、前回と同様に名前と自治会の集金であることを最初に説明しましたが、「ああ？」と言われて、また、不審者に対するようなＹさんの態度と尊大なものの言い方に不快感を持ちました。財布から５千円札をだされたので、「今はおつりがないので、おつりを用意して出直します。」といったところ。「明日の夜来い」とのこと。「仕事があるので、無理。あとでまた来ます」と言うと。「あんた、計算できるのか？」馬鹿にした口調で言われました。
「それは、どういう意味ですか」と聞きましたが、それに対しては返事がなかったです。

自宅に戻りおつりの用意をしていると、チャイムがなり
夫がでたところＹさんでした。また不愉快な思いをしたくなかったので、夫に応対を代わってもらいました。Ｙさんは夫には普通の態度だったそうです。

あと２回集金があるが、また屈辱的な思いをさせられるのかと思うと、憂鬱です。夫が対応したときのＹさんの様子から、あきらかに私が女であることで見下した態度であることは間違いありません。

私はこのマンションに何年も住んでいるが、トラブルをおこしたことはありません。次回同様なことがあれば、Ｙさんと喧嘩をしてしまうかもしれない。それは絶対避けたい。どうすればいいですか？