住人の個人情報を勝手に話すアパート大家に困っています

ご覧いただきありがとうございます。
2階建ての小さいアパートに3年ほど、夫と子供の3人で住んでいます。
大家は個人で、管理会社はありません。

今まで家賃の振込を夫名義の銀行キャッシュカードで行っていましたが、
夫が出張することが増え事情により振込銀行のキャッシュカードを
持ち出すことが多くなり
私名義のキャッシュカードから振り込むことになり
その旨を大家に電話で話しました。
(他銀行の夫名義のキャッシュカードから振り込んでも良いのですが、手数料を安く済ませる為)

大家は快く受け入れてくれた為、夫の部署がまた変わり
出張がなくなっても私名義から振り込んでいました。

ある日、夫がアパート前で掃除をしていたところ、
雑草取りに来た大家と会ったそうです。
そのときに大家に「離婚したのかと思った」
と言われたので「出張が多かっただけですよ」と
笑って会話をしたようなのですが
その後うちのお隣のお部屋のチャイムを鳴らし上がり込み、
「隣離婚じゃなかったみたいだよ」
等話しているのが窓があいていたのでしっかり聞こえたそうです。
その話を聞きとても不快でした。

その他にも私が大家と偶然会った時にも
「2階の学生年末1ヶ月家を空けるらしい」とか、
「そこの部屋のおばさんが文句言ってきたから出て行けって言ってやったんだ」とか
「あの部屋の旦那は○○で働いている」
「あの部屋は名義は親なんだよ」
などどの部屋の住人の個人情報もぺらぺらと話すのです。

家を空けるとか話すのは防犯上も良くないと思いますし
あることないこと他の住人に話されては、すごく不快です。

文句をいえばすぐに出て行けの一点張りになる感情的な大家です。
私はそれは他の住人から聞いていたのでなんとかうまく大家と関わってきましたが
何か個人情報を話すのをやめさせるいい方法はないでしょうか。
嫌なら引っ越す他ないのでしょうか。