これは当然でしょうか

私は７０代の女性です。
耳が不自由といっても全然聞こえないわけでもなく、しゃべれないのでもありませんし、成人してから聞こえが悪くなったものです。
ある時地区の福祉センターに出かけた折、後ろから受付の方が声をかけたらしいのですが、私はそれに気付かずに歩き続けたのてす。
それからというものは、聞こえない、教育も受けてないらしい、生活保護らしいとか、あることないこと言いふらされています。
私と会話をしたこともない方が噂を聞いて、私の顔を見るたびに近くにいる人に「あの人聞こえないんだよ」とささやく場面をしょっちゅう目にしています。
私は聞こえないことで誰にも迷惑をかけてはいませんし、私自身は自分に自信があり、また自立心は旺盛、人に頼ることもせず、依存心はゼロで今日まで生きてきたわけですが、福祉という名のつく場で不愉快な場面に出くわすのは道理にかないません。
まったく聞こえないのなら「聞こえない聞こえない」と後ろ指さされてもかまいませんが、ゆっくり話してくれれば会話はできる私ですけど、悪いうわさが福祉センターにとどろいてしまっている今は身の置き場もない状態です。
はたしてこのように頼みもせずに、宣伝して歩く人は正しいのでしょうか。
私から宣伝マンになってくれと頼んだことありませんし、一度も会話をしたことのない人が鬼の首でも取ったがごとく吹聴して歩くことに我慢なりません。
私自身生活に充実していますから、何を言われても動揺はしませんが、そのような現場を見ると、殴り込みをかけたい衝動に駆られます。
これは間違いなのでしょうか。
これらの人になにか一言釘でもさすことは可能でしょうか。