毎日うちに来る友達のお母さんと会いたくない

高校生の者です。近所に住んでいて、小さい頃から仲のいい姉妹がいるのですがその姉妹のお母さんが苦手です。(私とお姉さん、5つ下の弟と妹さんが同い年で、弟も一緒に遊ぶ事もあります。) その姉妹のお母さんが苦手になったのは5年ほど前小学校高学年の時、その友人のお宅に弟と私でお邪魔した時です。4人で姉妹の部屋で遊んでいたのですが、当時幼稚園児だった弟が妹さんに誘われて部屋の外にある押し入れを開けてしまいました。私はすぐ気付いて部屋の中から「勝手に開けちゃダメ！早く閉めて！こっち来て」的な事を言ったのですが、なかなか戻ってこないので立ち上がって自分で襖を閉めて来ようとしました。丁度私が襖に手をかけた所、友人のお母さんが来て、当然ですが、私が開けて見ていたのだと思われました。 友人が全部話して弁明してくれましたが、そのお母さんに信じてもらえず「おかしいんじゃない？キモイんだよ」と言われてしまいました。 それ以来お宅にはお邪魔していませんが、友人姉妹とはまだ仲が良く、そのお母さんは押し入れの件はもう気にしていないのか最近また頻繁に家に来ます。私に会うと積極的に話しかけてきて20分ほどお話を聞くことになり、私が居ないと私の家族にどこにいるか聞いてくるそうです。 押し入れの件は誤解されて当然な光景だったし、お邪魔している分際で、申し訳ないと思いますが、あの時の言葉が頭に焼き付いてあのお母さんを見ると恐怖します。最近は毎日夕方うちの前に来ていて、学校から帰ってきた時会いたくなくて駅に引き返すこともあります。 さすがに毎日来るのはやめて頂きたいのですが、どうしたらいいでしょうか。何年も前のことを根に持っているのが悪いのでしょうか。我慢するべきでしょうか。