夫婦＆未就学児1人で4年ほど借家に住んでいました。
入居の際、畳・襖類の張替はされてませんでしたが、
退去時に全ての障子・畳・襖を綺麗に張り替えられ、その全額を敷金から差し引かれました。
納得いかず、不動産屋に抗議しましたがらちがあかず、
消費者センターに相談しました。
そこで、センターの方・私・不動産屋の3人で話し合い、
法律（ガイドライン）に基づき、こちらが明らかに汚した分については支払うが、
もとからの破損・経年劣化で変色した物については
借主に請求できないとして、その部分の返金を求めました。
ハウスクリーニングに10万取られた分についても
センターの方に借主が負担しなくていいものがあると言われましたが、
小さい子供がおり、汚損のひどい個所もありましたので
それについては返金は求めませんでした。
そして2か月ほどして、敷金の一部が返金されてきたのですが
先日、町の会合で、夫が大家さんと顔を合わせた際に
沢山の人の前で、すごい剣幕で文句を言われたらしいのです。
あんた達がなんもかんもきれいに使っていたわけじゃない、隣家との間の溝にもゴミを残していって、それだって私が全部片づけた、
家の中だってかなり汚していた、それを変なところに文句言いに行ったりして！みたいなことです。
退去する際、2か月の乳児がいたため、退去時の掃除に手が回らなかったのは事実です。
だから、室内清掃に10万かかったんだと思いますし、その分についての返金も求めていません。
つまり、その分のお金はお支払していると思っています。
なのに、散々文句を言われ、こちらが悪いことをしたわけでもないのに
後ろめたい気持ちになっています。
借りていた家のすぐそばに引っ越したため、今後顔を合わせることもあると思います。
客観的にどう思われますか？どうしたらいいと思いますか？