社宅の人間関係について

現在主人と社宅（関東のとある県）を借りており、私は妊娠中のため実家に帰って生活しております。 社宅関係の他の住人との連絡は、家主である主人がしています。 元々主人は単身赴任で地方で仕事しており、社宅に帰ってくるのは月に2、3回ほどでした。 私が妊娠し、初期から妊娠悪阻になるなど体調がかなり悪かったため、一人で社宅での生活は難しく、妊娠初期のうちから私の実家（都内）に帰っておりました。 その旨を社宅の住人に伝えなかったのも悪かったのですが、このような状況の中で、社宅の役員に任命されてしまい、半年間役員の仕事をたまに（月2、3ペース）社宅に帰ってきて行なっていました。 しかし、隔週にやる掃除などはなかなかできず、自分達が社宅へ帰った際に2人もしくは1人で実施していました。 自分達の任期が終わり、先日次の担当の住人に主人が引き継ぎに行ったのですが、その時に役員の仕事をサボったりしてたんじゃないかといったような嫌味を言われたようでした。 また、SMSでも何か言われたみたいです。 （もちろんやらなければいけない仕事（集金や掃除など）は社宅に帰り、きちんと毎月行なっていました。） やることはちゃんとやっていたのにそんなこと言われるなんて！って思ったのですが、どうやら主人は他の住人に、自分が単身赴任中でたまにしか社宅にいないことと、私が妊娠中で体調が悪く早めに実家へ帰っていたことを伝えていなかったみたいでした。 それなら勘違いされるよと思い、今からでも伝えた方がいいと主人に話したのですが、もう役員終わったしこれ以上関わるのも面倒だから何も言わなくていいと言われてしまいました。 私はこのまま勘違いされたまま生活するのは気まずいですし、産まれてからもしばらくは実家で生活する予定ですので伝えたいのですが、言い訳がましいって思われるのでしょうか？ 皆さまのご意見をお聞きしたいです。