どう思いますか？

我が家は社宅住まいです。主人と保育園に通ってる息子と小学校一年生の娘の4人暮らしです。ウチは両方の親共に疎遠です。 しかし子供が休みの土日等、社宅のほとんどの方は実家に帰っているようです。 私と子供達はほとんど社宅に居る事が多いです。 たまにお出かけして帰ると下の住人が居ますが(奥さんと子供)私達が帰ってくると、すぐに出かけてしまいます。私達が居る時はいつも居ませんが居ない時は珍しく居ます。 これって迷惑がられてるって事ですか？ どう解釈しても良い方に考えられないのですが。。 主人に言ってもだからどうした位にしか思ってもらえません。