コロナに関して義実家との考え方の違い

大阪府在住、小学生の子供が2人いる主婦です。 主人の両親と敷地内同居をしています。 お盆休みに東京から義姉家族(中学生小学生の子供が3人います)が車で帰省して来ました。 そして2日滞在した後、義両親と義姉家族で長野県に旅行に行き、2日宿泊して来ました。 コロナ禍の中で、東京から帰省させる義両親も、帰省しようと思う義姉家族もどうかと思いました。 しかも、義母は今月来月と2回も近辺に宿泊旅行に行くようです。 義両親ともすごく若々しく元気ですが、一応高齢者です。 子供達にもしコロナがうつるようなことがあると困るので、しばらく義両親の所へ行くのは控えた方がいいかと思いますし、子供達自身もコロナにかかるのは嫌だから控えると言っています。 義姉家族の帰省の前までは、毎日のように義両親の所へ遊びに行っていましたが、義姉家族が来てからはほとんど行っていません。 すると、義父が、最近孫達が全然来ないけどあなたが来させないように言ってるのか？と私に文句をつけてきました。 主人がそのことを義母に言ったところ、どうせ私達はバイキンなんでしょ？と言われたようです。 主人の家は自営業で私も手伝っているので、会社で義父と会いますが、いつもマスクもしていません(お客様の対応時や外出時はマスクをしていますが)。 自分がもしかしたら人にうつすかもしれないという意識もないようです。 もちろん、旅行に行ったから必ずかかるわけではないし、義家族からではなく私や主人からうつす可能性もあることはわかっています。 完全に離れて暮らしてて普段から接する機会がないのなら勝手にしてもらったらいいんですが、私と主人は会社で接するし、子供達は遊びにも行きたいだろうし、隣に住んでる私達家族に対して配慮がないなと思ってしまいます。 それなのに、文句だけ言われて納得できないのは、私の心が狭いのでしょうか？