義弟嫁、義弟苦手

私は旦那両親と同居しています。
私（26歳）旦那（30歳）娘7歳、息子3か月がいます。同居となると色々あり、助かる部分や嫌な部分が多くありますが、農家なので、もともと同居予定となっていました。

しかし、義弟夫婦が、土地をもらい、夫実家から歩いてすぐのところに家を建ててました。
当時、家を建てることへの相談もなく、夫両親の間で決まってたみたいです。
同居当日になり、義弟夫婦の家を知り、後戻りできなくそのまま同居しました。

実際住むと、週2、3回来るし、生後3か月の子供がいるのに咳をしている子どもを連れてくる。
コロナで現在騒がれているのに、義弟夫婦が友人と遊んだ後、家に来ます。
また、胃腸炎の濃厚接触者なのに泊まらせたり。
生後2か月の時にやられ、不信感が募っています。何も連絡なく来たりするので、こっちの予定があっても、いけなくなったりが多くて、ほんとに辛いです。同居すれば仕方のないことですが、
できれば会いたくないし、あまり関わりたくないです。

私のわがままですが、こう考える私は、おかしいでしょうか？他の方の意見を聞かせてください。