義弟達との関係

既婚　1人息子がいます。
今回、義弟との関係でなやんでます。
私の主人は3人兄弟の長男で、敷地内に家を建て、母家には義父母。離れには主人と私、息子の3人で生活しています。
今回、次男の奥さんが6年以上母家に挨拶に来なかったのですが、去年から突然挨拶に来るようになった事からはじまります。
次男夫婦に子供はいません。次男の奥さんは親戚付き合いが苦手らしく、私達夫婦を避けるような場面があったので、私達も無理に距離を縮める事はありませんでした。
お年玉を貰った際には、お礼の挨拶を言いに母家に挨拶に行くだけの関係です。
ただ、去年のお盆に次男の奥さんと奥さんのご両親。奥さんの弟とその息子を連れて遊びに来るという出来事がありました。
私からすれば、結婚式の時に1度お会いしただけの関係です。私も結婚後うつ病を抱えていたので直接家に来られるわけでなくても、大勢で敷地に来られるのは負担が大きくお盆の時は、私の実家に帰るという理由をつけて直接会う事はなかったです。
しかし、今回年末にも会いにくるという事だったので、主人の仕事がまだあり、多忙で気持ち的に余裕がない事を理由に奥さんの方の家族がくる事をやんわりお断りしました。その後、こちらの都合でお断りをして申し訳ないというメールも送っています。

年末、次男が奥さんを連れて来ず1人で帰省しました。もう一度直接顔を見て謝りに行ったのですがかなり怒ってて…
自分達夫婦に会いに来たわけでなく、自分の両親に会いに来たのだから私達の都合で来る、来ないを決めるのは間違っている。両親も歳をとって、あと何回会えるかわからないのに…と。
たしかにその通りだとおもいますが、主人が私の鬱病の症状など伝え、奥さん1人来るならまだしも家族全員で来られるのは迷惑だと伝えてくれました。
私達のした事は、間違っていたのでしょうか。ご助言お願いします。