義弟家族との関係

私の主人の弟家族との関係、会う頻度について質問です。
私達夫婦は義理の実家から車で１時間強のところに賃貸マンションを借りて住んでいます。子供は１歳の息子がいます。義弟家族は義理の実家の歩いて１０分位の場所に一戸建てを購入し、家族３人（６歳の息子あり）で暮らしています。
義弟家族とは正月、お盆、ＧＷ、プラスアルファ（ちょっとしたお祝い事等）で年に５、６回義理の実家で会っています。
先日、義弟が私達のマンションに来た事がないのは私が避けているような感じだと主人に言ったそうです。
私は自分自身の実家より義理の実家に行ってるし（宿泊付）、自分の兄弟よりも義兄弟に会っているのにそんな事を言われて、なんか腑に落ちません。
それに結婚してすぐ息子を授かり、今また妊娠しています。マンションも狭いしこっちはまだ子育てにおいての余裕がないから、そんなに不自然な事とは思えません。
皆さんは義理の兄弟、姉妹夫婦とはどれ位の頻度で会われてるんでしょうか？