複雑な義弟家族につかれるんです。。

旦那にはあまり年が離れていない弟がいます。 義弟は、若くして結婚、すぐ離婚し、1人の子供を育てていたのですが、色々あり、今は実家に娘を任せて、新しい女の方と暮らしています。（女はバツイチ子持ち） 自分の娘のことは可愛がっているようですが、ときどき会うスタイルで基本義母義父任せだと思います。 弟と女には色々と迷惑をかけられており、私たち家族は謝られたことがあるような関係です。 義弟とあまり親しくしたくない私、自分の弟なので過去のことは許してあげたい旦那。意見が食い違い、弟達に会う機会がある際には旦那に文句を言ってしまいます。 今回、正月の初詣を一緒に行く予定を旦那が決めてしまい、我慢できず喧嘩になってしまったんです。 昨年は一緒に行ったのですが、今年は私は家族だけで行きたかった。 今回はなぜか私が我慢できず言ってしまい喧嘩になりました。 旦那も女のことは嫌いだと言うのに、居ても別に気にはならないそうです。わたしにはそれが分かりません。 旦那は家族仲良くありたい。私は義母と義父は大事にするけど、弟に関することはあまり接触したくない。 これは私の我慢が足りないのでしょうか。 まとまりない文で分かりづらく申し訳ありません。 同じように悩んでる方がいらっしゃれば、ご意見いただきたいです。