義姉の夫から無視されます

結婚当初から義姉の夫（以後、義兄と書きます）から折り合いが悪く、親戚の集まりにも出席したくありません。

義姉一家は子供二人で義兄とは再婚です。（子供は義姉の連れ子）
最近、再婚しました。

義兄は良く言えば明るく、悪く言えば下品なタイプの方で、義母とも友達感覚で付き合っておりよく夫の実家にも遊びに行っている様です、義姉の子供にも本当の父親同様に接しています。
私はどちらかと言えば内向的で自分からどんどん発言するタイプではありません。私も夫も義兄とは１０歳くらい離れています。

最初から私は苦手とするタイプの性格の方だったので、当たり障りない様に接してきました。ところどころ義兄からの失礼な言動はあったものの、夫と二人で「あれには少しムカついたね」と笑い話程度で終わっていました。

ところが、最近遠まわしに嫌がらせ？と思う様な事をされたり、こちらが話かけても無視されたりしてだんだん本気でムカついてきてしまいました。
返事をする事もありますが、夫や義姉の子を介して返事をされたりします。
夫や夫家族はそこまで気にしていない様子です。周りに思いっきり分かる様には無視や嫌がらせはしません。
義父母、義姉、義姉の子供達は本当にいい方達です。

義両親に会いに実家へお伺いしたいですが、私が行く時に義兄を良かれと思って義母が実家に呼んだりするかと思うと嫌で行きたくなくなります。
それを夫に相談してもいいものかどうかと困っています。
夫も前は義兄を「めんどくさい奴」とか言ってましたが、そこまで重い感じでは言ってなかったので、今更特に夫は実害を被っていないので蒸し返すのもなーとも思います。
家族の悪口は私も言われると嫌だなと考える事ができるのですが、自分の姉の夫の悪口を言われて夫が気分を害したりしないか、私自身兄弟がいないので分からず心配で相談させて頂きました。