わたしはわがままですか

こんにちは。誰かに聞いてもらいたくて投稿しました。
私は夫と2人の子ども、夫の両親と2世帯住宅で暮らしています。夫の両親とは関係は悪くなく、特に問題なく過ごしていました。
夫には2人の姉がおり、2人とも結婚して家庭を持っています。最初は県外や隣町に住んでおり、なんとも思っていなかったのですが、2年前に一人が近所に、もうすぐもう一人の義姉が隣に家を建て引っ越してきます。
夫家族は仲が良く、義姉たちは毎日実家に子どもを連れてきており、義母と義姉はいつも一緒に買い物に出かけています。よく、全家族が集まって食事をすることもあります。
私はいつも疎外感を感じ、義姉たちが来ることや、家族で集まって食事をすることが嫌です。夫には少しそのことを話したことがありますが、「それは●●（私）が仲間に入れないのが悪い」「ひがみか」と言われ、そこから何も言えなくなりました。
夫が事業をしているため、一人の義姉は仕事も一緒です。子どもの年も近く、義母は私の子どもと義姉の子どもの名前を間違って呼ぶことがあります。一緒に住んでいるのに、私の子どもよりも義姉たちの子どものことのほうが詳しく知っています。私が妊娠中、重い物を運んでいても知らないふりをしていたのに、義姉の時は走って荷物を取りに行ってました。
これを書いているとやっぱりひがみなんかなと思います。夫の言う通りなんでしょうか。誰にも話せずつらいです。