主人の甥、姪との接し方

義妹に三人の子供が居り、毎週末（子供の習い事の関係で）実家（夫の両親と二世帯同居です）にやって来るのですが、一番下の姪は上二人の兄が習い事でいない時間帯はずっと夫にべったりな状態です。夫も甥、姪が凄く可愛くて仕方がない様です。

夫とは再婚（夫は初婚です）で私には子供が二人居りますが（高校生です）夫との間には子供が出来ません。再婚して二年半、病院にも通っていますが授かるまでに至らず最近は（自分の年齢のことも考えると）諦めた方がいいのかと思い始めています。

「子供は授かりものだから仕方のないこと」「自分達に子供が出来なくても俺には甥や姪がいるから」と夫は言っています。

夫が大切に思っている義妹や甥、姪。私も可愛いと思える時もありますが、自分達の生活圏に遠慮なしに入ってこられることにストレスを感じています。（以前夫には私の気持ちを伝えたことがあり、理解は出来ると言ってはくれましたが「だからと言って甥や姪と仲良くするなということか？」と聞かれ返答に困ってしまいました）

本当の親子以上に（姪は自分の父親よりも夫にくっついています）仲の良い姿を見てしまうと辛い気持ちになります。

かと言って毎週外出するのもバカらしいし、それで義妹や夫との関係がぎくしゃくするのも・・・と思うと八方塞がりでどうしたらいいのかと・・・。

こういう場合どの様な考え方（自分の心の持ちよう）をしたらいいのか？具体的に出来ることは何かあるのか？考えてみたのですが「これ」といったものが見当たりません。
どうしたら心を楽にすることが出来るのでしょうか？