義実家との関係

2歳の娘と、夫の3人暮らしです。 義実家との関わり方について、悩んでいます。 義実家とは徒歩5分の距離。 結婚当初は、月に二回ほど、お夕飯を頂いたり、夫と義実家へ行くことがあったのですが、義姉が仕事を辞め、義実家へ帰ってきてから、関係性が崩れました。 私たち夫婦が義実家へ出向くこと、義実家と関わることで、義姉が塞ぎ込むようになったから、あまり関わりを持たないようにしてね、と義両親たちに言われました。 それと同じ時期に私の妊娠が判明しました。子供が産まれたら、どうなるのだろう…と思っていましたが、産まれてから1年。近くに住んでいるのに、孫の顔も見せに行かず、夫婦2人で協力し合って生活をしていました。 家事や育児を手助けしてもらいたい時もありましたが、義実家に行かなくちゃいけない、という義務感もなかったので、気持ちが楽でした。 娘が1歳を迎える頃、義姉が仕事を始める事になりました。 すると、連絡すら取っていなかった義母から、孫と会いに来て欲しい、と言われました。 ですが、義姉が家にいる時は、今まで通りで、という条件でした。義姉が仕事の日に、週に1度定期的に娘と会いに行く事になったのですが、どうしてもお互いの予定が合わず、行かない日が続くと、もっと孫に会いたい…と泣いて訴えてくるようになりました。 可愛い孫に会いたい気持ちはすごく分かるのですが、あちらの都合で、私は出入りを制限されたり、助けを求めても断れる。かと思えば、今度はもっと会いに来て欲しいと言ったり。 振り回されてる感が否めません。そんな私の気持ちを義実家に伝えていいのか、飲み込むべきなのか分かりません。素直に、娘を会わせたい！と思えない私はワガママですか。