同居の兄弟がいる場合に、子供を預けることについて

私は、義理の実家から車で１５分ほどの距離に住んでいます。自分の実家は飛行機の距離です。

義兄家族は子供が一人。
同居ではないのですが、近くのアパートに住んでいて平日も毎日実家にやってきて時間を過ごしたり、食事をしたり、週末もずっと実家で過ごしているような状況です。
９０％くらい同居のような状態です。
義兄の収入が不安定なので金銭的援助もかなり受けているようです。
義兄のお嫁さんは頻繁に子供を預けて外出したりかなり子育てを手伝ってもらっていました。

狭い家ですし、今までは義兄たちに遠慮して、私たちは実家にはあまり行きませんでした。
何より義兄のお嫁さんが、縄張り意識の強いひとで私たちがたまに来ると不快そうな態度をとったり、姪が私たちに懐くと、なぜか敵意を丸出しにする変わった人なので、行きたくなくなりました。

しかし、私たちにも子供が生まれて、病院や用事があるときに少し子供を預けたいという思いもあります。特に私の実家は遠方のため頼ることができません。
義父母との関係は別に悪くないので、お願いしたら喜んで預かってくれるとは思うのですが、義兄家族のことがあって、子供のことが心配だし預けないほうが無難なのかなと悩んでいます。

同居している兄弟姉妹がいる家に、子供を預けるのは普通は遠慮すべきものなのでしょうか？