子供のお泊り

３０歳主婦です。
以前から子供を義姉の家に泊まらせる提案が度々ありましたが、断ってきました。
なぜかというと以前から義姉に嫌な言葉を色々と言われており、「背筋の寒くなるほど嫌いな人」になってしまっているからです。
　
旦那の実家に同居しているので、義姉と子供（子供だけの時もあり）は泊まりに来ることもあります。義姉の子供は本当にかわいくて、遊びに来た時は自分の子供と一緒に連れて出かけたり歓迎しています。義両親には恩があるので義姉ともギクシャクしたくないという気持ちがあり、表面上ですが顔を合わせた時は会話もしています。

なるべく波風立てないように生活していきたいと思っているのですが、子供を義姉のところへ泊りに行かせるのが嫌で嫌でたまりません。

私はそう思っているのを旦那も知っていたのですが、話し合いもなく勝手に義姉の家に泊まりに行くことを決められてしまいました。子供が喜んでいるので反対できず・・・旦那に気持ちをぶつけたところケンカになってしまい、旦那は「自分勝手な気持ちで、うちの親戚関係をメチャクチャにしている」と怒っています。

旦那の言い分もわからなくないのですが・・・大嫌いな相手の家に子供が泊まりに行くのが耐えられないのです。こんな私は幼いですか？どんな風に気持ちを切り替えたら良いですか？アドバイスください。