ワガママな嫁でしょうか？

私の家族は夫・子供１人（幼稚園）の３人で、アパートに住んでいます。
うちから徒歩３分に夫の実家があり、舅・姑・小姑（夫の姉）・小姑の子供１人（幼稚園）が住んでいます。
小姑は７年前に結婚しましたが、結婚後も一度も実家から出ていません。
小姑の旦那さんは一人暮らしをしています。

私たちは近いうちに引っ越すことになり（理由は周辺が不衛生で、私が引っ越したいからです。夫や子供は引っ越す必要は無いと思ってるみたいですが。）、どこにするかで夫と意見が合いません。
夫は今と同様に実家から近い所がいいと言います。逆に私は少し離れた所がいいのです。

理由は、義理の実家の人たちと頻繁に会う為、気を遣い疲れてきたからです。

以前は週に1度のペースで実家に行き、ご飯を食べたり、買い物に出かけたりしていました。
その時は必ず小姑・小姑の子供も一緒でした。

最近、子供が幼稚園に入ってからは夫と子供だけ実家に行ってもらうこともあり、私が頻繁に行くことはなくなったのですが、夫は「嫁のくせについてこない。たまには顔を見せるとかの親戚付き合いは必要だ。」と言うので、少し肩身が狭いです。

そして今、私の子供と小姑の子供が仲が良く、最近よく遊ぶようになってきました。
そうすると今よりもお互いの家を頻繁に行き来するようになり、幼稚園の降園後、幼稚園のない土日はいつも一緒に行動するのが日常化するのではないかと考えています。（夫はそんなことは無いと言ってますが。）
子供が遊ぶ際は母親の私がついていなくてはいけないし、夫は子供たちの面倒はみないと言ってます。

引越し先を実家から離れた場所に、と思うのはワガママでしょうか？
皆さんの意見を教えてください。
よろしくお願いします。