定住先が決まらない

将来的に定住する場所で妻ともめてうんざりしています。 私は実家が遠く、仕事で赴任している今の地で地元の人（妻）と結婚しました。私、３３歳、妻、３０歳。 子はまもなく３歳になる長女と、０歳の次女の２人の４人家族です。 付き合っている当時から、仲のいい母子の状態が気にかかってはいたのですが、結婚しても変わりませんでした。 特に、子供が生まれてからは、自宅（賃貸マンション）にいると疲れるからと言っては、毎日のように実家に行っています。 私も仕事が忙しく、帰りも早くはないので、育児が大変な妻に、ある程度は実家に頼ってしまうのも仕方がないと思い、あまり規制はしませんでした。 休日はできる限りのことはしてきたつもりです。 しかし、長女も幼稚園や、学校に上がる年齢が徐々に近づいてきて、将来的に定住する場所をきめなければならない時期になり、もめごとが始まりました。 妻の実家は土地持ちで、お金がもったいないから、実家の真横に家を建てたいと言い出したのです。 私としては、古いかもしれませんが、一応長男でもあり、自分の実家に対してそんなことは言いにくいし、なにより、私自身が事実上の同居状態になること が目に見えるような場所に家を建てたくないのです。独立したからには当然だと思ってます。別に妻の両親と折り合いが悪いわけではありません。 妻は、お金も助かるし、母に子供を見てもらえば自分も働きに出られる。その結果、私の実家に帰省する回数も増やせるともっともな言い分を言ってきます。 妻の両親も、何も言わず、住みたければどうぞ状態。 何か、私一人が反対していて、悪者かのような感じで、うんざりしています。 ただ、子供は本当にかわいいので、離婚とまでは言いたくありません。 どうしていいかわからないので、投稿してみました。アドバイスいただければと思います。