私の実家との同居について。

現在は、夫、二人の子供とわんこが二匹でどちらの家にも同居はしておらず賃貸に住んでいます。 ですが、2年前に私の家を建て直し新築を建てました。 当時は、 そこに私の両親が住む予定だったのですが(父のみ)複雑な家庭で、離婚はしてないですが夫婦別居していて、母親はたまに顔を出す程度の予定でした。 ですが、現在私の父は単身赴任で新潟に行っていて誰も住んでいない状況です。 そこで、最近私の母も父もそこに私たち夫婦が住んだら？といってきます。 父が単身赴任から戻ったら、一部屋だけあれば俺はいいと言っていたので同居のような形になります。 ですが、単身赴任からいつ帰ってくるかははっきりと決まってません。 確かに、私の母が言う通り、幼稚園や学校も多く子連れの環境にはいいのですが 一番のネックは私の母親なんです。主人も、それを気にしてます。 父親は問題ありません。 あとは、今以上に自由がきかなくなるなと。 昔から母親とは合わず、里帰りをした時も自分は何も手伝わないくせにあれやこれやと口出しをするばかりで、息苦しくなり主人に迎えに来てもらって一ヶ月もいないで帰ってしまった感じです。 なので、たまに帰る程度がどのくらいかはわかりませんが、結果同じようになるのが見えており、私は主人とこのままひっそりと静かに暮らしたいなと思っています。 でないと、逆にストレスになると思ったからです。 今すぐにと言われている話ではなく、今は誤魔化しの返事をしてる感じなのですが、どうにか上手く断る方法はないでしょうか？ 父親にはこの事を正直に言ってもいいとは思うのですが、私の母親の性格上自分がこうと決めたら聞かないタイプなので。 主人は、私が良ければどちらでも決めていいよと言ってますが、私自身が嫌で断りたいです。 長く書けないので、だいぶ省略しましたのでわかりにくかったらごめんなさい。 良いアドバイスをお願いします。