婿を迎えたけど実家を出たいです

私自身2度目の結婚、6歳の娘あり。 実母、実祖母と暮らしています。 最近籍を入れ、2度目となる婿を迎え入れました。 前回は婿を入れ1年で離婚しています。 離婚してからは実母が父親変わりのように、娘の世話を一緒にしてくれていました。 元々は祖母、母、私、娘の4人暮らしです。 入籍して間もないですが、元々あった願望ですが家を出たくて仕方がないです 元々家族仲が良いとは言えず、母や祖母に対する葛藤を抱えながらずっと過ごして来ました。私は実家を出たことが無く、また家業をしており継いだ方が良い立場です。 前回の結婚でもそうでしたが、今回も入籍し婿が入って来たとたん、自分でも理由が良く分からないのですが私自身の居心地が悪くて仕方ないです。 旦那、娘、私の3人で過ごしている時はとても和やかに過ごせるので、できれば他家族の介入無く自分達で好きなよう過ごしたいです。 家を出たい旨を母に話したところ、「そしたら私達（母、祖母）の老後はどうなるの？祖母と2人きりの生活なんて耐えられない（母と祖母は不仲）」と釘を刺されてしまいました。 入籍する以前、普段過ごしていても私自身母と祖母が不仲なことが耐えられず何度も仲を仲介してきました。しかし2人が仲を取り戻そうとすることはしません。 母も孫（私の娘）を親のように可愛がってきたので、確かに引き離してしまうのは酷かな？とは思います。 しかし私自身耐えられないし、新たな家族と幸せを手にしたいです。 どうしたらいいのでしょうか。 助言を頂けたら幸いです。