このモヤモヤは何でしょうか～父と女性と時々母親～

ものすごくモヤモヤして気持ちの整理がどうしても一人で出来ません。 相談に乗っていただきたいです。 機能不全家族のような家で育ちました。 母はお金大好き家事大嫌いな女性で、気づけば家庭は崩壊していました。 父は女を作り、母も父以外の男性の話をうかれてしていました。 兄弟はみんな地元から逃げ出しました。 私も、里帰り出産もせずに実家と疎遠にやってきましたが、二人目妊娠では無理がたたり体と心を壊しました。 父が心配して、私と子ども達を実家へ連れて帰りましたが、実家が汚部屋で戻れず、祖母の家に身を寄せました。 しかし、祖母がまた強烈な性格で、私はさらに心身を病み、父の暮らす家へと収容されました。 その家は、父が愛人と建てた家でした。 愛人さんはとってもいい人で、多分本当の母親というか姉がいたらこんな感じなのかな？里帰りをするママ友が「実家は天国だもんね」と言ってるのはこういうことかなという生活をしました。 父は子煩悩で明るい性格で、子ども達にも陽気に接するので、子どももよくなついています。 私も、心と体をいやしてもらいました。 最近、やっと体を心に余裕がでてきて、嫁ぎ先での生活も順調に運び出しました。 が、父がまた「遊びに来い」「迎えに行ってやる」と催促します。 子どもも懐いているし、私自身も行けば楽できるのはわかっているのですが、、、 行き先は、父と愛人の家です。 父と愛人さんの生活は、おだやかでラブラブで温かい家庭って感じの雰囲気です。 愛人さんは嫌いではありません。 父も孫に会いたがっていて、孫も父に会いたがっています。 ですが、正直、私は今は行きたくないのです。 籍を入れずに、愛人さんと暮らす形態を認めて、父の思うとおりになるのがいやなのです。 いやなのです。 私は、どうしたらよいのでしょうか・・・。