同居＋義理父の交際について

現在、主人と息子(１歳)と、義理父との同居。主人の両親は離婚しています。今から約2年前に、義理父に彼女ができました。その相手は家族がいるので不倫です。毎日２人は会っていて、週末には家にも出入りしてます。相手の女性は旦那が単身赴任で家におらず、２人の子供と一緒に住んでいます。子育てで口出しされたり、義理父の行動を教えて欲しいとよく連絡も来てました。もともと主人の両親が離婚してからも、よく付き合っていた女性を家に入れていたと主人から聞いており、主人はそれが当たり前になっているようです。なので、子供が生まれたときに、やめて欲しいと言っても、今まで義理父の言う通りにしてきた主人は私の気持ちを聞いてくれることはありませんでした。同居してるのに、週末になれば、連絡してきて何してる？？夜ご飯一緒に食べんか？？などが毎週続きました。もちろん彼女も一緒にですよ。私はそういう家庭に住みたくないし、子供にも複雑な環境で育てたくありません。主人はそういう環境が普通だったので、理解しているつもりですが、受け入れることはできません。そして、義理父は私の意見も聞かず自分の意見を押し付けます。