元妻と相手の男性で悩んでいます

元妻と暮らしてる子供2人のうち、下の子（小学校5年）を連れて離婚原因になった相手男性と暮らすと言っており、子供も同意していると言っています。上の子（中学2年）は絶対に行かないと言っており、じゃ娘は任せるけど下の子は連れていくといっており、元妻の親も同意しているとのこと。理由は、現状では良い職場がないが、相手の地域であればよい職場があるとのこと。親権は私ですが、離婚時に今のところで子供と同居を前提に監護権を与えたのですが、子供が同意していることを条件に受け入れません。下の子の本心は行きたくないということを何度も聞いているのですが、今は膠着状態になり、子供と会わそうとしません。子供と同居しているところは私の名義です。子供の生活環境を維持し、離婚したことをしられたくないとの娘の強い要望があったので、相手への慰謝料請求もなにもせず、ローンも私が払うという条件で今の所に暮らしてもらい、協議書を交わしました。これまでは週末は私が子供の養育をし、さらに平日も元妻の都合により、家に行ってご飯を作り炊事洗濯もしていたのですが、この話になってから同意しない限り子供に会わせないと言ってきます。子供とは自由に連絡を取り、会えるということを記載しているのですが、八方塞がりです。相手男性への慰謝料請求しないという念書や、下の子が18になれば親権をわたしてもいいから子供の生活環境だけは変えないでほしい、特に下の子はサッカーチームに入っていてものすごく頑張っているのを知っています。なんとか今の生活環境だけは維持させてあげたいのですが、どうしたらいいでしょうか？子供のためならなんでもする覚悟です。いい考えがあればお願いします。