結婚後の生活について悩んでいます

会社で知り合った彼と婚約しました。二人共20代後半です。会社地域の環境に馴染めず、また、仕事の悩みから過去うつ病で休職した経験があります。一度体を壊した経験がありますし、家庭との両立の自信がなく、派遣社員で彼の勤務地近くで仕事をして行きたいと思うようになりました。彼も意見は一致しています。彼の職場は自然に囲まれたとても良い地方にあり、私は大好きです。
しかし、彼のご実家の事情で最近になって、彼のご両親や親戚から実家近くに戻ってきてほしいと言うことを頻繁に言われるようになりました。彼のお母様はシングルマザーで彼と兄弟を育て、現在は認知症になりかけた実のお母様の面倒もみています。ただ、私事で大変恐縮ですが、私はどうしても彼のご実家の近くに戻ってくることは嫌です。（彼のご実家と現在の勤務地は近く）体調を崩した苦い経験もあり受け入れ難い。彼は実家に戻る気はないと言うものの、親戚やお母様の前では『実家に戻ってもいい』と簡単に言います。私が過去うつ病に苦しんだという事実も、「話すことでも…」と彼はいっていて、お母様には話していません。自分勝手な相談で大変恐縮ですが、アドバイスを頂戴できれば幸いです