義実家との距離感

ご相談です。長文になりますが、すみません。

結婚して半年ほどの30歳同士の子なし夫婦です。

現在私の実家よりのアパートに暮らしていますが、子どもが生まれるか結婚して３～４年経過したタイミングで、旦那の地元へ引越すよう旦那と義両親から言われています。

最近旦那は早く義実家の近く（義実家から徒歩３分のところにある義実家の土地）へ家を建てたい！と言い出すようになりました。

ですが、過去に結婚する直前に、どこに住むか私達夫婦と義両親で揉めてしまったことがあり（義両親は長男である旦那を自分たちの目の届く範囲に常に置いておきたかったのに私達夫婦は反対した）ある日突然呼び出され、一言目に「わたしたち夫婦があなたを選んだ訳じゃないからあなたはもう一度結婚を考え直してもいいのよ」等傷つくような言葉をつらつらと義母から言われたことがあり、ショックのあまりそれ以降義両親へ心を閉ざしてしまった私がいます。

その後も「長男である旦那くんは一家の主役だ（姉二人いる）」、「考えたんだけど嫁（私）さんの両親の老後はうちの近所に引っ越してくれば嫁（私）さんも安心だと思うわ」「今実家よりのアパートに住んでることによって、嫁（私）さんの両親がいつまでもここに暮らしてほしい～と言わさないようにしてね」などの発言があり、不信感で一杯です。

近くに住むのは夫婦間の結婚生活を上手くいかせるためにも反対なので、せめて車で15分程（町内は違うが地元は同じ）の程よい距離感で暮らしたいなと思っています。

旦那は義両親の教えのもと育ってきたので、上記の件も「これが○○家の考え方なんだ！」と開き直ってしまい、私がスープの冷める距離がいいと言っても聞く耳を持ってもらえません。

旦那に私の心情を理解をしてもらう方法はないでしょうか…
結婚したものの、幸せな家庭を持続できるのか不安でなりません。