義実家と近居について

はじめまして。夫と義実家ともめている件についてご意見をお聞かせください。

夫は一回り年上で義両親も高齢(75、70歳)です。
義兄夫婦に子供がおらず、義兄嫁は同居で失敗したバツイチ再婚で、同居・近居は絶対に無理とのことで、知らないうちに市内の離れた土地を終の住処として契約しました。

そこで、アパートに住む私たち夫婦(半年の子供あり)に近居するよう打診がありましたが、夫婦で意見が割れています。
夫は住み慣れた地域で、義父所有の田んぼを潰して建てれば土地代がかからない、面倒を見てもらえるという意見です。
しかし、義両親は高齢で足腰が悪いため、保育園の送迎も協力すると言っていますが、正直頼みたくありません。
昨今の高齢者による自動車事故を見ていると、車での送迎が怖いです。
しかも歩くのですら精一杯のため、子供の面倒が見れるのか？と疑問にしか思いません。
第一子のため今はまだ良いかもしれませんが、第二子と続けば80代になってしまいます。

実の両親は60歳のため、これまで頻繁に面倒を見てもらっているため、そちらに頼りたいと思っています。しかし、義実家と実家は職場を挟んで真反対の方向にそれぞれ車で50分程度の距離です。
私の実家の近くもしくは職場の近くを希望して話しているものの、夫は義両親の孫と過ごしたいという夢を叶えたいという一点張り。私的には高齢につき面倒を見れるのか？介護とダブルケアになるのではないか？と危惧しています。
義兄夫婦は市内の離れた場所にいるし、夫は仕事が忙しく7時に家を出て21時以降に帰宅します。そうなると、私にすべての負担がかかる気がしてなりません。(夫、私ともに同じ職場です)

一回り離れているため、義両親だけでなく、子供のいない義兄夫婦の面倒、義兄夫婦死後の家の始末、夫の面倒まで…と考えるとかなり辛いものがあります。なんでもいいのでご意見お待ちしてます。