義両親宅と自宅を交換して住むことについて

現在夫婦(30代後半)・子2人(5才・2才)の4人でマンション(分譲)に住んでいます。 車で15分ほどの所に主人の実家(築古2階建て持ち家)があり、義両親(60代後半)が住んでいます。 上の子が小学校入学前に双方の住居を交換しようという話があがっています。 こちらの家はマンションで家の中に申し分はないけど、地域的に環境があまり良くなく、できたらここで子育てはしたくない。 義実家は足が不自由な舅がおり、築古の家での生活が不便になってきたのでできればマンションなりワンフロアーのところに住みたい。 と言うお互いの要望から話が進んでいきました。 ちなみに義実家の地域は治安も良く教育環境の整った所です。 自宅マンションを売って新たにどこかで購入することも考え不動産屋に相談しましたが、ちょっとした車ぐらいの金額しかつかず残債が大いに残るので新たなローンを組むのも難しく。 義実家は家のローンは完済しているようですが、昨年少しリフォームをしたみたいでそのローンが少しあるそうです。 双方余分なお金がなく新たに大きな買い物もできないので、ローンや固定資産税等の支払は現状のままで(光熱費や通信費等日常のものは除く)、お互いの住居だけを交換したいと考えています。 その場合、どのような手順で進めていけばよいのかまったく分からず、また相談もどこにすればよいのか分からずこちらに書かせていただきました。 いい年して無知で恥かしい限りですがご教授いただけますようお願いいたします。 追伸：「結婚して子どもができることを前提に考えてたら、まず治安悪いところに家は買わんだろう」と思われるかもしれませんが、これも夫婦の無知が故のことと重々承知なので、そこは触れないでいただければ幸いです。