引っ越し先、夫をたてるには…

現在、独身時代に私が購入したマンションに夫と子供３人で住んでいます。
９年前、私は自営で少々普通のOLよりは収入があったので思い切って高額なローンを組み、管理費や修繕積立金等がちょっと高めのマンションを購入してしまいました。

ですが、主人と知り合い子供が３人も生まれ経済的にも厳しくマンションを売ろうと考えています。

主人には結婚前からの借金があり、それと主人はバツ１で前の家族で住んでいたマンションがあったのですが、それを整理する際ローンの方が多く残り、私と私の実家が援助した経緯があり、現在もまだ他の借金はあります。

出産や子育てが忙しく私の収入が激減し、マンションを売ろうと思っていると私の実家に告げた所、「せっかく購入した好条件のマンションなんだから、おまえがちゃんと働けるまで少し援助するから子供が保育園に入れたら仕事を頑張って現在のマンションを維持できる様にしなさい」と言われ、恥ずかしい話ですが、半年間実家に援助してもらいました。ですが、長男と３人目は保育園に入れたのですが、２人目の息子が待機児童となり思った様に私も仕事ができずやはりマンションを売ろうと考えています。

そこで、今主人はかなり落ち込んでいます。自分のせいで私の財産（マンション）を失わせてしまったこと、また私の実家にも多大な迷惑をかけてしまっていること。男として情けないと感じているようです。今住んでいるマンションは本当に立地条件が良く住み心地も◎！引っ越した場合は必ず今以上の所には住めないからです。

私はできれば同じ市内で新しい住居を探したいのですが、主人のことを考えたら実家から少し離れたり、職場の近くの方がいいのでしょうか？
（職場は原付バイクで４０分程度）

奥さんの実家の近くは男性にとってあまり心情的にいい気はしないものでしょうか？
私は家族５人で元気に笑顔で暮らせるのが一番と思っています。