義実家近くに家を建てないのは親不孝？

この度マイホームを建てました。
夫の実家まで車で40分、私の実家まで車で20分の距離で、どちらも同じ市内です。
夫の実家近くは土地が高いこと、私の実家から資金援助があったこと、好条件の土地が見つかったことが重なり今の場所に決めました。

義母は不満な様子を見せながらも決めたなら仕方ないねと言ってくれましたが、後日義妹から、義母が私達の新居を快く思っていないと言われ、親不孝者だと言われました。

義父は施設に入っており義妹はバツイチで義母と2人で暮らしています。
義妹の考えは、夫は長男で実質ひとり親なのだから実家近くに住むのは当然、いずれ義母と同居することになったら土地勘のない所に住まわせるのは可哀想というものでした。

義妹は結婚していた時から元夫の実家にはほとんど顔を出さず、義妹のお金の浪費が原因で離婚となりました。自己破産寸前のところを義母が全て肩代わりし、今は週2のパートをしながら生活費も入れず同居しています。
フルタイムで働くのは嫌だそうで、家事も全て義母任せの生活です。

そんな義妹にそこまで口出しされないといけないのかと私も不満なのですが、夫は輪をかけて怒り心頭の様子で、もう半年以上義実家に行っておらず連絡も取っていません。私にも連絡しなくていいと言いますが、自分達がとても悪いことをしている気がしてモヤモヤします。

また、夫は義母と同居する気はないそうで、ましてや義妹の面倒まで見る気は到底ないと言っていますが、この先義母が亡くなって義妹が一人になった時に見捨てることができるのか、将来私達の子供に迷惑をかけることにならないか、今から考えても仕方ないことですが心配です。

このまま音信不通の関係を続けていいでしょうか。自分の中で、親不孝と言われる程の酷いことをしたのだろうかと答えが出らずモヤモヤしているのだと思います。
皆さんのご意見を聞かせて頂けると嬉しいです。