離婚している義理の両親とのつきあい

30代専業主婦、主人と娘（2歳）の三人家族です。
主人の両親が小学生の時に離婚しています。義父は再婚して異母弟がいます。
義父、義母とも違う県で、私たちとも長距離の場所に住んでいます。
義父の再婚相手は人づきあいが苦手なタイプのようで、私から見ると二人の
関係があまりよくないように見えます。
一度帰省した時は、再婚相手に気をつかわせるのが嫌でホテルに宿泊しました。
遊びに行った時も、私たちの輪にはいらず物影から娘のことをすごい目つきで
睨んでいるのを見てしまいました（再婚相手の方の気持もわかるのですが）。
今後娘も物心がつくようになってくると再婚していることをどう説明してよいのか・・。

また義母はかなりだらしのない人で家事全般苦手で家に遊びに行くと、足の
踏み場もないくらい散らかり、お風呂はカビで真っ黒です。
お金にもかなりだらしがなく、主人にもお金を借りたりしています（もちろんかえ
ってきません）。
一度私に、「私は家事が嫌いでお金の管理もまったくできないの。だらしないのよね。」
と笑いながら話していましたが、まったく無神経で主人に恥をかかせている事が
腹立たしくて仕方がありません。

正直、主人には申し訳ないのですが義理の両親とは疎遠にしたいと思っている私は冷たい
人間でしょうか？遠い場所に住んでいるのでめったに会うこともないのですが、連絡を
とらない私がひどい人間なのかと迷うことがあります。