別居中の夫や夫家族と関わらないでいられる方法を教えてください

夫が会社の同僚と浮気している事が発覚し、１歳８ヶ月の息子を連れて実家（お金がないので、亡くなった祖父母の家があるので、そこで生活しています）に戻って来ました。 夫は反省もしていなくて、夫の母も若いからね～と言う始末。 夫は、この先も浮気を続けると思うし、離婚したくて戻って来ました。 離婚調停にかける予定です。 夫とも夫の家族とも会いたくないのですが、家を知られてしまっているし、突然来られても会いたくないのですが、どうしたらいいですか？ 何かいい方法があれば教えて下さい。 宜しくお願い致します。