義父と離婚した義母…教えて下さい

私は結婚2年目で子供が２人います。旦那とは付き合ってから７年になりますが、結婚する1年くらい前に旦那の両親が離婚…旦那は１人息子なのでそのまま義父のところに残りました。と言っても私達は付き合ってる時からアパートを借りていて同居はしていません。義母はアパートを借りパートをしてるのですが、最近子供が大きくなってきたら急に孫に会いによくくるようになりました。旦那は仕事で一週間に一度くるかこないか、旦那がいなくても２時間とか遊んでいきます。ですが、私的には義母がいないからと89歳のおばあちゃんや義父からしょっちゅう電話がくれば相談に乗ったり会いに行ったりと、子供二人共、妊娠中に精神的に苦労し切迫早産で入院(泣)その辺りは義母からも知らぬ顔、最近はお婆さんや義父の事も関係ないといいながら私のとこに平気でくる事に苛立ちを感じます。旦那に相談し、あまり行かないように旦那が義母に話したら毎日家の前をストーカーみたいに通り…義父は捨てて私(義母)と暮らそう、私(義母)が孫みるからあなたは働いてと勝手な事ばかり。旦那の家に嫁いでも義父以外に別れた義母の面倒まで見なければならないのでしょうか？