義母との付き合い方

結婚３年目、１歳の娘がおり、現在妊娠３ヶ月です。
義実家は車で３時間弱の所です。
よくある話ですが、上の子を妊娠している間に、義母が苦手になりました。が、産後、『長い付き合いになるのだから、直さなくては‥‥』と産後１年経たないくらいの時には、以前通り、普通に話せていたし、訪問時はパンを焼いて持って行ったりしていました。が、正月訪問を主人がが断ったのをきっかけに、義母から抗議を受けました。
これに対し、こちらが折れなくてはと思い、義母への不満など一切伝えずに謝りましたが、「切れる縁があっても良いと思っている」と言われました。
すごく、ショックでしたが、私自身、切れる縁ではないと思っているし、主人に悪いとも思うので、構えずに付き合っていけたら、と思ってはいるのですが、どうしても引っかかる事があり、距離を置いてしまいます。

義母は、義父の実家と縁を切った人です
主人は裏表のない人で、「父親のおばあちゃんに会った記憶がない」「おばあちゃん、生きてるかどうかもわからない」と話してくれました。また、婚姻届を提出する際の書類を揃える為、主人と一緒に市役所に行った時、主人が「お父さんと、お母さん、、、離婚してた」と、驚いていました。（もちろん、私も驚き実両親には伝えていません）

私の実母は同居で、かなり強烈な嫁いじめにあっていましたが、耐えてきた人なので、義母をどうしても、尊敬出来ません。

だからと言って、私も同じように義実家と距離を置いてしまう事になると、義母と同じコトをしているんだな、と思ってしまい、罪悪感が出てきます。ですが、なにか、気に入らないコトをしたら縁を切られる恐怖があります。切られたら楽だろうとは思いますが、娘に対して良い状況ではないと思うので、それは避けたいです。
これから、義母への気持ちの割切り方が、自分ではわかりません。
何か良いアドバイスがあったら、よろしくお願いします。