義兄が干渉してくることについて

私と主人は結婚して2年、子供はおらず共働きで生活をしています。
主人の家庭は元々はとても裕福な家であったそうですが、義父の金遣いが原因で破産し、借金やローンのため入籍するまでの約5年間、主人と義兄毎月各12万程度の仕送りをしていたと聞きました。今は義父も復職し、義母もパートでなんとか暮らしているそうです。

入籍前は義両親について発言や態度が気になる部分がたくさんありましたが、いろんな人がいるからとあまり深く考えていませんでしたし、主人からも「結婚式までは我慢してくれ」と言っていたため、主人さえしっかりしていればと結婚に至りました。

結婚してから義両親が私に対して良く思っていないということに確信を持ちました。
理由は実家裕福であること、私が中高時代に部活をしていなかったこと（人との関わり方を知らない、時間を無駄に使っていた）など不満があるようです。
この内容は主人と義母が電話で話しているのをスピーカーにしてもらい聞いていました。

直接私へ電話して言ってきたり、私の実家へ手紙を書いたり、私たちの新居へ勝手に来ようとしたりと行動が広がってきたため、主人に間に入ってもらい、今後一切連絡を取らないというようにしてもらいました。そうすると、主人に対して「あなたたちのせいで心筋梗塞になりそう」「あなたたちの結婚のせいで義父から離婚を切り出されてしまった」「貧乏な親を見捨てるなんて」など義母から手紙が来るようになり主人も絶縁に近い状態で親戚らの冠婚葬祭以外は顔を出さないと決めたそうです。

これらのことを義兄は伝えたのですが、盆と正月は夫婦で顔を見せろ、4月に引っ越す新居の住所を義実家が知らなかったから伝えておいた、会ったことない親戚でも妻なら葬式に来いなど理解が得られません。俺が間に入るから関係を良くしろなど私も注意をされました。

義兄と今後どのように付き合えば良いでしょうか。