義父とのつきあい

一人暮らしの義父ですが、同居はせず同じ市内に住んでいます。主人は三男で長男、次男は遠方に住んでいます。義父は多分悪気はないと思うのですが、主人の食事の姿をみて「飯食わせてもらっていないみたいだな」と言ったり、いらないもの（期限切れの食品など）を渡されたり、他のお嫁さんの悪口を聞かされたり（自分も言われてると思いますが...）辛くてあまり会いたくありません。盆、年末、正月、誕生日は実家に行ってます。あまり親子の会話はないようで向こうから来いといわれることもありません。主人もあまり連絡をとりません。（兄弟みんなそのようです）一人暮らしで申し訳ないですが自分で好きに生活していますし私から連絡をとったり、私一人で実家に行く必要はないですよね。ご意見よろしくお願いします。