義実家との付き合い方

結婚して1年経ちますが、義実家との付き合いがほとんどありません。会ったのは結婚の挨拶、両家顔合わせ、義祖父の葬式の3回のみ。挙式は行いませんでした。主人は2ヶ月に一度くらいで実家に帰っていますが、私も一緒にとはなりません。嫌われたかと思いきや、実際に会うと特段普通で何ともありません。

一方で私の実家には何度か一緒に帰っています。特に無理して会う理由もないですが、私たちの住まいから義実家まで車で20分ほどの距離なので、行こうと思えば行けます。主人は嫁も連れて行っていいか？と何度か聞いているようですが、義実家が汚すぎて人を呼べない、会うなら外でと言われるそうです。

以前に昔住んでいたという家の写真を見せてもらったことがありましたが、正直かなり物が溢れており行くのは遠慮したいなと思ったことがありました。実母に少し話した時は少々驚かれつつも、やたらと付き合いがあるより良いと言われました。しかし、あまりにも何もなくどうして良いか分かりません。連絡先もお互い知っていますが一度も電話が来たこともしたこともありません。
その付き合いでも良いのでしょうか？