これからの義実家付き合いが不安

こんにちは。
タイトルの通り、義実家と主人の兄夫婦との付き合いについて、不安があるので相談させてください。

私と主人は恋愛結婚ですが、結婚の挨拶をする際に私が相手の両親から反対されていました。
理由は占い師に私はよくないと言われたからだそうです。
それを聞いて彼の両親と会うことはありませんでしたが、彼のことは好きだったのでその後も付き合っていました。
しばらくして、妊娠してしまい、結婚することになりました。
出産もあってバタバタしていたので、反対されていたことについて特に話し合うこともせず、あっという間に一年が過ぎました。

その間、主人の兄が結婚しました。
私の時はあれだけ結婚に対してナーバスだったという(主人の言い分)義両親が、すんなり認めたそうです。

そのことについて、義両親や義兄は、私がそのことを妬んでると思い込んでいる風で、疲れます。
特に嫌だったのは、義兄がお嫁さんに、私が結婚に反対されていたことを話していると知ったときでした。

結婚が決まってからは一転、義両親は私や主人の前では、最初に紹介された時から気に入っていた、ウチは占い師なんて信じない家だとか言い出したので、私は義両親に対して不信感でいっぱいです。

義兄とそのお嫁さんからも、微妙な居心地の悪さを感じています。

ひたすらこの人たちと距離を置きたいと思いつつ、これから一生お付き合いがあるのかと思うとそういうわけにもいかないのかなと。

どう振る舞えば義兄夫婦と関係がよくなる＆私のストレス溜まらないでしょうか？？