義兄の言動が理解できません。

皆様はじめまして、マットと申します。少々混乱してまして文面がおかしくなっているところもあるかもしれません。

子供３人の５人家族です。半年前に傷病で休職しリハビリ中です。
妻の両親の申し出も有、私の体が回復するまでの間は妻の実家で同居することになりました。
実家は私達５人が入居しても余裕があるほど大きく、私の体調が回復するまでの間だけお世話になる事を同居する前に隣町に住んでいる義兄へ連絡したのですが返事はありませんでした。義姉、義弟からはＯＫ！の返事が有、問題ないと思っていました。

しかし、義兄が同居を快く思っていません。義兄と義父は不仲で他の兄弟達とも距離を置いています。

義兄が快く思っていないのは私（赤の他人）が住むことです。
元々十数年前私達が結婚することも快く思っていなかったそうです。
私が嫌いなのは分かっていました。（理由は恐らく私の職業だと思います）

直接は言ってきませんが、間接的に聞こえてくることが
『離婚して自分の実家へ帰れ』
『体調不良は理由にならず、ただ怠けているだけ』
『財産を狙っている』
等々・・・妻の親戚達へ風潮しているようです。

しかし先日、何処で調べたのか私の妹の勤務先に義兄から電話があったと私の両親から連絡がありました。妹は不在で電話対応者に当り散らして電話を切ったとの事でした。妹は義兄を知らないのでイタズラだと思い、上司にそのように報告したのですが気になって両親に相談したそうです。

余計なことをして義兄を刺激しないように黙認？無視？とにかく関係がおかしくならないようにと考えていました。
しかし、まったく関係の無い妹、妹の勤務先の方々にまで迷惑をかけてしまいました。

まだ、妻や義父、義母には話していません。
義兄は悪人ではないのですが気難しい人です。
いい解決方法は無いでしょうか。