義父母へどう言ったらいいのか・・・

現在義父母宅の近所(自転車で10分ほど)に住んでいます。 夫の親戚がまわりに沢山住んでおり、４年前に結婚したときはあまり深く考えずにこちらに住んでしまいました。 ２歳の子がいますが、子供が生まれてから義父母も孫に執着し、付き合いが辛くなってしまいました。 もともと人付き合いが苦手です。親戚たちからも事あるごとにお声がかかり、週末などは義父母一族に付き合うことが多く自分の両親には年に数回しか会わせてあげられません。同じ23区内に住んでいるというのに。 主人は優柔不断で揉めたくないために義父母の言いなりです。 私は心が不安定になってしまい、病院に行ったら心療内科を勧められました。 主人もさすがにおかしいと思ったのか私のことを気にはしてくれますがどうしても義父母に強く言われると誘いを断れません。 そこで二人で話しどこか少し離れた所に引っ越そうということになりました。 揉めないようにしたいのでなんとか円満にいく当たり障りない理由をつけたいのですが良い理由が思いつきません。 何か良い理由はありませんか？知恵を貸して下さい。 ちなみに主人の会社は15分と近いです。