誘ってもらっても無理

主人の従兄弟から食事や外出の誘いが多すぎて困っています。 兄弟のように育った人で（以後Aさん）旦那も嫌いじゃないけど変わったやつというのは聞いていました。 結婚してから毎週末私達夫婦とAさん夫婦で食事に行こうと誘われて回数が多すぎて主人と私が喧嘩したこともありました。 主人が断り少し回数が減ったと思ったのですが、お互い子供が生まれてからまた誘われるようになりました。何度かは出かけたりしましたが、子供同士があまり仲良くならずうちは習い事で週末が忙しくなり断る回数がさらに増えました。 上の子がそれぞれ高校生、中学生になっても一緒にバーベキューとか言ってきて、さすがに主人も『もう子供と一緒に出かけるのも難しいからバーベキューなんて無理』と強く言ったらしいのですが響いてない様子です。 なんとか調整してよーと軽くかわされるとの事です。 奥さんからはあの人（Aさん）は自分が思ったらなかなか曲げない、ごめんなさいと何度も謝罪のLINEが来ます。 義母にも話したことがありますが『あの子は（Aさん）昔からちょっと変わってるからほっとけばいいのよ』と言われました。 主人もAさんからのLINEがくるとため息をついてます。 どのようにしたら誘いがなくなると思いますか？