子連れで集まりに来る人に会いたくない場合、どう対処するか

azamiと申します。
間接的に仕事が関係していたり、同じ趣味を持っていたりという人の繋がりで、食事やイベントに行ったりするような仲。固定メンバーではありませんが10人未満の方々とのお付き合いがあります。
年齢は30代～40代で既婚・未婚・子供有と様々です。
そのうちの一人の方(Ａさんとします)とその子供(Ｂ子・5歳)とのお付き合いで困っています。
上記のメンバーでは子連れの方もいて、それは良いのですがＢ子とだけは会いたくないのです。
Ｂ子に挨拶しても無視、又は叩かれます（痛くはありませんけど）ある方の家での集まりでは家の前で遊んでいたＢ子に小石を投げられました。
距離を置きたいと思った決定的な事は、私が見ていない隙に私のバックの中を探っていたのです。（なぜ分かったかというとメモ帳が無くなっていて、後日その方の家に行った時に同じ物がありました。どこでも買える物ではありません）
今回はメモ帳で済みましたが、貴重品だったらと思うと…。
Ｂ子以外の子供とは普通にコミュニケーション出来ます。

Ａさんはいわゆるサバサバした細かい事にこだわらない感じの良い方なのですが、子供に関しては大丈夫かしら？という気がしてなりません。
Ｂ子にされた事はＡさんには言っていませんし、言うつもりもありません。
お礼や挨拶を子供に促さない方に言ってもどうしようもないんだろうな、という気がしています。
私が独身子供無しなので子供の事に口を出しても嫌がられるだけでしょうし。

アドバイス頂きたいのは、不参加の場合の断り文句や対応の仕方です。
既に私の参加ペースが落ちた事で他の方に「何かあった？」と聞かれてしまいました。

集まり自体はメリットがありますので、抜けるというのはどうにもならなかった場合の最終手段にしたいです。
よろしくお願いいたします。