ゴルフ旅行に家族同伴？

20代独身女性です。私はゴルフのサークルに加入しています。
そのサークルでは、2ヶ月に1回メンバーでコンペを行い、
年に1回、ちょっと贅沢して高級なゴルフ場に泊りがけで出かけます。
メンバーの男女比は、男性８：女性２くらいです。平均年齢は35歳程、既婚者が多いです。

今回、今年のゴルフ旅行の幹事になりましたが、
あるメンバー（Aさん）とその奥様（Bさん）について困っています。

今年の旅行は、いわゆる避暑地にある名門コースの付属ホテルに1泊する予定です。
そこへ、AさんはBさんとお子さん（2歳)を連れて来るというのです。
Bさんはゴルフをしませんが、Aさんだけが旅行へ行くのが気に入らないため、ついて来ると言っているそうです。
（そもそも、BさんはAさんがゴルフをすること自体にあまり賛成ではない様子。
Aさんはゴルフと引き換えに日ごろの家族サービスを頑張っているようです）
ゴルフ場の周囲には、小さな子供が遊ぶような場所はありません。

私の感覚では、ゴルフ、特に今回のような名門コースへ、
家族連れ(ゴルフをしない配偶者と小さいお子さん）で来るのは相応しくないのでは？と思います。
正直なところ、家族旅行なら別の機会にして欲しいし、
このような場に無理やり入ってくるBさん、それを許すAさんに疑問を覚えます。

皆さんはどう思われますか？
私は、このご家族の参加を断ってもよいでしょうか？
もしお断りする場合、何と言ったら角が立ちませんか？
家庭を持っていないため、家族間の感情に疎いのかもしれません。
お知恵をお貸しいただければ幸いです。
ちなみに、私はBさんとも面識があります。