子供を連れてくる回数を減らしてほしい

毎週1回、会社の人たちと趣味のスポーツをしています。 以前は純粋にそのスポーツができていたので、毎週楽しみだったのですが、最近は行くのが億劫になってきてしまいました。というのも、異動や夜勤で来るメンバーが減ってきたかつ毎回2～3歳児の子供を連れてくるメンバーがいるからです。ある程度人数がいないとできないので。 幼児がいると、その遊び相手をするのは構わないのですが、最近は遊び対スポーツが8対2ぐらいの割合になってきており、何をしに行っているのかよくわかりません。 平日は奥様に子供の面倒を見てもらっているので、休みの日の数時間ぐらいは奥様にのびのびしてもらいたいのは、すごくわかります。自分が奥様の立場なら、ありがたいことだと思います。 毎回子供を連れてこないでほしい、とは言いません。せめて5回に1回くらいは連れてこないでもらえないものでしょうか。たまには純粋に趣味のスポーツをしたいのです。 市民クラブのようなものも探してみましたが、平日昼間という勤務時間内だったため、とても参加できません。 いつかは自分も子育てをするでしょうから、もう割り切るしかないのでしょうか。