夫の職場仲間のBBQに誘われました。

はじめまして。　みなさんにご意見を伺いたく投稿いたしました。

今週末に夫の同じ部署の仲間と家族ぐるみでのBBQに誘われました。
（話を聞いたのは木曜日です）

私達夫婦以外の家族はみな子供がいます。

今までに何度か集まりに参加したことがあるのですが、話も合わないし、いつも子供相手を任されているような気がして、正直参加したくありません。

夫にその旨を話したら「分かった。断わっておく」と言いつつも少し不機嫌でした。

やっぱり会社の付き合いだから参加した方がいいのでしょうか？

※ちなみに会社仲間とは部署内全員ではなく３，４人の家族です。
皆夫より年上の先輩です。