私の考え方が変なのか…

最近主人と私の共通の友人である2家族とよく遊びに行きます。
うちの主人はサービス業の為、土日祝日にお休みが中々取れない職業で友人家族はどちらも日曜休みのお仕事です。
BBQをしよう！遊園地に行こう！何かと誘われますが…うちの主人は毎度行けずなのですが…みんなでやっているチャットで私が主人はお仕事だから行けないよ、ごめんね。と伝えました。
そうすると…なぜ毎回妻である私が行けないごめんねと言うの？ご主人は来たくないの？と友人夫婦4人から私は責め立てられ、面倒なので謝り続けましたが落ち着かず。
BBQをしても子供は放置で何かあるとちゃんと見ててよ！と夫婦で子供の押し付け合い、遊園地に行くから子供いると面倒だしみんな実家に子供を預けて行こうだの…子供が楽しめるところに行けばいいのに…。
うちは共働きで子供は保育園、友人達は妻は専業主婦です。
遊んでも明日も保育園だから早く帰るねと言っても中々帰らせてくれない。
親しき仲にも礼儀ありだと思うのですが…私が相手に気を使いすぎなのでしょうか？
どんなにやんわり説明しても伝わらないものなのでしょうか？
そろそろ付き合う事に疲れました。