あの時の判断は正しかったのか

私は30代で結婚していて、私の持病の影響でこの先子供を持つことが難しい状態です。

今年初めに同じ趣味のオンラインサークル内で、オフ会もかねての旅行を計画しました。
サークル内でもイン率が高い方をお誘いして、私と夫含め5人が集まりました。
サークル内にはとあるご夫婦がいて、イン率が高かったんですが、計画を練る直前にお子さんが生まれたので誘わなかったんです。(こっちが非常識かなと思いました)

そしたら元々の5人の内の1人がそのご夫婦の旦那様にお話したらしく、ご夫婦が乗り気で参加を希望されました。

最初から皆さんにこの旅行は申し訳ないけどそのご夫婦は誘わないでおこうと私が言っていればなにも問題はなかったんですが、言っていなくそこは私の落ち度だと思ってます。
それもあり断れず参加される方向に話が進んだんですが、私はずっと悩みというか不安がありました。

旅行予定日はまだ赤ちゃんが1年経っていなく、ネットなどで調べるとまだ離乳食の時期で突然吐いたり、熱が出たりととにかくなにがあるかわからないと見ました。
あとは奥様が倒れたりなどあったらしく、不安要素が強すぎて皆で通話中にお伝えしました。

ご夫婦は終始「どうにかなる」と言っていて周りの皆もどうにかなると言われていたんですが、決して安くはないお金を出すので出来れば振り回されたくないと思い、後日お断りのメールを送らせて頂きました。
内容的には、前述したお子さんの心配と奥様の心配、あとは私が子供を持てない事をまだ受け入れれない現状で子供を見る事に対する不安などをなるべく柔らかく伝えました。

返事は「誘われなかったことが嫌だった」「どうにかなる」と言われ少しモヤモヤが残る感じになりました。

文章がわかりづらいんですが、私の断る判断は正しかったんでしょうか？
お子さんがいる方に対して失礼な対応だったんでしょうか。