夫の発言が無神経に思えてしまいます。

私達は結婚して六年間、男性不妊の為不妊治療をし、体外受精でやっと子どもを授かりました。
私が出産してすぐの頃、『実は義妹（夫の弟の奥さん）も妊娠していて、今安定期だ』と聞きました。
義弟夫婦には三人目の子どもで、正直また産まれるとは思っていなかったのでビックリしました。
何より、第二子は既に８歳、失礼ながら義妹も割と高齢、子どもは授かり物なんだなぁーと驚きました。

が、その話をしながら夫が、『うちがずっと出来なかったから、妊娠するまで待ってたのかなぁー』と言い、その台詞がとても無神経に聞こえました。
もちろん授かったことに感謝しており幸せです。でも、男性不妊、流産、治療の苦労などを思うと、『あっちができたから、さあうちも作ろうか！』といとも容易く義弟夫婦が計画出産したのかと思うと、訳も分からずモヤモヤしてきました。もちろん本当のことなど知る由もないし、義弟夫婦にも聞けるわけがなく、夫は義弟と会話らしい会話もしない仲です（仲が悪いとかでなく、関心がない）
『ええ、そうかなー？』と返しておきましたが、それからずっと何かモヤモヤしています。
男性不妊だったんだよ、うちは！なんでそんな安易な発言をするの？と夫に言いたくてたまりません。その時咄嗟に、『計画なわけない、子どもは授かり物なんだよ！』と言うべきだったと後悔しています。
でも、夫の台詞にモヤモヤする自分がやはりおかしいのだ、授かったのに贅沢だ、という気持ちもあり、言うことができずにいます。
私の感覚がおかしいのでしょうか？