バツイチ男性と結婚された方

現在4ヶ月の一人息子がいる35歳の主婦です。主人は現在45歳で私と10年前に結婚。
主人は若い頃バツイチになりお子さんは前妻さんが引き取っています。
私は主人がバツイチ子持ちということで主人との間に子供を持つことに葛藤がありましたが、出産のタイムリミットもだんだん迫る中、やはり子供が欲しい気持ちが強くなり去年妊娠に至りました。
主人もとても喜んでくれ、子供も大変可愛がってくれています。子育ては大変ですが目に入れても痛くないくらい可愛いです。
そんな中、先日主人の県外の実家に家族で行き帰りにショッピングモールに行った際、主人の若い頃の知り合い男性に偶然会いました。
2人で再会に盛り上がる中その人はふと私と赤ちゃんに目をやり
「えっ？奥さん？てか子供？！ウソだろー（笑）お前むちゃくちゃやなぁー（笑）何人目？（笑）この子20歳なったらお前65歳？！ヤバいだろ～てか奥さん大丈夫？（笑）こいつクズよ（笑）子供が可哀想やわ～！まぁ子供に罪はないか！（笑）」と言い子供に「パパに似るなよ～（笑）」と言ってきました。
主人は若い頃ヤンチャだったのは知ってますが少なからず私にとっては真面目な主人で私も子供も大切にしてくれています。
ただ主人や私がなんと言われようといいのですが子供のことをなんだか全否定されたような気持ちになりすごく傷つきました。
キョトンと見てる子供が不憫に思えてしまって...その場は愛想笑いしていましたが帰宅してからモヤモヤが晴れず、もしかしてこの子を産んだ事は親のエゴだったのかと子供の寝顔を見ては涙が出そうになります。
この子は私達夫婦の間に産まれてきて可哀想な子なのではと考えるようになり..もっと前向きにこの子の将来を考えたいのに。もっと強くならないとと思うのですが寝不足と疲れもあり気持ちが沈みます。
同じような境遇で子育てされている方はどんな心持ちでいらっしゃいますか。