元彼のでき婚にモヤモヤ

はじめて投稿します。
厳しい批判は覚悟の上でご意見を頂きたいと思います。
今は私も結婚して、子供はいないものの幸せに暮らしています。
ふとしたことから元彼ができ婚したと聞いてしまいました。
私の初めての彼ですが、最後は二股をかけられ、それに疲れた私が離れました。
あれから12年、共通の友人だった人から元彼が結婚していることを知らされました。
それ自体は何とも思っていなかったのですが（もう顔も思い出せません）、でき婚だったとは…
今私たち夫婦は共にうつ病のため、子供を作ることができません。夫婦生活もほとんどない状態です。ですが、仲は良好です。
主人も私も子供を欲しています。いつもは考えないようにしているのですが、ふとした瞬間に子供がいたらいいなと思ってしまうのです。
年齢の事もあり（私：33歳、主人：43歳）、子供は諦めるかなとも思いました。
私は元彼に当時相当苦しめられたのもあり、元彼よりは幸せでいたいという思いが心の片隅に燻ぶっていました。
それだけでも主人に申し訳ないのですが、どうしても子供の事を考えてしまいます。
元彼が幸せなのは許せない。
こんな私にお叱りはごもっともですが、どうかたくさんのご意見をお待ちしております。