この気持ちをどう処理したらいいのか教えて欲しいです。

・私：38歳　独身（×ナシ・子無し）　OL
・彼：41歳　独身（×1・子供2人（10歳・16歳）奥さんの方にいて、彼が養育費を払っています）
・付き合って2年半
・将来の話はするが籍を入れる事は彼が消極的、子供がすでにいるのでこれ以上はいらないとの事。（1度失敗しているため。理解はできます。）
　私は子供が好きではないため、どうして欲しい！という気持ちがなくあまり焦りもなし。
　ただ私はいずれは結婚したいなあと思っていますが、彼の気持ちもわかるので特に急かしたりもしていないです。

上記を踏まえた上で・・・
去年、不妊治療の末、妹に子供が生まれました。
妹の旦那さんは元々寡黙なタイプだったのですが、妹と旦那さんで赤ちゃんをあやし、交代でご飯食べながら面倒を見ていて本当に幸せそうでした。
産まれてきてくれてよかったなって心から思いました。

そういう風景を見ながら思ったのです。
私の彼にもこういう時があったのだろうな・・・と。
奥さんとどういう理由で離婚したのかなんとなく聞いていますが、子供が生まれた時は幸せだったわけで。
夫婦2人で愛しい気持ちで子供2人を授かって、こんな生活があったのだろうと。
そう思うと苦しくて苦しくて仕方がないのです。
じゃあ、自分と彼との間に子供を作るor別の人と結婚して子供を作ればいいんじゃないか？（年齢的な事はおいといて）っていう訳でもないんです。
やっぱり私は子供を欲しいという気持ちが湧かないんですよね。（彼とでも）
彼の子供は10歳と16歳、週1で会っているのも知ってますがそれも別に気にならないんです。
むしろできる限りをしてあげて欲しいと思います。
ただ、あの妹夫婦の光景を見たら、そんな風に思ってしまってすごく苦しくなってしまいます。
これはどういう風に気持ちを持っていったらいいと思いますか？
分かる方いたら教えてください。