バツイチの彼氏

はじめまして。相談させてください。
私の彼氏はバツイチです。
不妊が原因でお互いに納得の上で離婚したそうです。元奥さんは既に再婚しています。
先日、元奥さんが現旦那さんのことを相談しに彼氏に会いに家にきたようです。
連絡をとっていることは私も知っていましたが、まさか会いに来るとは思いませんでした。会ったことに対して彼氏を責めてしまいましたが、明らかに落ち込んで鬱状態になってしまいました。
お互いに原因があって離婚をしていますが、彼氏の言い分としては『付き合ってから結婚、離婚するまでの時間を奪ってしまったわけだから頼られたら断れない、不妊治療で大変な思いをさせてしまった』ということだそうです。確かに自分からは連絡をしていないようですが、連絡がきたら返すし頼られたら断れないそうです。償いのつもりだそうです。
彼氏が元奥さんと会っていたことに辛くなり、一方的に責めてしまったことは反省しています。
できれば、元奥さんには会ってほしくないですが、それは割りきり、もし会うなら事前に教えてほしいということで話は落ち着きました。
しかしもやもやは残っています。会ったときになにもなかったとは言いますが、ほんとにそうだったのかも疑問です。彼氏のことは好きだしいずれ結婚したいと思い、お互いにそういう話はしてきましたが、また結婚したいと彼氏は本当に思ってくれるのでしょうか？また、元奥さんは旦那さんもいるのに、今後もこのように彼氏を頼ってくるのでしょうか？また、不妊が原因で離婚したのなら、次は授かってから結婚に踏み切るほうが彼にとって良いのでしょうか？元奥さんの話になると辛そうでもう何も聞けません。辛い演技なのでしょうか。
そんなのは当人たちにしかわからない、という意見は承知の上です。
しかし、自分でも今後どうするのがいいのかわからなくなってしまいました。
よろしければご意見をくださると嬉しいです。