バツイチ子持ちの彼の気持ちとは

彼には元妻が引き取り育てている2人子供がいます。
私自身もバツイチ(子ナシ)なので、子供がいる彼の事は受け入れたいと思っていますが、実際は辛い思いをする事が沢山あります。
子供が小さい事もあり私が思っていたよりも密に元妻と接している事が分かりました。彼が建てた家に元妻と子供が住んでおり、面会時その家で過ごす事もあるようです。言いませんが泊まる事もあると思います。子供と会う事は当たり前なので、何も思いませんが、元妻がいる家で家族のような時間を過ごしている事がとても辛いです。彼は元妻とは会話もなく目も合わせないと言いますが、同じ屋根の下で過ごしている訳で何を信用すれば良いのか分かりません。

子供がいる人と付き合うのはそういう事、受け入れられないなら別れろというのも分かります。でも彼はその状況で何故彼女を作るのでしょうか？私が全て知っておりそれでも付き合いたいとアプローチしたならまだ分かります。元嫁と一緒に過ごしている事は彼女の立場からしたら辛いに決まっているのに、当たり前のように話されます。私って何なんだろう…私の存在というのは会っている時だけ楽しければそれで良いのかなと虚しくなります。
私自身子供が欲しかったのですが前夫との間には出来ませんでした。アラフォーなのでもう子供は諦めましたが、その事もあり彼のもつ家族が羨ましくて仕方ありません。

子供がいる男性の彼女への気持ちというのはどういうものなのでしょうか？子供がいるんだから全て理解してね、それが出来ないなら無理だよ、という物なのでしょうか。シングルマザーが彼氏を作れば女性の方が叩かれるのに、逆の立場になると女性が全て受け入れなくてはいけなくというものばかりでモヤモヤします。