バツイチ同士の今後は

はじめまして。相談させて下さい。
私バツイチ子供2人、彼バツイチ子供1人（元奥様養育
付き合って五年。色々な事がありました。当初は彼も離婚しているのに元嫁の家に週に2.3度上がりこみ子供と過ごし泊まっていた様です。休日も元嫁と三人で行動。夏の旅行も三人で。
付き合い始めて初めて事情を知り、けじめのない人とは付き合えないとキッパリいいましたら、彼的には別れても家族でいてやるのが子供への愛情だと勘違いしていたと。それで子供とだけ面会する事になりました。元嫁さんとは少し揉めたようですが、穏便に事は進み今では2週に一度、子供さんが彼の実家に泊まりに来るようになりました。ですが、これもどうなのかと頭を悩ませます。まず土日は子供は元嫁実家に預けられていますので彼が迎えに行きます。そして彼の実家でお泊りをするのですが、たまにそこに元嫁さんが迎えに来たりして、彼の弟も交え食事したりもするようです。子供が月の半分の週末にそのように過ごします。そして残りの半分ないし一週は私達親子と過ごしています。
彼の母が孫命のようで、彼の弟も可愛がっているみたいです。
旅行もその四人で行く様にしたみたいです。
それはそれで、彼らはいいんですが、問題は私が、彼が離婚しているのに親戚同士が結束している事にとても疎外感な気持ちを持ってしまいます。彼の母も元奥さんや実家にも色々差し入れしているようですが、我が家にも時々下さいます。
ちなみに、私は会わせて頂いた事もなく、直接お礼を言う機会もなく心苦しいので、なんらかしらお返しを彼づてで渡して貰っています。時々自分がものすごく日影な愛人のように思います。私にも私の子供にもよくはしてもらっていますが。
結婚については、付き合って一年位は彼の方からアプローチがありましたが、上記のような状態だった為断りました。