教えてください

私はバツいち子持ちで、彼も同じ境遇でお付き合いをしています。彼の方は元妻が子供を引き取ってはいますが。
出会いはお互いに結婚時代からでした。付き合い二年ぐらいした頃に彼が子供が大きくなれば私と結婚したいと言いました。結婚している時から彼は私の子供達とよく関わりたがり、下の子とはその頃から関わっているので今はもう小学生ですがパパと呼ぶ位です。
離婚の理由は私の妊娠がきっかけでした。子供達には二十歳までは自分に責任があるとは聞いていながら、妊娠という結果になったので二人で悩み一度はお互いに離婚する様に双方の相手には好きな人が出来たとかではなく話をし、離婚に向け家まで探し契約という時に彼は全てを妻に話、結局その時は離婚出来ずに私も職もなかったので、子供は諦め彼も私もぼろぼろな心で家に形だけは治まりました。そしてその二年後に彼は妻から離婚を言い渡されました。私は何ヶ月かして、自立が出来るように職を探し彼の後を追うように離婚。
別に彼に離婚を頼まれた訳でもありません。私自身が自分も一人になれば彼も色々と考えてくれるだろうかなと思ったからです。そして今で、お互いが離婚をし二年が過ぎました。彼の所にはたまに子供達がきます。連絡もとっています。私は彼が私の子供達と関わっているし勿論泊まったりもするので、元夫と子供を関わらすの事はどうかと思ったのですが、彼は自分の子供とも子供にはかわりがないという考えなので、私も子供達をたまに元夫の所に連れて行きます。
元夫は子供の事はよくしてくれるし大事に思ってくれているのが解るので、彼も自分の子供にはそんな感じなのかなーと少しは理解は出来ますが、彼は自分の身内や親友と呼べる相手であっても私達といる時に電話がかかったりすると私達といる事は伏せる感じにしていました。そんな事がずっとあり今年に入り彼とは真剣に話を勇気を出してしました。