バツイチ子持ちの人と付き合うこと

トピを開いていただきありがとうございます。
私（３０歳）はお見合いパーティで知り合った３３歳の男性とお付合いして二カ月経ちます。
それまでは、良いと思った人とはうまくいかず、なんとも思わない人からは好かれ、婚活に疲れ始めていた頃に出会った人でした。
特に好きではありませんでしたが、彼からの猛烈アプローチもあって「とりあえず」お付合いしてみることになりましたが、付き合って一カ月、（お互い都合がつかず、実際あったのは数回）実はバツイチ子持ちであることを伝えられました。

「とりあえず」で付き合ったものの、彼の告白は思いのほかショックで、当日はあまり眠れませんでした。
このまま付き合い続け、結婚した場合、実際のところ具体的な苦労はなんでしょうか？
今まで単純に「バツイチ・子持ち」は「ＮＯ！」でしたが、きちんと理由を考えた事がなかったので、この機会に実体験や色んな立場からの経験談等ご意見を聞かせていただけたらと思いますので、どうぞ宜しくお願い致します。

ちなみに離婚原因は奥さんの心の病によるそうですが、彼にも少なからず原因があったと考えています。
（仕事が忙しく、家事育児はほとんどできなかった→奥さんの支えになってあげられなかった）
現在は転職し、割とゆとりのある仕事内容です。

【自分が考える不安事項】
・親、親戚、友人の理解を得る労力
・世間体
・養育費問題（現在は払っておらず絶縁状態だが、出来れば子供（５歳男の子）は育てたいそうです）
・血縁関係のない子供を育てる可能性と苦労
・遺産問題
・異母兄弟がいる事による子供達の心的ストレス
・元奥さん、そのご家族とは一生縁が切れないこと

ただ、告白を受けてから彼と一緒の時に子供をみると辛くなります。
今までは少し先の未来をみるようで嬉しくなる光景が辛いのは悲しい事だなぁと思います。