奥様と死別された男性の気持ち

４５歳会社員です。結婚歴はありません。
大手相談所に入会して、婚活に頑張っています。
最近はお子さんありの方も視野に入れています。

今年に入って、３年前に奥様と死別して、３歳のお子さんがいらっしゃる同い年の方に申し込まれました。
今まで死別の方、親権のある方は避けてきましたが、この方は少し気になったもので、周囲からも「１度会ってみれば？」と進められてOKする事に。
しかし、向こうから申し込んでおきながらOK後、連絡なし。
その後担当の方に相談したところ、こちらから連絡する事に。

そこから交流が始まり、１回お会いしました。
話は盛り上がり、お相手からも「もう１度会ってください」
と言われて、その場で「はい」と返事したのですが。
仕事が忙しい方で、もう休日はお子さんを保育園に預けられないとの事で、平日の都合を聞かれましたが、平日は仕事があり。。。
日程を調整してまた連絡します、と言われ、１度「なかなか日程調整できなくてすみません」
というメールがあったので、気になる条件はあれど、再度お会いしてみようと思ったのですが、それ以来日程についてのメールがありません。
こちらがメールをすると、返事はきますが日程については連絡がなく。

３連休前にメールしたところ「土曜日は出張で、残りは子供と過ごします」
という返事で。
あんなに向こうから乗り気で誘われた分、「・・・」な気分です。
子育てが忙しいだけなのでしょうか？
「お子さん込みで」と言えたらいいのかもしれませんが、正直子供は苦手なので、よほどお相手が好きにならないと難しいです。
それがだめなんでしょうか？

婚活で、一番まともと思えたお相手なだけに、お断りもできず、さりとてお相手と１回しかお会いしてない分、死別とお子さんが受け入れられない自分がいて、迷っています。