バツイチの彼

皆さんはじめまして。私は２０代後半の女性です。 最近バツイチの彼と出会いました。子供が一人、もと奥さんのところにいるそうです。 会った瞬間にこの人素敵！俗に言うビビビみたいなものを感じ、あちらも私を気に入ってくれたみたいで、すぐデートをすることに。一度お食事しました。 それから彼は仕事がとても忙しく土日も出勤状態で、会う時間が夜から深夜になってしまうのです。深夜の呼び出しが何回かあったのですが断りました。変な話、体目的だけだったら嫌だなと思って…。（←大人の女が何を言ってる！とお思いですよね。）メールも電話もマメではありません。会えるとき連絡するよといいつつなかなか連絡がこなかったり。彼の平日休みにはなぜか誘ってくれないのです。私は彼の言動に振り回されています。そしてバツイチ子持ちということも気にかかってます。皆さんの意見をお聞かせ下さい。