他の人を探すべきでしょうか

はじめて投稿させていただきます。 現在30歳の女性です。半年前より会社の上司（14歳年上）の人とお付き合いが始まりました。 彼とは3年以上前から知り合いで、とても気さくでいつも仕事の相談に乗ってもらったりしていましたが、ある時お食事に出かけてから真剣に付き合い始めました。 最初は本人もそこまで真剣ではなかったようですが、時間ととともに、一緒になりたいと言ってくれるようになりました。 ただ、彼には子供が2人いるので、金銭面のことやその他いろいろとこれから大変になると思います。彼は2人でがんばろうといつも言ってくれました。 しかしいつもどこかに不安があり、いつもそれを彼に出してしまいます。彼は優しい人なので、いつも私のすべてを受け入れてくれるといっていますが、時々疲れているようにも見えます。。 また、いつも私を一番に考えてくれていた（ように見えただけかも・・・）のですが、最近奥さんのお父さんが具合が悪いらしく、子供を残して実家に帰っているようで、子供の面倒があるからといって、あまり会う時間もありません。今までは無理に私に精一杯あわせてくれていたのでしょう。 私は彼のことが大好きです。なんでも思ったことを言える、お互いのことを思いやることができる関係ですが、これからの試練を考えると。。。やはりこの段階で、関係を断ち切った方がいいのでしょうか。 彼の子供への愛情はかなり強いようなので、きっと離れられないのではないかという不安が一番です。 すきだけではうまくいかないことってたくさんありますよね。 みなさんの御経験を聞かせていただけると嬉しいです。 ちなみに最近私が不安を出しすぎて彼を困らせてしまったので、ここ一週間は彼も現実にぶち当たった・・・といってすこし弱気になっているようで、私も余計不安です。