奥様と死別・子供ありの男性との結婚

35歳、独身女性です。

現在、50歳・奥様と4年前に死別・18歳高3女子と14歳中2男子の2人のお子様がいる男性とお付き合いしています。
彼はどちらかというと楽天家、前向きで明るい性格です。一緒に居て年の差を感じることはあまりありません。お付き合いを始めて約1年。彼からは幾度となく結婚して欲しいという話をされています。

私はかつていじめられっこであったこともあり、未だに「すでに出来上がった輪」のなかに入っていくことが苦手で恐怖を感じます。
そのことを踏まえて彼と話をしておりますが、
「うちの子はそのへんはおおらかだから大丈夫。上の子も君ときっと話が合うと思うから」という程度。実際、まだお子さんには会っていません（お嬢さんが大学受験を控えているので、動揺するようなことになったら・・・と私から辞退しています）

奥様のことはほとんど話しませんし普段はあまり気にもなりませんが、持ち家ですので奥様が使っていたものをどこまで使うのか、しかし一新するのは子供たちにとってはお母さんとの思い出がひとつ減ってしまうことになるのでは・・・という気があり言い出せません。

周囲に相談しても、「子供はちょっと・・・」と心配されます。

私自身もお子さんのこと、彼と自分の間に子供ができたときのこと、彼との年齢差、など考え始めると不安がよぎります。
私自身いろいろ起こり得る問題を想定しておりますが、皆様からのご意見をお聞かせ願えたら、と存じます。
賛否両論含め、どうかよろしくお願い致します。