離婚後の交際について

他職種から転職して、今年で3年目になる看護師です。

同じ職場で働く男性から
「付き合ってほしい」と言われています。

私はこの4月より、配置転換で今の職場となり、
彼もまた、人手不足のため、4月から系列の病院より
週に３，４日ヘルプで来ています。

たまたま、彼を前から知っている看護師も
4月から同じ職場で働いているので、
彼女の自宅で2回程、彼を含む何人かで
食事を楽しんだことがありました。
（きちんと話通じるように書けているでしょうか？）

彼は優しくて、おもしろい人です。

しかし、私は・・
看護師歴3年といっても、もう3４歳・・
しかも離婚歴があり、小学1年生になる双子の女の子がいて・・
美人というわけでもないし・・
仕事をバリバリやりこなしているわけでもないし・・
人には誠実に対応しようと思っていますが、
心折れているときは、そうできないこともしばしば・・

反対に、彼は離婚歴もなく（たぶん・・）
年下で（たぶん2，3歳位・・）
上記のとおり、優しくて
仕事もそれなりにできるお医者さんで
背も高くて、
まあまあ、見た目も良くて（個人的な見解ですが・・）
彼を知っている上記の看護師の評判も上々で・・

最初は斬新な冗談だなと思い、
軽く冗談で返してたのですが、
後日、「本気で付き合ってほしい」と
真剣な顔で言われたので、
「少し考えさせてほしい」と返事しました。

離婚して4年が過ぎますが、
また男性とお付き合いしていけるか不安があります。
独り身の気兼ねない生活も結構居心地がいいですし・・・

離婚して新しく彼氏ができた方、
こういう不安はなかったでしょうか？

彼と付き合ってみたいのですが、
不安ばかりでてきます。