離婚歴のある男性へのアプローチ

　私は３９歳の独身（女）ですが、今好きな彼との関係についてご相談があります。 　彼は４１歳の離婚歴のある独身男性で、一人暮らし。彼女はいないそうです。 ３年前に共通の趣味を通して知り合い、去年私から告白しましたが「うれしいけど、あなたがどうでもいい人じゃないから俺なんかやめたほうがいい。それにやりたいことがあるから」と、断られました。 その後もメールをすればたいてい返事は来ます。先日イベントで会った後は、彼から、私の事を「かっこいいし、○○のとき超色っぽい。こんな顔もするんだ・・・。」と言ってきて、「お互いの事について何にも知らないから、会ってなんでもかんでも話がしたい」と食事に誘われ、互いの家族の事なども話題に出ました。そこで、彼が「俺もう４１だよ。」とか、辛かった事の話も私にしてきました。 　三年前、初めて二人で会った時、彼は、離婚時の事を、「良かれと思ってした事が迷惑だったらしい。」と。結婚していない事について「これじゃいけないんだけどね」と、言っていたのを覚えています。 　彼は２０歳頃にお父さんを亡くし、今はお母さんもいません。一緒に食事に行くと、他の家族連れのお客さんが幸せそうにしていると、うらやましそうにじっと見つめています。すでに結婚されているお兄さんお姉さんとの間柄は仲が悪いとは言っていますが、私の思うところ慕っています。 　今まで私は、イベントの打ち合わせのたびに、みんなに配る振りをして、彼が好きなスイーツを作って持って行ったり、デートのお誘いもしてきましたが、お付き合いには至っていません。今後私は、彼にどのようにアプローチをしていったら良いのでしょうか？皆さんのアドバイスを頂きたいです。よろしくお願いします。