このまま彼との付き合いを続けても、良いのでしょうか？

彼は43歳、私は34歳です。彼はバツイチで、子どもはいません。私は未婚です。彼とつきあって、6年になります（途中、別れて半年ぐらい別の人と付き合いました）。

彼は一人暮らしをしていますが、家に来て欲しくないと言い、私は今まで一度も彼の家に行ったことがありません。
そして、彼には結婚願望がありません。一度離婚したので、もう結婚はしたくないと言います。私は、一度は結婚をしてみたいし、子どもも産んでみたいと思っています。
結婚や、一緒に住むつもりがあるのか、今まで何度も問いただしました。その度に悲しい思いをしました。ただ、『試験がおわったら、結婚とかを考えるかもしれない』と言っていた時もあります。（私は来年資格試験を受験する予定です。）
結婚や、一緒に住むつもりがあるのかを問うても無駄であると思い、あまり触れずに過ごしていました。
ところが、今日たまたま結婚の話題になりました。彼は、私と結婚することもなければ、一緒に住むこともないと言いました。

ここまで読むと、彼は既婚者では？と思われるかと思います。が、たぶん違うと思います。なぜなら、今までの電話などのやりとりの時間帯や内容と、今回私が資格試験受験のために9月に退職するにあたり、彼が私に100万円出してあげると言っていることからです。彼の収入から考えて、家族に隠れて100万円捻出することはできないと思うのです。（100万円～というのは、恥ずかしい話です。が、私には今までの貯金だけで無職で数ヶ月暮らすことができないため、甘えることにしました。)

私は、彼のことが大好きです。頭が良くて、一見冷たそうだけど実はすごく優しいところが。そして、私は、いくら私を大切にしてくれる人がいても、自分が好きと思える人でなければ付き合うことができません。ただ、彼とは結婚ができないのです。
私は、このまま彼との付き合いを続けても良いのでしょうか？