友達以上恋人未満な彼と付き合いたい

一年ほど前に知り合った年下男性の事で相談します。私は40代前半・自営、バツイチです。
初めて二人で食事した時にはまだ既婚者で離婚に向けて協議中でした。それも正直に話しました。彼は30代後半の会社員で結婚歴なし、実家住まいです。
今は月に2回のペースで食事やドライブをしています。年下なのにしっかりしていて真面目な人柄にひかれました。話も合って面白いです。
体の関係は無く、手を繋いだりキスは有ります。

数ヶ月前のドライブデートの帰りに送ってくれた時、私の部屋にいきたいと言われました。嬉しかったのですがその時はまだ夫の荷物もあったし掃除も行き届いていなかったので断りました。
その後、会うたびに家にあがりたいと言われます。手料理が食べたいとか言ってきます。でも旅行やいわゆるラブホには誘われた事はありません。

彼からまだ好きだとか付き合おうと言われていないんです。私が好意を持っているのは知っています。できればきちんとお付き合いがしたいんです。

先日のデートで、なぜ家に来たがるのかを聞くと「家のほうがのんびりできるから」。
私としては女性の家に来るならそれなりの覚悟と言うか、言葉が欲しかったんです。ついカッとなって「付き合ってないのに家にあげるわけないじゃん！！」とか「私の事を好きだと言わないのにウチに来たがる理由がわからないよ！」と「…もう、会うのやめる！？」と暴言とも思われる言葉を浴びせてしまいました。
彼は怒るでもなく黙って聞いていました。その態度は、"まあまあ興奮しないで。"という感じでした。

駅に着くと終電近い時間でした。私の事をどう思っているかについては「もう遅いしまた近々会おう。連絡するよ。」「次は酔っていない時に話そう。」とはぐらかされ？、帰路につきました。
次に何も言ってくれなければもう諦めるべきでししょうか。