年上の好きな人と進展しません

年の差がある好きな人と中々進展しません。彼は40歳、私は20代前半でお互い独身です。出会いはマッチングアプリで、連絡を取り始めて約4ヶ月、デートは4回行きました。体の関係はなく、毎回昼過ぎから会ってカフェでお茶でもして夜ご飯食べて解散です。体の関係に持ち込むような雰囲気もあまりありません。周りからは奥手なんじゃないかと言われていますが、彼を見る限りそこそこ恋愛経験をしてきて、女遊びもした事は数回ならありそうな雰囲気です。結婚を考えているような発言は多く、最近だらだら友達以上恋人未満が続くのも面倒になってきたので、数年交際して結婚してもいいよと言うような会話も積極的にしています。好意も見せています。ですが、ここから関係性が進展しません。付き合っていないので、これ以上このままの関係で進展する方法も見つからずな状況で、ただ若い子とたまにデートに行くのが楽しいだけかとの疑いもかけています。もしかして既婚者かとも疑いましたが、毎回のデートは週末に行っており、たまに５〜６時間ほどの長電話もしています(100％既婚者じゃないとも言えませんが…)。私はこれ以上何をすれば良いのでしょうか？何かアドバイスをいただけると幸いです。