お見合い相手との進め方に悩んでいます。

こんにちは。私は38歳、仕事に誇りをもっているバリバリのキャリアウーマンです。夢は子供と夫のいる平凡な生活です！
今年２月に３７歳、バツ1子持ちのまじめな公務員の方とお見合いをし、その後、月に３，４回はあっています。メールは大体毎日しています。数行ですが。デートは映画をみたり、博物館にいったりしつつ、その後だいたい飲みにいきます。彼は大酒のみで、しらふのときは、いつも敬語で、距離を感じるのですが、お酒がはいると、饒舌になります。
ただ、具体的な話がでるわけではありません。5月の頭に、「いったいわれわれはどうしますか？」と聞いたところ、「まだ慎重に考えている」といわれ、私も彼のお子さんと前妻との関係（お子さんの誕生日に3人であったりしていること）にショックだったことなど、伝えました。
彼が前妻と分かれた理由は、夫婦関係がほぼなしが理由。数えるほどしかなかった交わりでお子さんを授かったとか。なので彼としては、結婚において夫婦生活が営めるのかが大事なことのようです。
最近彼は出向先の仕事が大変で悩んでいます。週末あっても最近は暗く悩み顔。相変わらず突き放すような敬語での会話。しかしお酒を飲むと饒舌になり、「とても大切に思っています」とか、帰り際に一度だけキスをされました。
なかなか距離は縮まらないので、「夕飯食べにうちにきますか？」と誘ったこともありましたが、やはり、外で会うことになり、お互いの家に行き来することもありません。
先週日曜日に会ったときあまりにも暗く、私自身寂しかったので翌日メールで、「昨日は突き放されているようで寂しかった」と書いたら「気分を害させてしまってごめんなさい」という返事。しらふのコミュニケーションはしっくりいっていません。それから私は返事を書く気がせず、今後彼との関係を続けるべきか悩んでいます。いかが思われますか？