お酒好きな彼、話した事を覚えてないことが多くて・・

私には好きな人がいます。彼は50代で私は40代です。彼は毎晩、晩酌か寝酒です。
その時間帯にメールや電話をしています。お酒が入っているので彼はとても陽気で、くだらない事や下ネタもしょっ中です。
彼がどのくらいお酒を飲んでいるのかはわかりませんが、後日、以前会話した話をすると、なんの事？やそんな事言ってない、とか言うことが多いんです。すごいショックで・・・。お互いに笑い合った会話、次回のデートの計画など・・・えーって感じです。ひどい時は前の日のことも覚えていません。

私はシラフで話してますのではっきり覚えています。

忘れてしまうのは毎回ではありませんが、ほろ酔いの人の話を真剣に聞いたり、相づちをしてる自分がとても虚しくなってきました。

彼は本当に覚えてないらしいので悪気もないと思いますが・・・。

9割私からの電話です。一年近くデートしていますが、付き合っていません。デートはいつも楽しく過ごしています。なので悩んでいます。

皆さんにお聞きしたいです。

話を覚えてないと言われても、好きな人だったらOKですか？（我慢しますか？）

それとも連絡を取るのをやめますか？

はっきりと彼に言ったとしても、彼は自由奔放な人のため、変われるとは思えません。

皆さんのご意見、聞かせてください。
よろしくお願いします。