急に誘われるのが嫌

付き合って2年になる彼（22歳・大学生）は、いつも急にデートに誘ってきます。
私（22歳・社会人）の仕事終わりに「これから飲みに行こう」と言ってきたり、休日に朝から電話で起こされて「今日暇なら遊ぼう」と言ってきたり・・・。
このような急な誘いがほぼ毎日やってきて、正直疲れています。

私は基本的に遊びや旅行の予定は前々から計画を立てるのが好きで、急な予定の変更にテンションが追い付かないタイプです。
予定のない休日は好きなだけ寝ていたいし、デートは計画を立てている間も楽しいものだと思っています。
普段は急なデートの誘いも予定がなければOKしていますが、どうしても会いたいと思えず、予定がないのに断ったりもしています。
一度「急に言われても困る。せめて前日には行ってほしい。」と言ったのですが、「前日には誘おうと思っていなかった。今会いたくなったから連絡したんだ。」と言われてしまいました。

私から事前に誘えばよいのかと思って何度か誘ってみましたが「予定が空いてたら遊ぼう」と言われて日にちの約束すらまともにしてくれません。

こんな感じの約束ばかりなので、最近は彼に会うのが億劫です。
どうすれば彼と事前にデートの約束をすることができるのでしょうか。