誘ってと言っておきながら、誘いを断ったら、次はないですか？

慕っている先輩と、金曜日に初めて飲みに行きました。 先輩と私は、勤務地が違うため、先輩が泊まり出張でこちらに来る時しか機会がありません。また、その機会自身かなり少ないです。 お礼メールに、また誘って下さい、と書きました。 実は来週また泊まり出張で来ると聞いていたのですが、その時に誘って欲しいというつもりではありませんでした。 しかし、私がそう書いたからか、返信に「また来週行くけど(笑)」と書いてありました。 ただ、その日は夜遅くなると聞いていて、先輩は毎日かなり忙しく遅くまで働いているので、金曜日に飲みに行ったばかりだし、もし本当に誘われても来週は遠慮しておいた方がいいような気がしてきました。 次の日の仕事のために前泊て来るので、飲みに行くと次の日に先輩がしんどいのではないかと心配しているところです。 まだ正式に誘われたわけではないですが、いざ誘われてから投稿していたら遅いので先に質問しています(笑)。 誘ってと言っておきながらいざ誘われた時に断ったら、もう二度と誘ってもらえないでしょうか？ 正直に「ゆっくりして欲しいから」という事を伝えれば大丈夫でしょうか？