後輩と距離を置きたい

30代です。最近趣味のサークルで20代の同性の後輩と仲良くなりました。初めは良かったのですが、段々趣味に対するスタンスが違うことが分かり(自分:参加出来る時に参加したい、後輩:全部参加したい)、毎回「一緒に行きませんか！？」と誘ってくる後輩と距離を置きたくなりました。  普段LINEでやり取りしているのですが、最近はその後輩からLINEが来ることがストレスです。また、後輩がLINEを短文でポンポン送ってきて返信が早いのもあって、おっとり型の私にとってはLINEについていけないのもストレスです。自分は日中働いていますが、後輩は夜勤が多い職種のようで、仕事中に返信が溜まるのもストレスです。 自分と後輩が加入している趣味のサークルも完全に辞めたいわけではないですし、なるべく傷つけずに距離を置きたいのですがどうすればいいでしょうか？