共通の趣味を持つ先輩との関係

今までお世話になった先輩と、どのようにお付き合いしていけばいいかわかりません。 私は女です。元々会社の先輩で、お互い転職をして今は別の会社・元々とは別の仕事をしている男性の先輩と、3年ほど前、当時仕事でかなりお世話になったことがきっかけで、仕事だけでなく共通の趣味のイベントに一緒に行くなどして交友を深めていました。その先輩と共通の趣味での交流をやめたいと考えています。 先輩には出会ったころから彼女さんがいて、彼女さんとはこの3年の中で結婚し、お子様も生まれています。 私には、当時は彼氏はいなかったものの、現在は交際1年になる彼氏ができて、結婚を意識しながらお付き合いを進めています。 先輩の方は、奥様からその趣味について理解がなく干渉もされていないことから私との時間が大切だと聞いています。 一方私は彼の理解があり、彼は一緒に趣味を楽しんでくれるため、先輩との時間より彼との時間を優先したいと考えるようになりました。 一人でも楽しめる趣味のため、彼には先輩と趣味を楽しんでいる日があることは伝えていませんが、先輩と趣味を楽しむ日は先輩と出かけてくると伝えています。 この状況を解消したいと考えており、先輩からの誘いをどのようにお断りしたらいいか、皆様の知恵を貸していただきたいです。 先輩との関係を全部消したいわけではなく、趣味以外の仕事の話や他の関係は継続させたいと考えています。 自分で言っていて、かなりわがままだとは感じています。 他に趣味を理解してくれる人ができたから先輩は用済みととられてしまうかもしれません。正直、私の深層心理はそうなのかもしれません。 先輩にはだいぶお世話になっているので無碍にはできませんが、彼氏に対する後ろめたさと誠実でありたい気持ち等があり、どのように対応したらいいのか、皆様はどうするか、ぜひ教えていただきたいです。よろしくお願いします。