趣味中心の主人について

私は数年前に病気になり、不安定から抑うつ状態になり薬を飲み始めました。

聞いてほしいのは主人のことで、私が病気になっても特に心配する事もなく
新しい趣味（詳しくは書きませんが子供も連れてです）を見つけて毎週のように遊びに行ってました。

最初は土日のどちらか→土日の朝から夜まで→土日+平日の夜週1（子供は行けません）

私も病気のために外出もできなくて、ほとんど休日は趣味の為にいないので、たまに出かけても月1回あるかないかで、この状態が1年ほど続きました。

やっと終了すると思ったら、趣味仲間をみつけて皆で月1回バーベキューをやったり、新しい趣味で仲間と集まったりすることがまた増えてきました。

今は週1回くらいのペースで遊んでいます。
「以前より少ないからいいだろう」と言います。
でも、帰宅すると寝るまで趣味の為にパソコンにずっと向っています。

私は主人の人生だし、新しい趣味も友達も作るのはいいけど、私が具合が悪い中、楽しいことをして仲間を作って遊びに行くのが寂しくて今まで我慢してたこともあって、遊びに行くとなると涙が出てきて素直に「いってらっしゃい」と言えなくなってしまいました。

私も友達はいるし遊んだりはするけど、毎週は会わないし家族優先だったので主人の趣味優先が度が過ぎると思うのですが、間違っていますか？

私が主人の趣味に理解をすればここまで悩まないと思うのですが、今までのことを思うと気持ちの切り替えができません。。。

「いつでもいっていいよ」と言ってしまうと主人は本当に毎日でも行ってしまいそうなので絶対に言えません。

みなさんのご主人は趣味で毎週いなかったりしますか？

どう気持ちを切り替えればいいのか教えていただけますか？