子供と離れて暮らしていることを言いづらい

数年前に夫と離婚。マザコンとモラハラが原因でした。 しかし卑怯な方法で息子の親権を取られ、現在は息子は父親と暮らし私は同じ市内で暮らしています。 息子とは定期的に会えていて、ラインでほぼ毎日たわいのない話をするほど仲はいいと思います。 息子が高校へ進学し、ずっとやっているサッカー部へ入部しました。 部活は保護者の応援もかなり熱心で、試合を見に行くたびに話すお母さんも出来てきたのですが、息子と離れて暮らしてることを言いづらくまだ言えてません。 言わなくてもいいんじゃないかと思われる方もいそうですが、息子は部活で友達も多くお泊まりに行かせてもらえたり、今度は友達のお母さんが自宅まで迎えにきてくれて郊外へ友達数人と出かける用事を作ったみたいです。その時に私が家にいないとおかしいので、今後の事も考えて思い切って伝えた方が自分もラクだとは思うのですが、息子と暮らせてないなんてどう思われるのか、正直言って怖いです。（不倫とか悪いことをしたからじゃないか、とか） ちなみに元夫も試合を観に来て息子の名前を呼ぶので、この前『あれ？ご主人なの？』と不思議な顔をされました。確かに近くにいて全く話してないのでおかしく見えるのでしょう。 厚かましいですが、共感してもらえる方、背中を押してもらえると嬉しいです。 よろしくお願い致します！