夫の行動

私は1歳になる子供がいます。
主人の転勤で半年前に家族である場所に引っ越してきました。
主人は今、仕事がとても辛いよう（人間関係）で軽く鬱っぽい感じです。
お互い、こちらに知り合いはいません。
主人は毎週、土日に私達をおいて遊びに行き、オールをして次の日の朝や昼に帰ってきます。
遊び相手はパソコンでみたサークルの人です。
誰とどこに行くとか聞かされますし、サークルの掲示板とかも見せてくれ女関係云々は本当に全く心配ありません（男ばかりですし）
しかし彼は子供がいるという事をいっていません。
理由は「気軽に誘ってくれなくなるから」だそうです。
毎日のストレスをこういう遊びで発散させずに家にいると仕事の事を考えてしまいしんどいといわれた事もあります。
彼は子供をとても可愛がってはくれます。
しかし私自身、彼を笑顔で見送る事がしんどくなってきました。
この事でよく喧嘩もしましたが変わりません。
私も育児サークルに行って友達はできましたが休日ですので遊べず家で子供といる時が多く、一人で子供といると急に孤独感を感じます。
これからどう対応したらいいでしょうか。