二人で暮らしていくのか別れるべきか

20代後半、結婚３年目で子どもはいません。
長々と纏まらない文章で恐縮ですが、誰かに聞いてほしく投稿させて頂きます。

この１年夫婦生活がなく、私が抱きつこうが手を繋ごうがまるで無反応な夫。
一緒に外出することなど滅多になく、誘っても渋ります。(会社仲間とは頻繁に飲みに行きます)
彼に構いたくないと思わせる何かを私がしたのか、それとも浮気かと不信感が募っていました。
原因もいつまで続くかも分からない現状がつらく、先日話し合いを持ち掛けたところ、
彼も私に不満があり、その積み重ねでそういう態度に繋がった、浮気はないとのことでした。
話を聞くと私が無神経だったこともあれば、お互いに理解不足だったこともありました。
文句をあまり言わない人なので溜め込んでしまっていたようです。

ただ、私は夫に不満はあれどスキンシップはしたいしふれあいに幸せを感じます。
彼にも同じ気持ちがあったとは限りませんが、拒否の態度が出る程までにいけすかない嫁になっていたのかと思うと繕ったところで以前のような態度に戻ってくれるのか不安です。
二人暮らしですが「自分の家と思えない、帰りたくない」と夫が言ったことも心に重いです。

この先一緒にやっていく気はあるのか、子どもはどう考えているのかと聞くと、
１年以上前から子どもを欲しいと思ってない、それでもいいなら一緒に暮らせると言われました。
とんだ爆弾投下です。
が、子どもをもたない人生について私も肯定的な考えを持ってはいます。
ただ完全に子どものいる将来を想像していました。

夫のことは好きで一緒にいたいですが、諦めきれない願望もあります。
夫に対する信用もすり減ってしまっていることもあり…
なんだかいろんな要素があって考えが纏まらずただ涙が出て止まりません。

質問ですらなく、要領を得ない話ですが、思ったことを聞かせて頂けたら嬉しいです。