彼との別れに悩んでいます。。

彼とは３年半の付き合いです。私は３人の子供のシングルママで、彼とは職場で知り合いました。現在も同じ職場で働いています。彼は普段は職場では鬼みたいに怖いのですが、プライベートでは基本優しく、子供たちと遊んだりキャンプに連れて行ったりしてくれます。　しかし、最近は私と彼の関係があまりうまくいかず逢う機会も減ってきました。
彼が１年前までは２LDKのマンションに住んでいたので週末は子供たちとお泊りにいってましたが、金銭的なことから１Rに引越したため会えなくなりました。会社ではほとんど会話もなく（彼との恋愛は秘密にしてます）プライベートも何か目的がないと逢わないという感じになりました。少し前には彼が中古ですが、一軒家を探したり、間取りをみて「この部屋は子供らかな」などつぶやいていたので、私ももしかすると一緒に暮らせたり、結婚できるのかと期待していました。でも最近そんな会話もなく、会う機会も減ったのに「俺はお前に縛られてる」といわれました。ささいなケンカでした。私が子供を預けて地元のお祭りに行ったことに怒ったケンカが始まりでギクシャクしたんです。
彼が自由になりたいと言い出し、疲れるといわれ、私はどうしたらいいか分からず、別れを選ぶべきかと思いましたが、やはり彼のことが好きなので自分から別れを告げるのはできず、少し彼から距離を置きながらの付き合いをすることにしたのですが、彼は私が職場をやめることは反対で、別れたいわけじゃないそうです。すごく仲がよく、毎日逢ったり、毎週お泊りしたり、子供も彼が大好きだったのに、このままの関係でお互い幸せになれるんでしょうか。。つらくても別れを切り出せない自分で息苦しいです。