バツイチ同士の同棲について

はじめまして。自分の今の現状について相談させて頂きます。
私は３５歳でバツイチです。小学５年生と２年生の子供がおります。
現在、年上の男性とお付き合いをしていましてちょうど３年になり、２年前から同棲をしています。彼もバツイチで子供が２人おり、私の子供と同じくらいで元奥さんが引き取っておられます。離婚をして辛い事ばかりが続きましたが今はとても幸せを感じています。幸せなのですが、少し自分の欲が出てきております。その欲というのが彼との結婚です。
しかし、彼は結婚は出来ないと言っています。理由というのも、元奥さんにもしもの事があれば自分が子供を育てる事になる。彼の親も高齢で介護もあるかもしれない。そうなると私に迷惑がかかるから結婚はしない方がいいと…。私にも両親がおりまして長女ですから今後両親の力になっていかなければなりません。お互いの状況を考えると結婚はしない方がいいと納得しました。ですが同棲をはじめて２年。私の子ども達の事を考えると籍もいれていない男性と一緒に住んでいるという事は世間からみて、だらしなくはしたない母親なんだろうと思い気が重くなります。子供たちは彼にとても懐いており、彼も私の子供達をとてもかわいがってくれています。
ただ、別々のところで住んでも同じではないかとは思うのですが、やはり一緒に暮らしたいのです。子ども達にママの彼と一緒に暮らすか別々に暮らすか何度も聞いたのですが一緒に暮らしたいと言うのです。
この問題は自分で決めなければ何も解決はしないので、なかなか相談しづらいもので誰にも言えません。ただ、この場をお借りして少し気持ちを吐き出したいのです。どのように気持ちを整理したらよいのか…ご意見お願い致します。