すぐに答えを出す必要はないのかもだけど・・・

30代女性。付き合って3カ月の彼がいます。
彼は地元の後輩。お盆に帰省中に偶然再会し付き合い始めました。今は東京と東北の遠距離恋愛。彼は×一（小学生の子一人有）です。

元々進学を機に上京し、私は今責任ある仕事を任され充実した日々を過ごしていました。

彼は過去はやんちゃな時期もありましたが、今は真面目に仕事に取り組んでおり、離婚も経験したからかとてもしっかりと生活して自立しています。
むしろ、私よりもしっかり家事もしています。。

付き合い始めから、私はまだ結婚願望がなく、地元に戻る気もないことははっきり伝えていますが、やはりこのまま続けてもいいのかとふと悩むことがあります。
遠距離とはいえ、毎日連絡をくれ、とても大事にしてもらっているのがわかります。月一のデートは主に彼の家に行きますが、とても生活のペースがあっていて、一緒にいると楽です。一緒にいれば居るほど私の気持ちもより高くなっています。

彼の離婚の理由は元妻との性格の不一致（どちらの不倫ではありません）で、今は子供と遠く離れ彼もここ一年程会えていないとのことです。たまに子供の話をしてくれますがとても切なそう・・

相談したいこととは、今後このまま続けていっていいのか。彼は出来る限り早く一緒になりたいと思っていると思います（言葉の節々で）ただし、私は今の生活を捨てきれない、まだその決断は出来ません。

彼の幸せも考え、早めに別れた方がよいのでしょうか。正直今は私にとっても彼と別れるのは考えられませんが。。