55歳☓２、彼氏ができると気持ちが下がる

子供も大きくなり、ようやく一人で趣味など楽しむ事ができ始めました。
ただ、やはり一人だと寂しく感じる。
又、将来の不安もありました。
そんな中、2年位趣味が一緒のサークルの人が気になり、みんなで遊んだ帰りに、何気に気になってる気持ちを告白してしまいました。
７つも下で、とても優しい人でしたが、すんなりお付き合いしてくれる事に。
暫くは楽しく幸せな気持ちでしたが、向こうが段々と将来を見据えた話をなどをしてくるうちに、気が重くなりました。私もシングルマザーだから大変なんだ。とか、発言も良くなかったんでしょうが、重く感じてしまいます。
でも、嫌いになりたくない。
本当に自分勝手ですが、もっと気軽にお付き合いしたい。と彼に言うのは酷でしょうか?
彼は結婚したことが無いので　付き合うなら結婚。
と思っているのかもしれません。
私は、勝手ですが、自立しながらお互いに穏やかにお付き合いしたいのです。