彼氏との格差を感じてます

私はバツイチアラフォー、小学生と保育園児がいます。 最近マッチングサイトで知り合った彼はバツイチアラフィフ、子供は高校生と大学生で別居しており一人暮らしです。 私の子供はほぼ毎週末、元夫に会いに行き私は一人で過ごしていたので、土日だけ一緒に過ごせる彼を探していました。 今回相談の彼とは200キロの遠距離で先日中間地点で初めて会いました。 会う前からかなりの時間の会話でお互いの理解を深めてたつもりです。 私からアプローチして始まったやり取りでしたがかなり気に入ってもらえたようで、会ったその日に付き合いを申し込まれました。 会ってから１カ月経ちそろそろまた会いたいねという話が出て来てますが、気持ちが乗りません。 理由は経済格差を感じてきたからです。 私は専門職の正職員で、忙しく残業もあり、平日は仕事に家事育児とヘトヘトです。 彼は運悪い倒産なども過去にあったようですが、契約社員で定時帰宅、のんびりした生活だそうです。 また、最近年収が当初の認識よりかなり低いことがわかりました。 彼は私への好意から長期的な付き合いを視野に、いづれ私の地元への移住計画をしてるそうです。 ですが、現在も転職後も私の給料の半分ほどで、10年後の貯蓄を500万と考えていると言われ愕然としてしまいました。 私の年収は伝えていません。 私は子育てしながらも老後2000万を目指すという目標があったので急に熱が冷めてしまいました。 他にも店員や道を塞いだ相手等にキレてまくし立てたことを武勇伝のように語られドン引きしてしまったり。 当初の土日だけ楽しく過ごす相手と割り切ればいいのですが、かなり気に入られてしまい、将来像や移住されることを聞くのは苦痛です。 盛り上がりすぎて急に断るのもできずにいます。 自分への戒めのためにも何らかのご意見いただけたら幸いです。