バツイチ子持ちはで恋愛は贅沢でしょうか

はじめまして
バツイチ小学校低学年の子供を持つ３０歳の会社員です。
離婚後は７年前になります。
離婚後お付き合いしていた方と結婚の話まで進み彼が両親に話をしてお父様の猛反対され（お父様は再婚です）お父様とは一度も会うことなく、彼ともその後数ヶ月でお別れしてしまいました。
最近私にとても好意を持ってくださった方がいらっしゃいました。
私の顔がとっても彼のタイプという事からはじまり、猛アプローチを受け数回食事をしました。（それ以上の関係はありません）
私と正式にお付き合いをしていただきたいということで彼のご家族（お母様・おばあちゃま・お父様は亡くなっています）に私の話をしたところ…
「おばあさんが泣いちゃってさ…こんな歳になっておばあさんを悲しませるのは良くないなって…りなちゃんならこれからいくらでも出会いがあるかもしれないけど俺はもう結婚しないといけない年齢だし、遊びでは付き合えないし、バツイチとか子持ちとかきにしない男はたくさんいる。俺の家では許されないだけで、家がおかしいんだよ、本当にごめんね、適当に関係を持って将来もっとお互い辛くなるより、今こうすることが俺の精一杯の誠意だから…と」３０歳でも母親でも恋愛で胸が痛くなるんですね。
産後鬱から気分障害や摂食障害（再発）になり、離婚でぼろぼろになってでも生活の為通院しながらも正社員でがんばってきました。
いつも明るく、悩みなんてなさそうと言われる私ですが子供の頃の両親の不仲や言葉を含む虐待の影響かとっても自己評価が低く大人になりました。
これからもっと恋愛に臆病にそして、自己評価が低くなってしまいそうです。どうか元気になれる言葉をお願い致します。最後までお付き合いいただき心から感謝致します。