彼を失うことの怖さ

職場の９歳年下の彼から猛アプローチをされて始まった３年のお付き合いを、終わりにしようと思います。
私のわがままで振り回し、落ち込ませ、言葉モラハラにも耐え、私が再婚を望まないならそれでもいいと言ってくれていました。
思いやりがあり、真面目で、仕事熱心で、私のことを一番に考えてくれる人です。倹約家ですが、デート代は惜しまず、私が出すのが嫌なようで、全部出してくれます。

私は、彼と遊ぶよりも、子供を育てる過程で出会った人たちとの関わりの方が楽しいようです。他人事のように自分でも思います。夫を亡くしてから感情のどこかが壊れていると自覚しています。

彼は職場の私を私の本質と思っているようで、私のわがままを仕事のストレスと捉えているようです。
夫は10歳年上でした。優しい彼から頼れる夫になり、子煩悩で強い父親でした。今も夫が遺した財産があるから、安心して働いていられます。
子供たちは成人しており、私の再婚を望んでいるようですが、私は夫と作った今の家庭に彼が入ることに抵抗があります。

長々書きましたが、彼と別れることが怖いです。でも結婚に向かっているのではない付き合いを続ける根性がありません。彼と別れたら楽になれるようにも思います。
自分の気持ちが分かりません。叱咤でもいいので、何かアドバイスをいただけないでしょうか。お願いいたします。