働く気力がない彼とのお付き合い

こんばんは。
私は40歳の未亡人です。
仕事は辛いことも大変なこともあるけれど、好きです。好きな仕事ができていることに感謝しています。

さて、付き合って、3年になる彼がいます。（大学の同級生）
付き合う前の彼は、20代に１年契約社員で働いたことがあり、その後、バイトを転々、無職。

よい友人関係でしたが、数年前から久々に共通の趣味で話をしたり、夫を亡くした悲しみなど聞いてもらったり、だんだん距離が近づいたと思います。
仕事について色々アドバイスをするうち、派遣で働き始め、彼と付き合うことになりました。

一年半は無欠勤で働いて頑張っていたけれど、人間関係に疲れたり、元々働きたくないという思いがあり、仕事は一年半でやめました。
エージェント登録や就職活動、色々してみたら？と言ったけれど、コロナ禍もあり、うまくはいかず諦めてしまい、今はニートです。

話を聞いていたら、働くことが怖い、働いても周りとの格差を感じる40歳でみじめな想いになる、人に使われたくないという気持ちの様子。
でも、高齢のご両親の年金が頼りなので将来が不安などあるようですが、何も行動は起こさない一年半でした。

リサイクルショップで買った服などをフリマアプリで売ったり、一時期はフードデリバリーサービスをしたりはしていました。

彼は、才能豊かで博識なので、話していて楽しいです。
が、満載のグチや異様に働くことにネガティブだったりで、仕事を大切にする私のことも批判されたり。こちらの気持ちも落ちてしまいます。デート費用なども基本私ですし。
頑張って欲しい気持ちもありますが、あまり口出しして欲しくないみたいで、もう私にできることはない気がします。

別れたいのですが、一度話した時死ぬから！などとなり、大騒動でした。
怖くてなかなか別れられません。
どうしたらいいのでしょうか。