奥さまを亡くされた彼氏との交際

私はバツイチ、彼氏は死別で3回忌が終わった方です。どちらも50代。彼氏がすこし年上で、婚活サイトで知り合いました。
彼氏は前向きな方で、亡くなった奥様はバツイチ連れ子(娘さん、今は嫁いでいます)で初婚の彼と再婚。初めてあったとき左手に指輪をしていて？って思ったけど「指が太くなって外れなくなった」と。私もあんまり気にしなかったけど、お付き合いしていくうち彼のある言動が気になったことをきっかけに奥様に嫉妬心が芽生えました。何をするにも比べられてるのでは？と…。
そんなこともあり段々と気持ちに余裕がなくなり。私はバツイチの経験から籍を入れるとかこだわりはなかったはずなのに奥様のこともあり、先日私とのことは将来どう考えているのか？尋ねたところ「籍は入れない、世間体があるし、相続とかの問題もあるし…でもいずれ一緒に暮らしたいと思ってる、事実婚のような形にしたい」と言われ複雑な気持ちです。まぁ嫉妬なんですよね。奥様との交際は子供さんいたからけじめで籍入れたそうです。
私のことはけじめとかないのかな…と思ってしまい、それならせめて指輪を外してほしいと言ったら「外れないから無理、初めにそれは承諾してくれたから付き合ったし、無理に外すようなこともしたくない、無理に外せというならそれは別れるとき、ファッションだと思ってほしい」と。なんか細かいことは気にしないで！という意味らしいですが…悔しいから私もペアリングつけたいからと言ってしまいましたがあんまり乗り気ではないし、すでに薬指にはついてるから買ったとしてもどこにつけるんだろう…？そのあとも話してて「俺といると苦しいのなら別れたほうがいいじゃ…」とも…。色々言い過ぎたことは謝りましたが…愛してる気持ちは変わらないけどこの先を考えてしまいます。
今は一気に色んなことが押し寄せて気持ちに余裕ないです。
みなさんどう思われますか？
よろしくお願い致します。