別れたいけど未練…ですかね。

付き合って1年半ほどの彼とのことです。2人とも40代半ばでバツイチ、彼には子供が2人います。 彼は仕事柄、週に一度しかお休みがなく、その日はお子さんたちと会っています。 2時間ほどの距離なので、私の在宅勤務の日などをあてて月に数日彼に会いに行っています。 たまに外で会うこともありますが、ホテルなどの予約をしたことがないとかで、私が予約し、外ごはんは出してくれるのでお金を後からいただきづらく、私が全て負担してきました。 自営業と養育費で金銭的にも余裕がなさそうなので、家に行った際は食べ物などを置いて来たりもしています。 してあげる事は最初は役に立てるならと嬉しいと思っていましたが、家に行っても元嫁と子供達の写真を見ていたり、傷つくことばかりです。 自分を大切にしてくれない相手なら、別れた方がいいという思いが強いのですが、私のことを大切に思っているのに、そんな風に感じるのは私の勘違いと言われます。 相手がそう感じているなら、勘違いではないですよね？ 知り合ってすぐ、私は子宮頚がんになり摘出手術をして、恋愛は諦めないといけないと思っていたのですが、それでもいいと言ってくれた彼ではあります。 最近、その影響で行為自体が難しいことにも苛立ちを感じている気がします。 別れようと思っていますが、正直淋しいです。