40代前半女性　この恋愛あきらめるべき？

41歳女性会社員です。付き合って5年になる彼がいますが、このまま付き合いつづけるべきかどうか迷っています。彼は2歳年上の43歳、未婚（バツなし）で、2年前までは大企業の会社員でしたが、今は実家の家業を継ぐため、会社を辞めて勉強しています。10年以上前からの知り合いで、彼が8年の海外駐在生活から戻ってきて、お互い独身だったため、なんとなく付き合い始め、ここ数年は毎週末一緒に過ごし、夏休みや年末年始もいつも一緒に旅行にいっていました。
価値観が同じで一緒にいて安らげますし、大切にされているという実感もありました。しかし、結婚の話になるどうしても明確な答えをくれません。今までも結婚のことで何度もけんかしましたが（彼は黙るだけ）どんな時でも自分を受け止めてくれて心安らげる彼との時間を捨てることができず、心の底では不信感を感じながら付き合い続けました。
しかし、先日会社の飲み会である男性が「男は絶対離したくないと思う女とは結婚するものだ」といった発言をきき、心の糸がプツっと切れてしまい、彼に絶縁メールを送ってしまいました。2ヶ月たちますが彼から連絡はありません。結婚に拘らず、恋人のままでしたら何も問題ない人です。浮気をしているようでもありません。しかし、結婚しない、ただその1点だけがどうしても許せません。
40代女性として、結婚をしないからといって心安らげる男性と別れてしまうのは間違ったことでしょうか？彼ほど長く付き合った人はいませんし、今後彼ほど心通える人と出会えるとは思えません。長くなりましたが、ご助言お願いいたします。特に結婚しない男性のご意見伺いたいです。