バツイチ子なし彼氏と付き合うときの気持ち

1年前から、バツイチ（子なし）とお付き合いをしています。紹介され、半年後くらいにお付き合いを始めました。 付き合っていない時は、離婚した経緯など、彼に問題がないのかも含めて、普通に話を聞いていました。ですが、付き合ってからも、何かと「結婚してたときは〜」とか前妻の話が出てきます。話題にでることが仕方ないかともわかっているし、それでも嫌な気分になる理由も説明し、話合って、彼も私の気持ちをわかってくれているのですが、たまに冗談で結婚の時の話をすると私が怒ると茶化した感じで言ってきます。彼なりに、言わないようにしてくれて、普段私もふざけてる感じなので、深い意味もないのはわかっています。自分でも何が気に入らないのか、大事にしてもらっているのも感じるし、何が不満なのか、はっきりしないのですが、たまにモヤモヤした感情になり落ち込みます。私は婚活と思って紹介されたと思っているし、紹介してくれた人もそうです。ただ彼は2、3年前に離婚したばかりで、こちらから、付き合って1年しか経ってない私から結婚の話題もどう出せばいいのかわからないのと、私は結婚したい人なので、はっきり聞かなくてはいけないと思っています。話し合いができるタイプの人なので話せばいいのですが、なかなか勇気がでません。バツイチの人とどういう感情で付き合っていけばいいのか、彼を責めるつもりはないのですが、勝手にやきもちをやいて、イライラして心無いことを言ってしまいそうで。どなたか、アドバイス頂けたら助かります。話がまとまっていなくてわかりにくいと思いますがよろしくお願いします。