旦那の発言でモヤモヤします

結婚2年目、1歳の子供と小学生の子供がいます。私は再婚、旦那は初婚です。 二人とも30代後半で、女性関係は友人の時に武勇伝としてよく話してました、、、 大学生の元カノ、元芸能人の元カノなど、、 名前を間違えてられたりもよくあり、 結婚するまで何度も話会い未練はない私が良いとの事で結婚に至りました 出産してから、昔旦那の行きつけの店に行くと独身の時に狙ってた女性がいて私の事はフル無視で最後まで紹介もせずに二人で話してました。 女としてのプライドも傷つき旦那と喧嘩しました。 しばらくは立ち直れなくて、 日にちが経ってもフラッシュバックして何度も傷つきます。 ずっと私の心の中で私は好みの顔じゃないんだろうなとか、ほんとは若い人がいいんだろうなとか劣等感しかないです。 つい先日その思いが苦しくなって、旦那にぶつけてしまいました。 原因は私の職場にもたまに旦那が来るので、同僚達も顔見知りですがある1人だけは顔が覚えられないと旦那が言ってきて、、 ？？しかなく、一番若くて顔も一番可愛い同僚を覚えてない？？おかしくないですか？ 私を気遣って言ったとしても、逆に好みのタイプなんだと分かってしまいます。 ふと考えたら、昔狙ってた女性に似てると気付いてまた思い出して辛くて旦那に言ってしまいました。 いいがかりはやめて、過去の事つついて何がしたいの、言葉だけ揚げ足取りされたら何もはなせなくなるとか初めて逆に責められました。 旦那が私にはしてなかった情熱で過去に女性を大事にしてたと思うと羨ましくて悲しくなります。 だからわざわざ過去や女性関係を連想させる話はしないで欲しいだけなんですが、 そんなに難しい事でしょうか？ 今回の私の言いがかり？喧嘩で、好みじゃない私と結婚しやんかったら良かったやん！ と言って、嘆かれました。 その日から最低限の会話のみです、、、 私だけがわるいのでしょうか？