バツイチ子持ちの彼との今後

私は21歳の♀です。最近離婚したバツイチ子持ちの彼と付き合って１ヶ月です。
１年くらい前に勤めてた職場が一緒で今の職場で偶然再会して離婚した事（奥さんの浮気が原因）を知り、時々会うようになり、彼から告白されて付き合う事になりました。付き合ってからもとても大事にしてくれてるのですが、彼が何気なく言う言葉に時々元奥さんと比べられてるのかな？と思う事があります。元奥さんはキャバ嬢ということもあり、綺麗で見た目も派手で化粧もつけまつげやカラコンをしたりしてたみたいで、初デートの時に化粧薄いよね？カラコンとかしないの？やつけまつげ似合いそうだよね？や髪伸ばしてね！等言われてまさか化粧を濃くした方が良いと言われるとは思わず、デート中だったのですが今の私じゃダメだと言われてるみたいで笑えないぐらい落ち込んでしまいました。彼も気づいてそんなつもりじゃなかったとものすごく必死に謝られたので考えないようしてたのですが、１人になるとどうしても彼が元奥さんと同じ容姿を求めてるみたいな気がして、自分が元々彼のタイプではないのは分かってたのですが、ギャルメイクをしてる人を見るたびに落ち込んでしまうし、何故彼が私と付き合ってるのか分からなくなってきました。離婚したばかりで好きとかではなく寂しくて元奥さんの身代わりとして付き合ってるのかな？とか考えたりします。最近はますます自分は元奥さんより劣ってるんだと思うようになり、子供さんと会うために元奥さんと連絡を取り合ってるのは分かってたんですが、またいつ元奥さんの方がいいとフラれてしまうのか不安です。私自身彼氏ができるのが４年ぶりで元カレに浮気された経験がトラウマになっててなかなか人を好きになれなくてやっと前に進もうと思えた人なだけにこのまま不安はあるけど彼を信じて付き合っていくべきなのか迷ってます。