お付き合いが初めての彼からのモヤモヤ発言

20代後半の社会人です。
私には最近付き合い始めた20代前半の彼氏がいます。
部署は違いますが社内恋愛です。

付き合ったキッカケは彼からの熱意あるアプローチでした。
誠実で優しく、不器用だけど一生懸命に頑張っている彼から告白され、とても嬉しく思い交際を始めました。
年下というのもあり交際というものが初めての彼はとても愛らしく、側からみて頼りないかも知れませんが、私から見てとても素敵な人です。

話は先日、彼が酔っている時に電話をしたら、モヤモヤする発言がありました。
話の流れとしては、どこのレストランが美味しいとか、前に行った時どうだった、等です。
あるレストランの話になるとウキウキして話すので黙って聞いていると、どうも最近そこに行ったようで、私とも行きたいと。
何の気なしに聞いていると、私と付き合う2週間くらい前に違う女性とそこにデートに行って振られたそうです。

酔っていて饒舌になったのか、その女性が彼と同じ部署の先輩だと話してくれました。
私も毎日顔を合わせる方なのですが、私と全く逆の高畑充希さんのような可愛らしい方で、彼女なら振るだろうな、と納得しました。

彼にとって初めての交際ですし、酔っているから今までのことを色々話したくなるのも分かります。
彼女は少しキツイですが、とても仕事の出来る女性で可愛らしく、いわゆる高嶺の花です。
今回の件は全く彼女に落ち度はありません。

でも期間が納得出来ないのです。
最初、私を3年前から気になっていたと言っていました。
しかし2週間前に先輩に振られた時に、タイミングよく真逆の私を優しく感じたらしく、告白したそうです。

彼には真実でも言わないでと伝えましたが流されてしまい、その後も度々彼女の話が出ました。
私は彼の誠実さに惹かれて付き合ったのですが、代役なのか正直不安です。
黙って彼女の話を聞き続けるしかないのでしょうか？