浮気疑惑は糾弾するべきですか？

はじめまして。 16歳年上の現在の彼氏（バツイチ）と付き合い始めて、もうすぐ4年になります、32歳の女性です。 彼には前妻との間に小学生の子どもが2人いて、小学校を卒業するまでは毎週面会する義務があることもあり、また、わたしがまだ「同居して生活を一緒にする」ことを望んでいないので結婚はしておりません。 ここ最近はたまたま海外や国内旅行に出かけたり、遠出デートした先で1泊することが多かったのですが、そんな彼のマンションに、先日、2ヶ月ぶりくらいに泊まりました。 朝起きて支度していると、ふと、洗面所の戸棚のガラスの扉からわたしのものではないファンデーションとパウダーなどの化粧品が透けて見えているのに気がつきました。 ひとまずその場では騒ぎ立てずに帰ってきましたが、駅まで送ってくれる車の中で彼は「どうしたの？元気ないよ？」とわたしの様子を気にしていたよう。 彼もいい年ですし、長く付き合っているし旅行やイベントも何度も一緒にこなしてきているので、今さら自分が「セカンド」だとは思えないのですが、これはちょっと許せません。 わたしに見える場所にそんなものが置いてあるのは、バカにされているとしか思えません。 「他にも関係している女性がいるとわかったら、わたしは即刻退散するから」と以前から通告はしてあり、彼は「ありえない」と言いますが、万が一の彼の言い分も聞くべきでしょうか？ この件について、率直に「洗面所の扉から覗いている化粧品は、どう理解したらいい？」と問いただすべきですか？ 男性のご意見、同じような経験のある女性方のご意見をお聞かせください。 よろしくお願いします。