浮気？彼と別れるべきでしょうか・・・

初めまして、私は30歳の女性です。
今の彼と別れるべきか迷っているので、
アドバイスをいただきたいと思い、投稿致しました。

今年の4月に1つ上の彼と付き合い始めて、最初の頃、メールも電話も毎日たくさんあってやさしかったけど、
最近不自然に感じることが多く、浮気しているのではないかと疑っています。

例えば、「異性と2人で食事に行くのは浮気だと思うから、俺は絶対しないから、soraもしないでね」といいながら、内緒で女性と2人で食事に行ったようです。
（２週間前に彼の行動に不安を感じて携帯を見たら、女性と2人で食事に行ったこと、お互いに好意があるようなメールがありました）
その女性と食事に行った日から、私に対する態度が急変し、連絡が減りました。

彼に「なんで急に連絡が減ったの？他に好きな人ができたの？」と聞いたら、「そんなこと全然ない。soraとこのまま付き合いたい。ただ、今まで連絡が多かったから少し重みに感じた。少し減らしてもいい」と言われ、「少し調整してみよう」という話になりました。

しかし、その後も不自然なところが多く、その女性のほうにエネルギーを注いだから、私に対する態度が変わったのかなと思い、
このまま続くと自分もつらいし、相手の女性もいつか違和感を感じるかもしれないので、結局みんな傷付いてしまうのではないかと思い、
「私と別れて相手とちゃんと付き合ってください」と言うべきかどうか迷っています。

彼は他に好きな人がいるのを前面否定し、それ以来、彼の携帯をみていないので、証拠がなく完全に自分の勘なので、浮気と断定できるか、別れるべきかわからずにいます。

彼の携帯を見たことは悪いことだと自覚していますが、今の状態はとても苦しいので、何かアドバイスをいただけたらと思います。
つたない文章ですみません。よろしくお願いします。