彼氏の浮気を疑っています

彼氏の浮気を疑っています。
昨日の夜彼氏とLINEしていました。楽しい内容でした。しかし、22時手前に、また明日話聞かせて。寝るね、おやすみ。と急に言われました。いつも彼が寝るのは24時過ぎです。おかしいと思いましたが、その後返信がなかったため、諦めました。
朝になり、いつも彼が起きる時間に電話をしました。そしたら、いつもはすぐ出るのに、今日は一回目では出ませんでした。二回目でやっと出たのですが、すごく不機嫌な声で「何？」と聞かれました。
いつもなら、喧嘩している最中じゃない限り、そんな不機嫌な声を出すことはありません。何？と聞かれたので、「また明日話聞かせてって言ってたから」と言いました。すると、「夜でいいじゃん」と言われ、今すぐ切りたそうでした。
また、いつも朝電話する時はベッドで寝転がりながらしているようですが、今日は電話の途中でキッチンまで移動していました。
電話の中では、「いつもと違うから、女の子と一緒なんじゃないかって考えちゃう。」と、正直に言いました。そしたら彼は、「そっか、それで、どうすればいいの？」と言われました。
その後急に電話を切られたので、何度もかけ直し、でも出てくれないので、怒ってしまったと思い、「ごめんね。いつもみたいに楽しい話がしたいだけなの。」と送りました。30分後、「夜ならいいよ。」と返信が来ました。
私の考えすぎかもしれませんが、いつもと違う言動から、疑ってしまっています。でも、本当に眠たかったから不機嫌になり、電話を切りたかっただけなのかなと信じたい気持ちもあります。
これは、浮気でしょうか？？
また、どのように彼に接すればいいのでしょうか。
下手に疑い続けると、別れようと言われてしまいそうで怖いです。
(今までも何度も別れそうになりました)

まとまらない文章で申し訳ないですが、アドバイスいただけたら幸いです。