彼氏の浮気について

初めて相談させていただきます。付き合って7年経つ彼氏がいます。

今までも何度か浮気されては喧嘩することを繰り返していましたが、今年の初めに嫌気が差し別れました。しかし3ヵ月前にまた再会して一応復縁をしました。 彼も戻る際には(自分の気持ちは)態度で示しているつもりと言っていました。彼とは毎日電話やLINEで連絡をしています。

しかし、最近連絡しても1度も繋がらず翌朝に返信が返ってくるということが週に1回～2回あります。今まで朝まで連絡しないことは浮気をしていてもありませんでした。彼は分かりやすい人なので1人の時、家にいる時はほぼ連絡を返す人です。なのでまた浮気を疑っているのですが、相手が別れている間に付き合っていたと思われる方のようなのです。その方の家に泊まっているのだと思います。(その女性の使用している洗剤の匂いを彼の洗濯物から嗅いだことがあり、その同じ匂いがしただけなので憶測です。)

彼になぜ連絡が出来なかったのか問うと「お前に束縛する権利はない。」と言われました。これを言われるとわたしの立場は何だろうと考えてしまい続けて質問したら「話が長くなるから今は話したくない。」と不機嫌に。

浮気をする彼だと分かって戻っているので何も言える立場ではないことは分かっていますが、わたしが彼女というポジションではなく浮気相手と思っている方が本命なのでは？と考えてしまいます。それならそれでハッキリ言われたら諦めもつきます。彼と会っている時は普通に仲良くてぞんざいに扱われてるという感じはありません。でもはっきり言わない態度もイライラするし彼がわたしに対してどう思っているのかが分からずどうしてよいのか分かりません。

どうしようもない内容ですがどなたかアドバイスをお願いします。