こちらが身を引くべきでしょうか…

私は今、22歳なのですが、私には付き合って1年になる11歳年上の彼が居ます。
最近、彼とのLINEで少々冷たさや素っ気なさを感じる文が増えていて、先日、彼と会った時にも彼の様子がいつもと違かった為、翌日、彼が仕事に行った後にこっそり彼の部屋を見渡してみると、何やら手紙らしきものを発見して勝手に見るのも悪いなと思いつつ、こっそり開けて見てみたところ明らかに浮気相手と見られる女性からの手紙でした。「ずっと一緒にいようね」などと書かれていて、その後、彼に問いただしたところ、「それは仲のいい女友達だよ」とは言っていましたが、その手紙を見てしまった以上、彼のその言葉も信用できず、「私とその子、どっちが好きなの？」と聞いても「お前以外に付き合ってる女は居ない」の一点張り。

でも、明らかに彼もその女性のことが好きな様子。この場合、彼とその女性の仲を保つ為に私が自ら身を引いた方が良いのでしょうか？

私も出来ればこのまま彼とは付き合っていたいのですが、2人の仲も乱したくはない。毎晩毎晩1人になるとどうしたらいいか分からず眠れないほど悩み続けています。