彼氏と後輩女子の距離感が気になる

職場に内緒で、同僚と1年ほど付き合っています。

彼氏には2度告白を受けており、1度目は彼氏が元カノと付き合っている最中だったのでお断りしました。

それから数年後、2度目の告白をされた時期に第三者から彼氏と後輩女子に体の関係が一定期間あったことを聞きました。
それでも2度も告白してきてくれたことから、真剣なおつきあいならと了承しました。

それ以来彼氏からはとても愛情を感じるのですが、私自身が過度な身体接触が苦手なこと・後輩女子との関係がフラッシュバックしてしまい、まだ彼氏と体の関係を持てていません。

後輩女子には以前から婚約中の彼氏がいるのですが、体の関係を持ってから私の彼氏のことを好意的に思っていることを聞いています。
なんとなく彼氏には後輩女子が苦手なことを伝えていますが、彼女の押しが強く飲み会は常に隣だったり職場でも距離が近いです。

わたしを優先してくれる彼からの愛情も感じる反面、
元々貞操観念がそこまで高くない彼の性格から不信感が募りいっそなこと別れてしまったほうがいいのではと思っています。

どんな風に気持ちの折り合いをつければ良いかわからず助言いただけますと幸いです。