信用するには

付き合って1年、同棲して半年の彼氏がいます。
私24、彼30です。
私が旅行などの用事で家を空けるときがあります。
その際に、彼が誘われて遊びに行くことは全然いいのですが、1人油断できない女性がいてその人が誘った先にいることがものすごく嫌です。
彼も私もその女性のことは付き合う前から知っていて、彼の仕事仲間でもあります。
なんかもう、私がいないときにその女性と新たに思い出を作ってると思うと腸煮えくり返るといいますか…
なぜこうも私がいないときに、よりによってその女性も交えて遊ぶようなことがあるのか！
もう！ほんとに！嫌です！
たとえ、その女性が彼を狙っていなくても私は「いつかこの人、彼のこと狙いに来るんじゃないか」と考えてしまいます…。

すみません…いろいろと取り乱しました…。
他の女性に対しては失礼ではあるのですが、大丈夫だと思っています。
ですが、その女性に対してだけどうしても敵対視してしまいます…。
理想としては、その女性に対して敵対視せず交えて遊んでいても不機嫌にならないようにしたいです…。
どうしたらいいのでしょうか。その女性と話すこともあります。私が信用していた人たちもその女性のことを、信用できると話していたこともあります。
だから、私が知らないだけで信用できる女性なのでしょう…。
でも、どうしたらその女性は彼を狙わないって信用できるのか分からないです…。

支離滅裂になってしまいましたが、どうか人間としても恋愛としても未熟な私にアドバイスをよろしくお願いいたします。