上司に対する不信感、モヤモヤした気持ち

30代女性です。 同じ職場の部署で6年程お世話になっている 上司(40代既婚男性)がいます。 数年前に上司はある派遣の女性(30代既婚女性)と 仲良くなりました。 不倫関係というような雰囲気ではなかったと思いますが、 気が合うのか親しい友人同士のような感じでした。 女性は上司のことを○○ちゃん、と呼んだり…。 個人携帯でメールのやり取りもしていたようです。 職場の飲み会にも二人で連れ立って行ったり、 当時自転車に二人乗りもしていたことがあり、 それを見たときにはびっくりしました。 お互い既婚同士で、上司の方はお子さんがいるので、 もしお子さんや奥様や、お知り合いにでも 目撃されたらどうするつもりなのかと思ったのですが、 異性の友人が多い方はそういうのはおかしくないという感覚なのでしょうか。 端から見ると、女性はどちらかというと自分の立場を優位にするため 上司に近づき仲良くなった感じでしたが、 上司の方は女性に対し特別な感情は持っていたように思います。 その女性が自己都合で職場を辞めたのが5年前。 最後の日は女性は涙でのお別れでした。 それから以降、私もその女性とは会ってませんし、 上司も職場で話題に出すこともありませんでした。 ところが、先日、毎年開催されているあるスポーツ大会に 上司とその女性が参加しており、 女性が在職時からずっと毎年、二人が参加していることを 偶然知ってしまいました。5年間、ずっと…。 プライベートは私が干渉することではないのは 分かっているのですが、それでも上司に対し、 モヤモヤした気持ち、不信感が消えません。 今まで仕事面では上司と信頼関係を 築いてきたつもりだったのですが、 それが崩れてしまったような感覚です。 どうかアドバイスをいただけないでしょうか。