義兄が浮気しているのでは・・

義兄（４０）の浮気を疑っています。
現在義兄は単身赴任中です。私は仕事の都合上、赴任先の義兄の家に居候しています。
　まず、職場の部下（特定の女性）としばしば休日に二人きりで出かけます。仕事の時もあるようですが、その女性と行くことはいいません。仕事なら現地集合すればいいのに、その女性が車で家まで迎えにきます。その逆もあるようです。つい最近の休日も、仕事＆懇親会があると言っており、またその女性が迎えに来て出かけました。そして、外泊したのです。一人では帰れないので多分一緒だと思います。
　こんなに気になるのは、以前その女性に会ったとき嫌な感じがしたからです。私には丁寧に話せるのに、義兄に対しては？と思うほどなれなれしい言動をとるので不快に思ったのです。好意が感じられました。
　私の留守中に誰か来た？と思ったこともありましたし、義兄は以前は無防備に携帯をリビングに置いたりしていましたが、今はいつでも携帯！です。
　私は奥さんではないので、あまり詮索できません。でも、姉や甥姪が心配です。姉に相談する前に事実を確認したいのですが、よい方法はないでしょうか。携帯や財布のチェックでしょうか。