これは浮気ですか?

夫と共働きで二人暮らしをしています。
夫は飲み会が多く、帰りも遅いです。遅い時は朝の5時とかに帰ってくることもあります。
夫の携帯を見た時に飲み屋の女と連絡取ってることが判明しました。夫は女とのLINE履歴や通話履歴も徹底して削除しています。今回はたまたま消す前に発見することができ、発覚しました。
その後も何度か連絡とってる様子があります。
携帯を見たことが知られると逆ギレして話し合いにならなくなるので、まだ夫には何も話してません。
飲み会があって遅くに帰ってきたりすると不安になります。
これは浮気になりますか？

会社の飲み会とか接待ならお小遣いにプラスして生活費からお金を渡すことは出来るのですが、コソコソと飲み屋の女のところで生活費分を使われると嫌な気持ちにしかなりません。

この場合はどう対処したらいいのでしょうか？